Beyond Omni: A Unified MLLM for Embodied Sensory Understanding
UniSense采用两阶段训练:先用模态描述监督传感-语言对齐建立语言可访问接口,再在共享LLM内微调模态特定专家以提供专用处理,同时保留基础模态的预训练通路。 在涵盖深度、点云、IMU、触觉、热、雷达、运动与气味的12个异构传感基准上,UniSense在多数任务上优于通用与专用模型,9B版本在TextVQAval达83.6、MMBench达87.5。
展开解读与证据
UniSense采用两阶段训练:先用模态描述监督传感-语言对齐建立语言可访问接口,再在共享LLM内微调模态特定专家以提供专用处理,同时保留基础模态的预训练通路。 在涵盖深度、点云、IMU、触觉、热、雷达、运动与气味的12个异构传感基准上,UniSense在多数任务上优于通用与专用模型,9B版本在TextVQAval达83.6、MMBench达87.5。
为什么值得关注
UniSense采用两阶段训练:先用模态描述监督传感-语言对齐建立语言可访问接口,再在共享LLM内微调模态特定专家以提供专用处理,同时保留基础模态的预训练通路。
研究问题
现有多模态大模型对深度、触觉、热、雷达等具身物理传感的支持仍然有限,这些模态的表征结构与统计特性差异大且与语言弱耦合,难以在统一架构中实现高层理解与推理。
方法原理
UniSense采用两阶段训练:先用模态描述监督传感-语言对齐建立语言可访问接口,再在共享LLM内微调模态特定专家以提供专用处理,同时保留基础模态的预训练通路。
结果与证据
在涵盖深度、点云、IMU、触觉、热、雷达、运动与气味的12个异构传感基准上,UniSense在多数任务上优于通用与专用模型,9B版本在TextVQAval达83.6、MMBench达87.5。
阅读边界
配套构建的Unisense-1M训练语料覆盖8种具身传感模态共约100万样本,用于支撑跨模态对齐与专家调优。 评估仅限于离线传感理解基准,尚未报告在闭环机器人控制或真实部署中的性能验证。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…