UniWALM: Unified World Action Language Model for Embodied Robot Control
UniWALM在单一mixture-of-transformers骨干中通过同步扩散头联合生成视频、动作与语言,生成的文本在下一步被重新消费以闭合语言记忆环,并引入Flow Matching with Correction(FMC)目标训练模型从扰动轨迹恢复。 在RMBench记忆依赖子集上,UniWALM无需预训练语言模型即达34.5%成功率,优于同骨干FastWAM(13.3%)及配备关键帧的Mem-0(28.5%);真机双臂Find-the-Item任务中,文本记忆使成功率从11.1%提升至61.1%,而SOTA VLA不超过33.3%。
展开解读与证据
UniWALM在单一mixture-of-transformers骨干中通过同步扩散头联合生成视频、动作与语言,生成的文本在下一步被重新消费以闭合语言记忆环,并引入Flow Matching with Correction(FMC)目标训练模型从扰动轨迹恢复。 在RMBench记忆依赖子集上,UniWALM无需预训练语言模型即达34.5%成功率,优于同骨干FastWAM(13.3%)及配备关键帧的Mem-0(28.5%);真机双臂Find-the-Item任务中,文本记忆使成功率从11.1%提升至61.1%,而SOTA VLA不超过33.3%。
为什么值得关注
UniWALM在单一mixture-of-transformers骨干中通过同步扩散头联合生成视频、动作与语言,生成的文本在下一步被重新消费以闭合语言记忆环,并引入Flow Matching with Correction(FMC)目标训练模型从扰动轨迹恢复。
研究问题
现有视频-动作模型将语言仅作为条件输入而非生成目标,缺乏子任务推理与记忆维持机制;分离式VLM+VLA管线因异构训练难以形成共享表征,导致长程记忆依赖任务表现受限。
方法原理
UniWALM在单一mixture-of-transformers骨干中通过同步扩散头联合生成视频、动作与语言,生成的文本在下一步被重新消费以闭合语言记忆环,并引入Flow Matching with Correction(FMC)目标训练模型从扰动轨迹恢复。
结果与证据
在RMBench记忆依赖子集上,UniWALM无需预训练语言模型即达34.5%成功率,优于同骨干FastWAM(13.3%)及配备关键帧的Mem-0(28.5%);真机双臂Find-the-Item任务中,文本记忆使成功率从11.1%提升至61.1%,而SOTA VLA不超过33.3%。
阅读边界
失败模式包括子任务边界触发时序偏差、相同观测下记忆状态混淆、复杂几何抓取精度不足,以及含语言生成的32步动作块推理耗时123ms,可能不适用于高频闭环控制。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…