Long-WAM: Scaling the Context of World-Action Models
Long-WAM 研究机器人如何真正用好视觉历史,并把记忆收益与在线推理延迟一起评估。
展开解读与证据
Long-WAM 研究机器人如何真正用好视觉历史,并把记忆收益与在线推理延迟一起评估。
为什么值得关注
扩展策略历史窗口时,值得同时测量预训练方式、有效历史长度和闭环延迟,不能只比较模型能装下多少帧。
研究问题
单帧观察难以判断物体运动和任务进度,更多历史又会拖慢控制。
方法原理
作者先用机器人与第一视角视频做自回归预测预训练,再保持“历史预测未来”的结构接入动作专家;动作由已观测历史和预测的未来表示共同决定。
结果与证据
在 RoboCasa GR-1,历史由 0 增至 19.2 秒时,作者报告成功率从 63.3% 升到 78.7%,提高 15.4 个百分点;双向预训练初始化没有同样收益。G1 动态叠杯为 19/20 次成功,但这是特定任务的小样本实机实验。
阅读边界
已核对项目页、论文方法、实验表 6 与附录 G;未复现。速度依赖硬件、上下文和去噪设置,不等同机器人控制频率;项目链接也不代表已核验全部训练资源可用。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…