Memory before Goal: Role of Pre-History Memory for Humanoid Loco-Manipulation
WholeBodyMem 提出对象引导的感知记忆机制:使用 SAM3 跟踪任务物体,由物体事件因果地选择自适应预算内的关键帧,动作专家通过交叉注意力将这些记忆帧与编码外观、几何和时间的对象 token 一起读取。 在 HuMeGo 基准上,WholeBodyMem 将基线策略在仿真中的成功率从 29.1% 提升至 72.6%,在 Unitree G1 真机上的成功率从 36.7% 提升至 88.3%,同时在标准 SIMPLE 任务上也从 70.2% 提升至 86.9%。
展开解读与证据
WholeBodyMem 提出对象引导的感知记忆机制:使用 SAM3 跟踪任务物体,由物体事件因果地选择自适应预算内的关键帧,动作专家通过交叉注意力将这些记忆帧与编码外观、几何和时间的对象 token 一起读取。 在 HuMeGo 基准上,WholeBodyMem 将基线策略在仿真中的成功率从 29.1% 提升至 72.6%,在 Unitree G1 真机上的成功率从 36.7% 提升至 88.3%,同时在标准 SIMPLE 任务上也从 70.2% 提升至 86.9%。
为什么值得关注
WholeBodyMem 提出对象引导的感知记忆机制:使用 SAM3 跟踪任务物体,由物体事件因果地选择自适应预算内的关键帧,动作专家通过交叉注意力将这些记忆帧与编码外观、几何和时间的对象 token 一起读取。
研究问题
人形机器人在动态场景中的移动操作是非马尔可夫的:任务线索会因物体状态变化、遮挡或机器人转身行走而离开视野,仅依赖当前观测的全身 VLA 策略无法利用这些已消失的预历史信息进行决策。
方法原理
WholeBodyMem 提出对象引导的感知记忆机制:使用 SAM3 跟踪任务物体,由物体事件因果地选择自适应预算内的关键帧,动作专家通过交叉注意力将这些记忆帧与编码外观、几何和时间的对象 token 一起读取。
结果与证据
在 HuMeGo 基准上,WholeBodyMem 将基线策略在仿真中的成功率从 29.1% 提升至 72.6%,在 Unitree G1 真机上的成功率从 36.7% 提升至 88.3%,同时在标准 SIMPLE 任务上也从 70.2% 提升至 86.9%。
阅读边界
HuMeGo 基准包含 6 个仿真任务和 6 个 Unitree G1 真机任务,专门测试当决策依赖于已离开视野的线索时的记忆能力,涵盖物体、空间和时间记忆类型。 该方法依赖 SAM3 跟踪,若目标物体从未被检测到则记忆失效;在线跟踪引入额外推理开销,仿真渲染存在 sim-to-real 差距,且演示数据为脚本生成。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…