ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning
ThinkWorld把机器人动作和人手运动标注令牌化到统一运动空间,以动力学链CoD连接动作推理与未来视觉特征预测。 监督训练之后,方法通过比较预测未来与实际观测结果强化CoD,使无动作标注的人类和机器人视频也能提供动作推理监督。 作者在双臂YAM的颜色匹配、挂杯和分类任务上报告,模型完成全部60次域内试验,以及60次域外试验中的52次。
展开解读与证据
ThinkWorld把机器人动作和人手运动标注令牌化到统一运动空间,以动力学链CoD连接动作推理与未来视觉特征预测。 监督训练之后,方法通过比较预测未来与实际观测结果强化CoD,使无动作标注的人类和机器人视频也能提供动作推理监督。 作者在双臂YAM的颜色匹配、挂杯和分类任务上报告,模型完成全部60次域内试验,以及60次域外试验中的52次。
为什么值得关注
共享的动力学链为人类视频与机器人经验提供共同训练空间,并让人类示范中的技能组合用于机器人执行。
研究问题
机器人操作学习受带动作标签的演示覆盖限制,而丰富的人类视频缺少可直接执行的机器人动作监督。
方法原理
ThinkWorld把机器人动作和人手运动标注令牌化到统一运动空间,以动力学链CoD连接动作推理与未来视觉特征预测。 监督训练之后,方法通过比较预测未来与实际观测结果强化CoD,使无动作标注的人类和机器人视频也能提供动作推理监督。
结果与证据
作者在双臂YAM的颜色匹配、挂杯和分类任务上报告,模型完成全部60次域内试验,以及60次域外试验中的52次。
阅读边界
预训练使用机器人动作与人手运动标注;模型随后还要针对目标具身进行后训练适配,真机评估使用双臂YAM。 训练结果来自单个训练种子;论文所报回合级置信区间反映评测变异,不衡量独立训练模型之间的变异。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…