Training Reasoning Models in Simulation to Natively Use Real Robots
研究构建了PEAR后训练引擎,通过机器人使用强化学习(RURL)在全仿真环境中对27B推理模型进行训练,使其能像计算机使用代理一样观察环境并生成末端执行器位姿。 在LIBERO基准上,训练将成功率从1.6%提升至74.4%;在真实双臂机器人试验中,模型成功率为60%,而基线模型为0%。 在涉及新任务的LIBERO-Pro测试中,该模型成功率为57.4%,显著优于基于演示微调的视觉-语言-动作模型π0.5(0.75%)。
展开解读与证据
研究构建了PEAR后训练引擎,通过机器人使用强化学习(RURL)在全仿真环境中对27B推理模型进行训练,使其能像计算机使用代理一样观察环境并生成末端执行器位姿。 在LIBERO基准上,训练将成功率从1.6%提升至74.4%;在真实双臂机器人试验中,模型成功率为60%,而基线模型为0%。 在涉及新任务的LIBERO-Pro测试中,该模型成功率为57.4%,显著优于基于演示微调的视觉-语言-动作模型π0.5(0.75%)。
为什么值得关注
该方法证明了仿真中获得的技能可以泛化到未见过的机器人、真实世界和新指令,为具身基础模型的后训练提供了有效组件。
研究问题
当前开源权重模型在机器人控制任务上的能力显著弱于GPT-6 Astra等前沿专有模型,且缺乏无需演示即可原生使用真实机器人的训练方法。
方法原理
研究构建了PEAR后训练引擎,通过机器人使用强化学习(RURL)在全仿真环境中对27B推理模型进行训练,使其能像计算机使用代理一样观察环境并生成末端执行器位姿。
结果与证据
在LIBERO基准上,训练将成功率从1.6%提升至74.4%;在真实双臂机器人试验中,模型成功率为60%,而基线模型为0%。 在涉及新任务的LIBERO-Pro测试中,该模型成功率为57.4%,显著优于基于演示微调的视觉-语言-动作模型π0.5(0.75%)。
阅读边界
依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…