Value as Memory: Online Value-Guided Post-training for General Robot Policies
Value as Memory(VaM)把最近几次价值预测作为任务进度记忆,帮助机器人区分画面相似、却需要不同动作的状态。它结合离线演示、干预数据与在线采样,将机器人策略从离线预热推进到真实交互中的学习。
展开解读与证据
Value as Memory(VaM)把最近几次价值预测作为任务进度记忆,帮助机器人区分画面相似、却需要不同动作的状态。它结合离线演示、干预数据与在线采样,将机器人策略从离线预热推进到真实交互中的学习。
为什么值得关注
可借鉴的是两项实验设计:检查进度记忆是否缓解动作歧义,以及部署中新收集的数据能否更及时地改善策略。复现时应分别比较价值缓存和训练日程,不能把两组不同对照的增益相加。
研究问题
有限观察历史会让不同任务阶段看起来相似;单看当前画面,策略可能分不清应该继续、恢复还是切换动作。另一方面,分离的数据采集与离线优化会延迟部署经验对策略的反馈。
方法原理
VaM将价值函数近期给出的进度估计,与视觉、本体感觉历史一起输入动作策略。训练依次经过离线演示初始化、离线强化学习预热、带人工干预的Online DAgger,以及稀疏奖励下的Learn from Experience;在线阶段并行更新价值与动作模块。
结果与证据
作者在真实机器人长时序、可变形物体和接触密集操作中报告:相对不带价值缓存的变体,平均绝对成功率提高29.4个百分点;相对训练预算匹配的离线强化学习版本,在线方案提高32.8个百分点。两项比较的基线不同,不能相加,也不代表其他机器人配置能获得同样收益。
阅读边界
本次读取的是18,000字符正文节选,包含摘要、引言和部分价值缓存方法;未逐项核对后文实验表与附录,也未独立复现。数字按作者在引言中的报告转述,不能外推为端到端时延或所有机器人任务的保证。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…