Embodied AI Daily具身智能科研日报

具身智能早报

关注机器人研究、开源与产业的新进展

‹ ›
让机器人记住进度与用户偏好
本期导读

本期补读10月15日公开的两项机器人研究:VaM关注任务进度记忆与在线学习,LIBERO-PeRM关注任务完成之外的用户偏好。10月18日是本期整理日期,各条保留原始发布日期与实际阅读边界。

10 条内容 · 2 篇重点解读 · 8 条简讯

Value as Memory: Online Value-Guided Post-training for General Robot Policies:Figure 1: VaM uses online real-world RL and value caching to boost sample efficiency and mitigate partial observability in long-horizon, deformable-object, and contact-rich manipulation.
Figure 1: VaM uses online real-world RL and value caching to boost sample efficiency and mitigate partial observability in long-horizon, deformable-object, and contact-rich manipulation.图源:论文作者 / arXiv
arXiv cs.RO精读

Value as Memory: Online Value-Guided Post-training for General Robot Policies

Wenye Yu、Yijin Chen 等 · 10 位作者

Value as Memory(VaM)把最近几次价值预测作为任务进度记忆,帮助机器人区分画面相似、却需要不同动作的状态。它结合离线演示、干预数据与在线采样,将机器人策略从离线预热推进到真实交互中的学习。

机器人基础模型机器人学习在线强化学习
论文
展开解读与证据

Value as Memory(VaM)把最近几次价值预测作为任务进度记忆,帮助机器人区分画面相似、却需要不同动作的状态。它结合离线演示、干预数据与在线采样,将机器人策略从离线预热推进到真实交互中的学习。

为什么值得关注

可借鉴的是两项实验设计:检查进度记忆是否缓解动作歧义,以及部署中新收集的数据能否更及时地改善策略。复现时应分别比较价值缓存和训练日程,不能把两组不同对照的增益相加。

研究问题

有限观察历史会让不同任务阶段看起来相似;单看当前画面,策略可能分不清应该继续、恢复还是切换动作。另一方面,分离的数据采集与离线优化会延迟部署经验对策略的反馈。

方法原理

VaM将价值函数近期给出的进度估计,与视觉、本体感觉历史一起输入动作策略。训练依次经过离线演示初始化、离线强化学习预热、带人工干预的Online DAgger,以及稀疏奖励下的Learn from Experience;在线阶段并行更新价值与动作模块。

结果与证据

作者在真实机器人长时序、可变形物体和接触密集操作中报告:相对不带价值缓存的变体,平均绝对成功率提高29.4个百分点;相对训练预算匹配的离线强化学习版本,在线方案提高32.8个百分点。两项比较的基线不同,不能相加,也不代表其他机器人配置能获得同样收益。

阅读边界
本次读取的是18,000字符正文节选,包含摘要、引言和部分价值缓存方法;未逐项核对后文实验表与附录,也未独立复现。数字按作者在引言中的报告转述,不能外推为端到端时延或所有机器人任务的保证。

作者:Wenye Yu、Yijin Chen、Kaiyi Xiong、Wenbo Han、Wendi Chen、Yang Jin、Han Xue、Jun Lv、Cewu Lu、Chuan Wen

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

LIBERO-PeRM: Benchmarking Personalized Robotic Manipulation:Figure 1 : Top: LIBERO-PeRM contains five procedurally generated task suites with pipeline-generated, human-reviewed demonstrations. Bottom: we investigate five key research questions in personalized manipulation.
Figure 1 : Top: LIBERO-PeRM contains five procedurally generated task suites with pipeline-generated, human-reviewed demonstrations. Bottom: we investigate five key research questions in personalized manipulation.图源:论文作者 / arXiv
arXiv cs.LG filtered精读

LIBERO-PeRM: Benchmarking Personalized Robotic Manipulation

Zhixu Li、Keqian Tang 等 · 10 位作者

LIBERO-PeRM把“任务做完了”和“按用户偏好做完了”分开评估。它在LIBERO仿真中组织运动、技能和用户背景三类偏好,构建五组、共312个偏好条件任务,用于研究机器人策略如何学习、泛化和组合偏好。

学习与仿真机器人评测个性化操作
论文
展开解读与证据

LIBERO-PeRM把“任务做完了”和“按用户偏好做完了”分开评估。它在LIBERO仿真中组织运动、技能和用户背景三类偏好,构建五组、共312个偏好条件任务,用于研究机器人策略如何学习、泛化和组合偏好。

为什么值得关注

适合用来设计任务成功与偏好满足的双重评估,避免只看总体成功率而漏掉执行方式是否符合用户要求。对VLA研究,还可检查学到的偏好能否跨布局、跨任务迁移,以及冲突出现时如何退让。

研究问题

相同任务目标可以有不同的执行要求,例如杯柄朝向或避开桌面区域。只检查物体是否到达目标,无法区分一般任务能力与用户偏好遵循能力,也不利于比较偏好泛化和冲突处理。

方法原理

基准将偏好视为独立于任务目标的变量,覆盖运动约束、技能执行方式和用户背景选择。程序化管线生成有偏好与无偏好的配对演示,提供偏好满足指标和子任务元数据;五组任务分别考察单偏好、数据规模、冲突、组合与上下文推理。

结果与证据

作者构建了五组、共312个偏好条件任务。摘要与引言概括:现有VLA的零样本个性化较难,监督微调能使偏好可学习;混合训练在保留无偏好任务能力等方面有收益,但可能削弱运动偏好学习,泛化、组合和冲突处理仍然困难。本次不转述尚未逐项核验的实验表数值。

阅读边界
本次读取的是18,000字符正文节选,包含摘要、引言及偏好定义等方法内容;结果判断来自作者在摘要和引言的概括,未逐项核验第4节与附录。这里讨论受控仿真设定,不能把这些结论视为家庭真机部署效果保证。

作者:Zhixu Li、Keqian Tang、Litian Gong、Jingyu Yao、Wenqian Zhang、Tianze Xu、Zehao Wang、Yuping Wang、Junge Zhang、Jiachen Li

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

ObjDream在 VLA中显式组织对象身份与动态状态,以对象级表征及动作条件下的未来状态预测支持机器人操作。

更多

仅依据作者摘要整理;正文、实验细节及代码可用性尚未核验。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

这项城市驾驶仿真研究按动作密度调整行为克隆的样本权重,配合鸟瞰图输入,改善少量示教中停车和起步等稀有关键动作的学习。

更多

仅依据作者摘要整理;正文、实验细节及代码可用性尚未核验。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Atomic-WAM用视觉语言推理器描述下一步原子运动,再指导世界动作模型生成未来视频与动作片段,并以执行反馈对推理器进行后训练。

更多

仅依据作者摘要整理;正文、实验细节及代码可用性尚未核验。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

这项扫地机器人硬件工作提出利用几何近奇异结构保持展开姿态的自锁连杆,并集成到商用扫地机器人中评估推动式整理任务。

更多

仅依据作者摘要整理;正文、实验细节及代码可用性尚未核验。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

这篇触觉机器人学习综述按触觉在学习和控制链路中的功能,梳理表征、策略、基础模型、预测控制与跨对象及跨本体泛化问题。

更多

仅依据作者摘要整理;正文、实验细节及代码可用性尚未核验。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

HM3D-M3把多机器人、多模态目标和多对象搜索放到同一室内导航回合中,并提供分层目标分配与共享地图的代理基线。

更多

仅依据作者摘要整理;正文、实验细节及代码可用性尚未核验。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

FoveaVLA随动作块预测下一次需要观察的交互区域,将原始分辨率图像裁剪与全景视图共同输入策略,以外部相机的局部细节替代腕部相机。

更多

仅依据作者摘要整理;正文、实验细节及代码可用性尚未核验。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

MorphAct通过耦合的参数生成器,为视觉语言和动作模块产生随交互上下文变化的低秩更新,研究不同操作对固定共享参数提出相互竞争要求的问题。

更多

仅依据作者摘要整理;正文、实验细节及代码可用性尚未核验。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…