Embodied AI Daily具身智能科研日报

具身智能早报

关注机器人研究、开源与产业的新进展

‹ ›
具身智能日报 · 2026-10-22
本期导读

本期整理机器人学习、系统与工具的研究进展;各条附来源依据与阅读边界。

9 条内容 · 4 篇重点解读 · 5 条简讯

UniWALM: Unified World Action Language Model for Embodied Robot Control:Figure 1: (a) UniWALM is a unified World Action Language Model that extends a single video-model backbone to act and reason by co-generating video, action, and language through one shared diffusion process — no separate language model fused onto a world-action model. This supports (b) single and (c) bimanual dexterous manipulation with (d) multi-stage manipulation and (e) memory-dependent reasoning . Prior work (f) composes
Figure 1: (a) UniWALM is a unified World Action Language Model that extends a single video-model backbone to act and reason by co-generating video, action, and language through one shared diffusion process — no separate language model fused onto a world-action model. This supports (b) single and (c) bimanual dexterous manipulation with (d) multi-stage manipulation and (e) memory-dependent reasonin图源:论文作者 / arXiv
arXiv cs.CV filtered精读

UniWALM: Unified World Action Language Model for Embodied Robot Control

Rahul Sajnani、Diego Romeres 等 · 12 位作者

UniWALM在单一mixture-of-transformers骨干中通过同步扩散头联合生成视频、动作与语言,生成的文本在下一步被重新消费以闭合语言记忆环,并引入Flow Matching with Correction(FMC)目标训练模型从扰动轨迹恢复。 在RMBench记忆依赖子集上,UniWALM无需预训练语言模型即达34.5%成功率,优于同骨干FastWAM(13.3%)及配备关键帧的Mem-0(28.5%);真机双臂Find-the-Item任务中,文本记忆使成功率从11.1%提升至61.1%,而SOTA VLA不超过33.3%。

机器人基础模型world_modelVLA
论文
展开解读与证据

UniWALM在单一mixture-of-transformers骨干中通过同步扩散头联合生成视频、动作与语言,生成的文本在下一步被重新消费以闭合语言记忆环,并引入Flow Matching with Correction(FMC)目标训练模型从扰动轨迹恢复。 在RMBench记忆依赖子集上,UniWALM无需预训练语言模型即达34.5%成功率,优于同骨干FastWAM(13.3%)及配备关键帧的Mem-0(28.5%);真机双臂Find-the-Item任务中,文本记忆使成功率从11.1%提升至61.1%,而SOTA VLA不超过33.3%。

为什么值得关注

UniWALM在单一mixture-of-transformers骨干中通过同步扩散头联合生成视频、动作与语言,生成的文本在下一步被重新消费以闭合语言记忆环,并引入Flow Matching with Correction(FMC)目标训练模型从扰动轨迹恢复。

研究问题

现有视频-动作模型将语言仅作为条件输入而非生成目标,缺乏子任务推理与记忆维持机制;分离式VLM+VLA管线因异构训练难以形成共享表征,导致长程记忆依赖任务表现受限。

方法原理

UniWALM在单一mixture-of-transformers骨干中通过同步扩散头联合生成视频、动作与语言,生成的文本在下一步被重新消费以闭合语言记忆环,并引入Flow Matching with Correction(FMC)目标训练模型从扰动轨迹恢复。

结果与证据

在RMBench记忆依赖子集上,UniWALM无需预训练语言模型即达34.5%成功率,优于同骨干FastWAM(13.3%)及配备关键帧的Mem-0(28.5%);真机双臂Find-the-Item任务中,文本记忆使成功率从11.1%提升至61.1%,而SOTA VLA不超过33.3%。

阅读边界
失败模式包括子任务边界触发时序偏差、相同观测下记忆状态混淆、复杂几何抓取精度不足,以及含语言生成的32步动作块推理耗时123ms,可能不适用于高频闭环控制。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Rahul Sajnani、Diego Romeres、Mingyuan Zhang、Kai Gao、Carl Qi、Baichuan Huang、Srinath Sridhar、Dylan Randle、Lillian J. Ratliff、Jose Barreiros、Manikantan Nambi、Jeroen Vanbaar

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Learning Adaptable Dexterous Skills via Hybrid Dexterous Mimicking:Figure 1: AdaDex learns diverse adaptable dexterous skills, such as functional grasping, object reposing, in-hand reorientation, and dynamic behaviors, from seconds of human motion.
Figure 1: AdaDex learns diverse adaptable dexterous skills, such as functional grasping, object reposing, in-hand reorientation, and dynamic behaviors, from seconds of human motion.图源:论文作者 / arXiv
arXiv cs.CV filtered精读

Learning Adaptable Dexterous Skills via Hybrid Dexterous Mimicking

Yuxuan Kuang、Jiashun Wang 等 · 8 位作者

AdaDex采用Hybrid Dexterous Mimicking框架,在共享策略下并行训练密集跟踪环境(注入人手先验)与稀疏目标达成环境(带噪声初始化与目标),仅需数秒人手运动即可学习可适配灵巧技能。 该方法学会功能性抓取、物体重摆、手指步态切换的手内重定向及抛接等动态行为,并在仿真与真机中验证了跨模拟器迁移与实时30Hz闭环部署的物理可行性。

学习与仿真dexterous_manipulationreinforcement_learning
论文
展开解读与证据

AdaDex采用Hybrid Dexterous Mimicking框架,在共享策略下并行训练密集跟踪环境(注入人手先验)与稀疏目标达成环境(带噪声初始化与目标),仅需数秒人手运动即可学习可适配灵巧技能。 该方法学会功能性抓取、物体重摆、手指步态切换的手内重定向及抛接等动态行为,并在仿真与真机中验证了跨模拟器迁移与实时30Hz闭环部署的物理可行性。

为什么值得关注

AdaDex采用Hybrid Dexterous Mimicking框架,在共享策略下并行训练密集跟踪环境(注入人手先验)与稀疏目标达成环境(带噪声初始化与目标),仅需数秒人手运动即可学习可适配灵巧技能。

研究问题

灵巧手学习中,目标导向RL缺乏人手先验导致策略不自然且不可靠,而纯动作跟踪虽复现人类行为却无法偏离参考轨迹泛化到新状态。

方法原理

AdaDex采用Hybrid Dexterous Mimicking框架,在共享策略下并行训练密集跟踪环境(注入人手先验)与稀疏目标达成环境(带噪声初始化与目标),仅需数秒人手运动即可学习可适配灵巧技能。

结果与证据

该方法学会功能性抓取、物体重摆、手指步态切换的手内重定向及抛接等动态行为,并在仿真与真机中验证了跨模拟器迁移与实时30Hz闭环部署的物理可行性。

阅读边界
当前每个物体和每条参考轨迹训练独立策略,尚未扩展至单策略覆盖多物体多动作;物体状态仅用6-DoF位姿加BPS形状码表示,未支持铰接或可变形物体。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Yuxuan Kuang、Jiashun Wang、Yixuan Sun、Yufei Ye、Sungjae Park、Umar Iqbal、Katerina Fragkiadaki、Shubham Tulsiani

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images:Figure 1 : Single-image simulation-ready scene reconstruction for robotics. SceneRig combines vision tools, agentic reasoning, and physical simulation to create an editable, simulation-ready scene from a single image (top). Its reconstructions support real-to-sim policy evaluation and open-loop trajectory replay, reproducing real-world outcomes more faithfully than SimFoundry (bottom).
Figure 1 : Single-image simulation-ready scene reconstruction for robotics. SceneRig combines vision tools, agentic reasoning, and physical simulation to create an editable, simulation-ready scene from a single image (top). Its reconstructions support real-to-sim policy evaluation and open-loop trajectory replay, reproducing real-world outcomes more faithfully than SimFoundry (bottom).图源:论文作者 / arXiv
arXiv cs.CV filtered精读

SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images

Rundong Luo、Yunong Liu 等 · 7 位作者

SceneRig构建模块化agent工具链,结合几何、视觉与物理工具进行编辑-验证循环:先通过关系感知与支持面排序初始化度量场景,再由姿态精炼agent比对参考/渲染裁切并调用物理约束工具修正物体放置,最终导出USD保留碰撞与物理属性。 相比基线,SceneRig将开环轨迹回放成功率从36%提升至80%,真机策略结果一致性从54%提升至69%;消融显示移除物理移动工具后回放成功率降至44%,证实物理接地对操作可复现性的关键作用。

学习与仿真sim_to_realscene_reconstruction
论文
展开解读与证据

SceneRig构建模块化agent工具链,结合几何、视觉与物理工具进行编辑-验证循环:先通过关系感知与支持面排序初始化度量场景,再由姿态精炼agent比对参考/渲染裁切并调用物理约束工具修正物体放置,最终导出USD保留碰撞与物理属性。 相比基线,SceneRig将开环轨迹回放成功率从36%提升至80%,真机策略结果一致性从54%提升至69%;消融显示移除物理移动工具后回放成功率降至44%,证实物理接地对操作可复现性的关键作用。

为什么值得关注

SceneRig构建模块化agent工具链,结合几何、视觉与物理工具进行编辑-验证循环:先通过关系感知与支持面排序初始化度量场景,再由姿态精炼agent比对参考/渲染裁切并调用物理约束工具修正物体放置,最终导出USD保留碰撞与物理属性。

研究问题

单图三维重建方法虽能生成视觉相似场景,但依赖后处理物理沉降常导致物体错位,使重建场景在操作下行为失真,无法可靠支持机器人策略评估。

方法原理

SceneRig构建模块化agent工具链,结合几何、视觉与物理工具进行编辑-验证循环:先通过关系感知与支持面排序初始化度量场景,再由姿态精炼agent比对参考/渲染裁切并调用物理约束工具修正物体放置,最终导出USD保留碰撞与物理属性。

结果与证据

相比基线,SceneRig将开环轨迹回放成功率从36%提升至80%,真机策略结果一致性从54%提升至69%;消融显示移除物理移动工具后回放成功率降至44%,证实物理接地对操作可复现性的关键作用。

阅读边界
当前仅针对桌面场景优化,复杂房间因遮挡与深度歧义仍具挑战;重建对象视为单一刚体,未恢复关节结构或形变,且SAM3D缺乏PBR材质限制照片级真实感。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Rundong Luo、Yunong Liu、Di Cao、Matthew Tancik、Shyamal Buch、Colton Stearns、Wenqi Xian

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

GPT-6 Astra Is a Native Visuo-Tactile Policy for Contact-Rich Manipulation:Figure 2: Direct tactile-image input for contact-guided manipulation. Tactile RGB images and scene observations enter Astra through its visual input interface. Demonstrations and online interaction memory connect contact evidence to actions and outcomes. Astra generates end-effector and gripper commands; benchmark execution returns observations and a receipt for the next decision. The displayed fixed-camera and tactile im
Figure 2: Direct tactile-image input for contact-guided manipulation. Tactile RGB images and scene observations enter Astra through its visual input interface. Demonstrations and online interaction memory connect contact evidence to actions and outcomes. Astra generates end-effector and gripper commands; benchmark execution returns observations and a receipt for the next decision. The displayed fi图源:论文作者 / arXiv
arXiv cs.RO精读

GPT-6 Astra Is a Native Visuo-Tactile Policy for Contact-Rich Manipulation

Chen Yang、Linzhe Shi 等 · 6 位作者

研究将触觉RGB图像通过现有视觉接口输入Astra,结合演示与在线交互记忆实现少样本闭环控制,在UniVTAC与OpenViTac共19个仿真任务上以210个场景种子评估视觉与视触两种设置。 视触输入下Astra在UniVTAC与OpenViTac平均成功率分别达93.8%与81.8%,超出最强专用基线22.9与13.1个百分点;纯视觉亦达76.3%与80.6%,表明细粒度视觉可部分补偿缺失触觉。

机器人基础模型foundation_modeltactile_sensing
论文
展开解读与证据

研究将触觉RGB图像通过现有视觉接口输入Astra,结合演示与在线交互记忆实现少样本闭环控制,在UniVTAC与OpenViTac共19个仿真任务上以210个场景种子评估视觉与视触两种设置。 视触输入下Astra在UniVTAC与OpenViTac平均成功率分别达93.8%与81.8%,超出最强专用基线22.9与13.1个百分点;纯视觉亦达76.3%与80.6%,表明细粒度视觉可部分补偿缺失触觉。

为什么值得关注

研究将触觉RGB图像通过现有视觉接口输入Astra,结合演示与在线交互记忆实现少样本闭环控制,在UniVTAC与OpenViTac共19个仿真任务上以210个场景种子评估视觉与视触两种设置。

研究问题

尽管多模态基础模型已能执行视觉操作,接触丰富任务仍被视为专用策略优势领域,尚不清楚GPT-6 Astra能否直接理解并利用视觉触觉图像中的接触线索。

方法原理

研究将触觉RGB图像通过现有视觉接口输入Astra,结合演示与在线交互记忆实现少样本闭环控制,在UniVTAC与OpenViTac共19个仿真任务上以210个场景种子评估视觉与视触两种设置。

结果与证据

视触输入下Astra在UniVTAC与OpenViTac平均成功率分别达93.8%与81.8%,超出最强专用基线22.9与13.1个百分点;纯视觉亦达76.3%与80.6%,表明细粒度视觉可部分补偿缺失触觉。

阅读边界
所有实验均在仿真中进行,真机鲁棒性未验证;部分任务(如Weight Classify、Insert Tube)加入触觉后性能反降,且存在切向力敏感度低、精细调整困难及主动探测不收敛等失败模式。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Chen Yang、Linzhe Shi、Hang Zhang、Mu Xu、Jiansheng Fan、Chen Wang

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Video-Point Model(VPM)扩展预训练世界模型,通过相机条件多视角处理与点轨迹预测头联合生成任意视点未来视频与持久场景点3D轨迹,并将机器人动作作为token模态与视频同步去噪以接地于同一3D表征。(依据摘要整理) 在VP-WorldBench及现有4D生成基准上,点监督相比纯视频模型提升视频保真度与3D运动精度;仿真与真机实验中,启用动作的模型操作成功率亦获提升。(依据摘要整理)

更多

依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Planning Under Noise(PUN)神经算子学习噪声感知值场用于未见几何中的规划,采用反射Neumann边界条件替代零Dirichlet障碍边界,并通过Walk on Stars蒙特卡洛求解器与有界局部搜索摊销计算。(依据摘要整理) 在四个噪声水平的4D重规划基准上,PUN达到95–100%成功率并保持最低运行时间;最高噪声下相对成功率提升10.7–60.6%,推理速度比对比方法快3.29–32.15倍。(依据摘要整理)

更多

依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Prior-Informed Adaptation(PIA)在异构低保真与高保真仿真轨迹上预训练世界模型,将其作为有偏先验,并通过不确定正则化规划在有限目标域交互中在线修正残差失配。(依据摘要整理) 仿真中PIA在赛道与路面变化下适配更快、圈速更低且失败更少;真车实验中,少于一小时车载交互即可实现可靠的少样本适配。(依据摘要整理)

更多

依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

VaDar(Value Disaggregation)训练单一非子目标条件策略最大化各子目标critic值的线性组合,仅在训练时使用子目标信息,部署时无需子目标选择。(依据摘要整理) VaDar在RoboCasa长程任务上成为首个成功算法,即使从行为克隆预训练且初始成功率近零的策略出发亦可解决;在非顺序目标结构与多优化目标任务上频繁优于目标条件基线。(依据摘要整理)

更多

依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Joints, Camera, Action!(JCA)将3D运动置于独立模型支持任意骨架,通过少量交叉注意力层连接预训练视频模型,并利用生成式视频编辑器策展近20万训练对以联合生成视频、3D运动与相机参数。(依据摘要整理) 评估显示该模型从文本动画多样骨架比video-first管线更忠实,运动响应周围环境,并支持视频↔骨架运动双向转换及关键帧控制。(依据摘要整理)

更多

依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…