Embodied AI Daily具身智能科研日报

具身智能早报

关注机器人研究、开源与产业的新进展

‹ ›
具身智能日报 · 2026-10-27
本期导读

聚焦人形动作迁移、统一动作世界模型与具身规划,并整理场景生成、触觉操作和多机器人协同的研究进展。

9 条内容 · 3 篇重点解读 · 6 条简讯

ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback:ViT-H论文图1:单目人类视频与G1动作对照,涵盖离线动作生成和实时遥操作。
ViT-H论文图1:单目人类视频与G1动作对照,涵盖离线动作生成和实时遥操作。图源:论文作者 / arXiv
arXiv cs.CV filtered精读

ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback

Zimo He、Tianyi Bian 等 · 10 位作者

该方法用视频条件生成器直接预测G1参考动作,再由全身跟踪策略执行,并利用跟踪反馈对生成器做DPO后训练。 相较论文采用的重建、重定向和跟踪流程基线,ViT-H生成动作的可执行性与局部姿态精度更高。 作者还展示了单相机视频驱动的自回归遥操作,在所述部署设置下实现低于400毫秒的延迟。

机器人基础模型humanoidvideo-to-action
论文
展开解读与证据

该方法用视频条件生成器直接预测G1参考动作,再由全身跟踪策略执行,并利用跟踪反馈对生成器做DPO后训练。 相较论文采用的重建、重定向和跟踪流程基线,ViT-H生成动作的可执行性与局部姿态精度更高。 作者还展示了单相机视频驱动的自回归遥操作,在所述部署设置下实现低于400毫秒的延迟。

为什么值得关注

跟踪器在此不仅负责执行参考动作,也为上游动作生成模型提供可执行性的训练监督。

研究问题

ViT-H面向单目人类视频向人形机器人全身动作的迁移问题,常见方案需依次处理人体动作重建、机器人重定向和动作跟踪。

方法原理

该方法用视频条件生成器直接预测G1参考动作,再由全身跟踪策略执行,并利用跟踪反馈对生成器做DPO后训练。

结果与证据

相较论文采用的重建、重定向和跟踪流程基线,ViT-H生成动作的可执行性与局部姿态精度更高。 作者还展示了单相机视频驱动的自回归遥操作,在所述部署设置下实现低于400毫秒的延迟。

阅读边界
实验以29自由度Unitree G1作为仿真和真机部署的共同平台,训练中仅含人体动作的数据仍使用适配后的GMR进行重定向。 当前动作表示与跟踪设置不建模灵巧手位姿,物体交互主要涉及较大、较简单物体的全身操作。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Zimo He、Tianyi Bian、Zizhong Yang、Hongjie Li、Nan Jiang、Jieming Cui、Baoxiong Jia、Yizhou Wang、Siyuan Huang、Yixin Zhu

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

arXiv cs.CV filtered精读

UniAction: Unified Action Conditioning for World Models

Bowen Xue、Zizhang Li 等 · 4 位作者

UniAction把不同动作统一为带语义标识和时空位置的稀疏元素,并将其放入视频骨干自身的位置编码空间。 其基数校准注意力用于消除动作表示粒度带来的条件强度偏差,避免少量外力或相机动作令牌被大量位姿令牌压制。 作者在动作跟随评估中报告,统一联合训练的模型超过了对应的动作专用专家,条件控制表现也优于所比较的替代机制。

机器人基础模型world-modelaction-conditioning
论文
展开解读与证据

UniAction把不同动作统一为带语义标识和时空位置的稀疏元素,并将其放入视频骨干自身的位置编码空间。 其基数校准注意力用于消除动作表示粒度带来的条件强度偏差,避免少量外力或相机动作令牌被大量位姿令牌压制。 作者在动作跟随评估中报告,统一联合训练的模型超过了对应的动作专用专家,条件控制表现也优于所比较的替代机制。

为什么值得关注

这一表示让力、相机控制、手位姿与机器人位姿的数据能够训练同一个世界模型,研究重点是让异构动作数据相互补益。

研究问题

世界模型需要处理外力、相机运动以及手和机器人动作等异构条件,既有接口常依赖动作专用的视觉渲染或学习编码器。

方法原理

UniAction把不同动作统一为带语义标识和时空位置的稀疏元素,并将其放入视频骨干自身的位置编码空间。 其基数校准注意力用于消除动作表示粒度带来的条件强度偏差,避免少量外力或相机动作令牌被大量位姿令牌压制。

结果与证据

作者在动作跟随评估中报告,统一联合训练的模型超过了对应的动作专用专家,条件控制表现也优于所比较的替代机制。

阅读边界
本文讨论的是以初始画面、文本和动作为条件生成未来视频,结果应按动作条件视频预测来理解。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Bowen Xue、Zizhang Li、Hong-Xing Yu、Jiajun Wu

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

RynnUnify: Towards Unified Embodied Brain:RynnUnify论文图1:具身理解、视觉规划、Agent推理与机器人动作的能力概览。
RynnUnify论文图1:具身理解、视觉规划、Agent推理与机器人动作的能力概览。图源:论文作者 / arXiv
arXiv cs.RO精读

RynnUnify: Towards Unified Embodied Brain

Minghao Zhu、Bohan Hou 等 · 23 位作者

RynnUnify采用16B统一架构,由8B自回归推理器和8B扩散生成器组成,两支通过联合注意力交换信息。 推理器根据任务、当前观测与历史子任务给出下一步及其视觉演变描述,生成片段的末帧再作为后续推理的观测。 作者报告,世界动作扩展在20个选定的RoboCasa365复合任务上取得51.5%成功率,并在三个真机任务上取得46.7%的平均成功率。

机器人基础模型embodied-reasoningworld-action-model
论文
展开解读与证据

RynnUnify采用16B统一架构,由8B自回归推理器和8B扩散生成器组成,两支通过联合注意力交换信息。 推理器根据任务、当前观测与历史子任务给出下一步及其视觉演变描述,生成片段的末帧再作为后续推理的观测。 作者报告,世界动作扩展在20个选定的RoboCasa365复合任务上取得51.5%成功率,并在三个真机任务上取得46.7%的平均成功率。

为什么值得关注

这为把子任务规划与预期视觉后果衔接起来提供了统一建模方案,生成结果可成为下一步规划的上下文。

研究问题

长程视觉规划需要持续连接子任务与场景变化,而场景变化和预测误差累积会增加跨步骤推理的难度。

方法原理

RynnUnify采用16B统一架构,由8B自回归推理器和8B扩散生成器组成,两支通过联合注意力交换信息。 推理器根据任务、当前观测与历史子任务给出下一步及其视觉演变描述,生成片段的末帧再作为后续推理的观测。

结果与证据

作者报告,世界动作扩展在20个选定的RoboCasa365复合任务上取得51.5%成功率,并在三个真机任务上取得46.7%的平均成功率。

阅读边界
按需生成视频辅助推理的Agent是从推理器额外后训练的8B扩展,它可以直接回答,也可以调用冻结的RynnUnify再解释预测视频。 机器人控制使用另行训练的世界动作扩展,通过潜在规划与视频、动作联合训练连接理解和预测能力。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Minghao Zhu、Bohan Hou、Kun Xiang、Zixuan Wang、Yinzhou Tang、Yifei Yang、Zhikai Wang、Tianyi Zhang、Kehan Li、Haoyu Zhao、Siteng Huang、Leigang Qu、Sicong Leng、Dongchi Huang、Mingxiu Chen、Shijian Lu、Yue Wang、Xiaodan Liang、Zhenyu Zeng、Deli Zhao、Chengju Liu、Jianfei Yang、Xin Li

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

SceneBloom把基于扩散先验的家具布局采样与三维编译结合,利用布局关系做几何拟合和局部位姿修正,生成具身学习所需的室内场景。 作者在五类房间的比较中未检测到网格碰撞或物体越界,并报告用这些场景训练的导航策略在留出的真实扫描场景中表现更好。

更多

导航结果限定为留出真实扫描场景上的评测,对照策略使用的是等量真实训练扫描场景。 依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

这项工作为视觉车道保持建立鲁棒无偏差模型预测控制框架,并用多任务UNet视觉模型考察感知不确定性。 作者报告,itube-CILQR在数值仿真中优于所比较的IPOPT和OSQP求解器,平均计算耗时低于5毫秒。

更多

视觉车道保持与感知不确定性实验在仿真环境开展,所用交通场景未出现在感知模型的训练中。 依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

FrontierCS2把Diffusion Policy和MuJoCo Playground纳入机器人领域的科研编程任务,在删去论文核心实现的研究仓库中评估Agent提交。

更多

这里的评测对象是研究代码提交,裁判以原代码作为人工参考,并在最终提交阶段加入Agent未见过的保留工作负载。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

这篇触觉操作综述从接触力学和数据驱动两条互补路线梳理触觉状态如何影响机器人动作,并覆盖模仿学习、强化学习、VLA与预测模型。

更多

论文属于研究综述,讨论触觉机器人系统在规模化、泛化性与稳健性方面仍待解决的问题。 依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

该群体形态生长框架把神经元胞自动机与位置选择、避碰控制结合,让已进入队形的机器人共享局部状态来发现新的附着位置。 作者通过离线稀疏保留微调模拟逐步附着,在仿真中形成多种晶格形态,并展示扩展到数百机器人规模的结果。

更多

Crazyflie四旋翼实机实验使用外部跟踪重构机器人相对观测,数百机器人规模的结果来自仿真。 依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

WarpWeaver通过分散树与去中心化列生成协调多机器人,让各机器人协商共享空间的租金,并以异步实时循环进行滚动规划。 作者在六台机器人上完成板载规划硬件实验,验证了该协调协议的实际可实现性。

更多

论文所述的近优性证书以协商达到静止状态为前提,实时截止时间截断协商的情况由实验另行考察。 依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…