Embodied AI Daily具身智能科研日报

具身智能早报

关注机器人研究、开源与产业的新进展

‹ ›
具身智能日报 · 2026-10-21
本期导读

本期内容已逐条通过事实、来源、日期和阅读边界核验;整期选题覆盖尚未通过,现按待复核内容交付,不计为完整日报审核通过。

9 条内容 · 5 篇重点解读 · 4 条简讯

Beyond Omni: A Unified MLLM for Embodied Sensory Understanding:Figure 1: Different senses, shared intelligence : broad embodied understanding requires diverse physical evidence while drawing on shared knowledge and reasoning. Examples from depth, smell, thermal, and radar show how these signals resolve ambiguities left by basic-modality observations. Rather than duplicating general intelligence across separate sensory models, UniSense combines modality-specific experts with a shared LLM.
Figure 1: Different senses, shared intelligence : broad embodied understanding requires diverse physical evidence while drawing on shared knowledge and reasoning. Examples from depth, smell, thermal, and radar show how these signals resolve ambiguities left by basic-modality observations. Rather than duplicating general intelligence across separate sensory models, UniSense combines modality-specif图源:论文作者 / arXiv
arXiv cs.CV filtered精读

Beyond Omni: A Unified MLLM for Embodied Sensory Understanding

Shiyun Xiong、Dongming Wu 等 · 8 位作者

UniSense采用两阶段训练:先用模态描述监督传感-语言对齐建立语言可访问接口,再在共享LLM内微调模态特定专家以提供专用处理,同时保留基础模态的预训练通路。 在涵盖深度、点云、IMU、触觉、热、雷达、运动与气味的12个异构传感基准上,UniSense在多数任务上优于通用与专用模型,9B版本在TextVQAval达83.6、MMBench达87.5。

机器人基础模型multimodal perceptionsensory alignment
论文
展开解读与证据

UniSense采用两阶段训练:先用模态描述监督传感-语言对齐建立语言可访问接口,再在共享LLM内微调模态特定专家以提供专用处理,同时保留基础模态的预训练通路。 在涵盖深度、点云、IMU、触觉、热、雷达、运动与气味的12个异构传感基准上,UniSense在多数任务上优于通用与专用模型,9B版本在TextVQAval达83.6、MMBench达87.5。

为什么值得关注

UniSense采用两阶段训练:先用模态描述监督传感-语言对齐建立语言可访问接口,再在共享LLM内微调模态特定专家以提供专用处理,同时保留基础模态的预训练通路。

研究问题

现有多模态大模型对深度、触觉、热、雷达等具身物理传感的支持仍然有限,这些模态的表征结构与统计特性差异大且与语言弱耦合,难以在统一架构中实现高层理解与推理。

方法原理

UniSense采用两阶段训练:先用模态描述监督传感-语言对齐建立语言可访问接口,再在共享LLM内微调模态特定专家以提供专用处理,同时保留基础模态的预训练通路。

结果与证据

在涵盖深度、点云、IMU、触觉、热、雷达、运动与气味的12个异构传感基准上,UniSense在多数任务上优于通用与专用模型,9B版本在TextVQAval达83.6、MMBench达87.5。

阅读边界
配套构建的Unisense-1M训练语料覆盖8种具身传感模态共约100万样本,用于支撑跨模态对齐与专家调优。 评估仅限于离线传感理解基准,尚未报告在闭环机器人控制或真实部署中的性能验证。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Shiyun Xiong、Dongming Wu、Peiwen Sun、Bokang Yang、Jiaxu Wang、Xiaolou Sun、Mingxing Wen、Xiangyu Yue

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Isaac Lab精读

v3.0.0

Isaac Lab 3.0 GA引入工厂化多后端架构,支持Newton(含MuJoCo-Warp、VBD、MPM)、OVPhysX/OVRTX与Isaac Sim PhysX/RTX作为独立可选后端,实现同一任务API下物理、渲染与可视化解耦切换。 通过Warp原生ProxyArray提供零拷贝张量访问、融合GPU内核与CUDA图支持,减少Python与张量转换开销,同时保持PyTorch互操作。

学习与仿真simulation infrastructuremulti-backend physics
开源工具
展开解读与证据

Isaac Lab 3.0 GA引入工厂化多后端架构,支持Newton(含MuJoCo-Warp、VBD、MPM)、OVPhysX/OVRTX与Isaac Sim PhysX/RTX作为独立可选后端,实现同一任务API下物理、渲染与可视化解耦切换。 通过Warp原生ProxyArray提供零拷贝张量访问、融合GPU内核与CUDA图支持,减少Python与张量转换开销,同时保持PyTorch互操作。

为什么值得关注

大多数工作流可在不安装Isaac Sim的情况下运行,仅在需要完整PhysX/RTX栈、ROS桥接、XR或直播时才启用Kit,降低机器人学习的环境门槛。

研究问题

此前机器人学习任务常与单一物理引擎绑定,且多数工作流强制依赖完整Isaac Sim/Kit栈,导致环境配置复杂、跨后端迁移成本高。

方法原理

Isaac Lab 3.0 GA引入工厂化多后端架构,支持Newton(含MuJoCo-Warp、VBD、MPM)、OVPhysX/OVRTX与Isaac Sim PhysX/RTX作为独立可选后端,实现同一任务API下物理、渲染与可视化解耦切换。

结果与证据

通过Warp原生ProxyArray提供零拷贝张量访问、融合GPU内核与CUDA图支持,减少Python与张量转换开销,同时保持PyTorch互操作。

阅读边界
GA版本目标依赖为Isaac Sim 6.2、Python 3.12、PyTorch 2.11+CUDA 13.0、Warp 1.17、Newton 1.6.1与RSL-RL 5.5.1,并集成RSL-RL、RL-Games、skrl、Stable-Baselines3、RLinf与TorchRL。 从Early Access迁移需替换AppLauncher为launch_simulation、改用resolve_task_config及composable schema fragments等API,旧Hydra装饰器与部分设置管理接口已移除。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience:Figure 2: Xp-Data curation pipeline. Heterogeneous human and robot recordings pass through five stages. (1) Data sources : 14 public human egocentric datasets, 6,000 h of in-house four-camera recordings, and 13 public robot datasets. (2) Video filtering removes low-quality or task-irrelevant clips with a vision-language model. (3) Multimodal annotation produces geometry (metric camera poses via SLAM and D
Figure 2: Xp-Data curation pipeline. Heterogeneous human and robot recordings pass through five stages. (1) Data sources : 14 public human egocentric datasets, 6,000 h of in-house four-camera recordings, and 13 public robot datasets. (2) Video filtering removes low-quality or task-irrelevant clips with a vision-language model. (3) Multimodal annotation produces geometry (metric camera poses via SL图源:论文作者 / arXiv
arXiv cs.CV filtered精读

Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience

Tianqi Liu、Hanfei Zhao 等 · 15 位作者

Ropedia W0使用统一运动学表示:以相机位姿编码移动、以投影骨架编码操作,机器人骨架结合特定具身正运动学与人工关键点校正,使人与机器人在共享视觉格式下训练。 在DreamDojo、Ψ0、ω-HOME、Xp-Teleop与AgiBot五个跨具身基准及留出的人类自我中心视频上取得最优预测性能,且增加人类视频预训练数据可同时提升人类与机器人评估指标。

机器人基础模型world modelloco-manipulation
论文
展开解读与证据

Ropedia W0使用统一运动学表示:以相机位姿编码移动、以投影骨架编码操作,机器人骨架结合特定具身正运动学与人工关键点校正,使人与机器人在共享视觉格式下训练。 在DreamDojo、Ψ0、ω-HOME、Xp-Teleop与AgiBot五个跨具身基准及留出的人类自我中心视频上取得最优预测性能,且增加人类视频预训练数据可同时提升人类与机器人评估指标。

为什么值得关注

Ropedia W0使用统一运动学表示:以相机位姿编码移动、以投影骨架编码操作,机器人骨架结合特定具身正运动学与人工关键点校正,使人与机器人在共享视觉格式下训练。

研究问题

现有世界模型多聚焦固定基座夹爪操作,难以联合建模由移动引起的视角变化与灵巧手-物体交互,且跨具身泛化受限于异构动作空间与多模态监督不足。

方法原理

Ropedia W0使用统一运动学表示:以相机位姿编码移动、以投影骨架编码操作,机器人骨架结合特定具身正运动学与人工关键点校正,使人与机器人在共享视觉格式下训练。

结果与证据

在DreamDojo、Ψ0、ω-HOME、Xp-Teleop与AgiBot五个跨具身基准及留出的人类自我中心视频上取得最优预测性能,且增加人类视频预训练数据可同时提升人类与机器人评估指标。

阅读边界
配套构建Xp-Data(约1万小时人类+3千小时机器人视频)与Xp-Teleop长程loco-manipulation基准;蒸馏后的5B学生模型可以21.3 fps生成分钟级实时交互rollout。 运动学接口仅捕获相机与机械臂运动,未建模物理接触与物体动力学;实时交互仍受限于局部注意力窗口,更长时程需更强记忆或周期性重定位。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Tianqi Liu、Hanfei Zhao、Qifeng Liang、Hui En Pang、Jiarui Xu、Sayang Mu、Penghao Qiu、YingSheng Zhang、Jun Wang、Ziang Cao、Mingze Sun、Yukang Cao、Fangzhou Hong、Zhaoxi Chen、Ziwei Liu

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

PICA-WAM: Visual Perturbation Invariance via Cross-Appearance Self-Alignment in World Action Models:Figure 1: Overview of PICA-WAM . Top: augmentation supervises each observation independently, whereas PICA-WAM aligns shallower-layer action representations of the student on the perturbed observation to deeper-layer ones of its EMA teacher on the nominal observation. Bottom left: schematic of action representations. Matching shapes denote the same underlying task state across nominal and perturbe
Figure 1: Overview of PICA-WAM . Top: augmentation supervises each observation independently, whereas PICA-WAM aligns shallower-layer action representations of the student on the perturbed observation to deeper-layer ones of its EMA teacher on the nominal observation. Bottom left: schematic of action representations. Matching shapes denote the same underlying task state across nominal and perturbe图源:论文作者 / arXiv
arXiv cs.CV filtered精读

PICA-WAM: Visual Perturbation Invariance via Cross-Appearance Self-Alignment in World Action Models

Yude Zou、Yifei Yao 等 · 6 位作者

PICA-WAM将扰动不变性建模为辅助自对齐任务:EMA教师读取标称观测提供深层目标,在线模型读取扰动观测并通过轻量投影头将其浅层动作表征对齐到该目标,无需外部编码器或额外数据。 在RoboTwin 2.0 Clean-to-Random、LIBERO-Plus、EBench及真机操作上,PICA-WAM在四种WAM上一致提升扰动鲁棒性并保持分布内性能;OpenWAM-α真机成功率从33.1%提升至67.5%。

模型与系统优化world action modelvisual robustness
论文
展开解读与证据

PICA-WAM将扰动不变性建模为辅助自对齐任务:EMA教师读取标称观测提供深层目标,在线模型读取扰动观测并通过轻量投影头将其浅层动作表征对齐到该目标,无需外部编码器或额外数据。 在RoboTwin 2.0 Clean-to-Random、LIBERO-Plus、EBench及真机操作上,PICA-WAM在四种WAM上一致提升扰动鲁棒性并保持分布内性能;OpenWAM-α真机成功率从33.1%提升至67.5%。

为什么值得关注

PICA-WAM将扰动不变性建模为辅助自对齐任务:EMA教师读取标称观测提供深层目标,在线模型读取扰动观测并通过轻量投影头将其浅层动作表征对齐到该目标,无需外部编码器或额外数据。

研究问题

世界动作模型的视频预测目标鼓励保留外观细节,而动作生成并未显式强制对任务无关视觉扰动不变,导致在光照、纹理、视角等变化下成功率显著下降。

方法原理

PICA-WAM将扰动不变性建模为辅助自对齐任务:EMA教师读取标称观测提供深层目标,在线模型读取扰动观测并通过轻量投影头将其浅层动作表征对齐到该目标,无需外部编码器或额外数据。

结果与证据

在RoboTwin 2.0 Clean-to-Random、LIBERO-Plus、EBench及真机操作上,PICA-WAM在四种WAM上一致提升扰动鲁棒性并保持分布内性能;OpenWAM-α真机成功率从33.1%提升至67.5%。

阅读边界
配对诊断协议显示该方法降低了视频流与动作流对任务无关外观的敏感度及由此引发的轨迹漂移,包括未见扰动族;推理时丢弃教师与投影头,不改变原模型结构与采样流程。 训练时每步增加一次无梯度教师前向传播;扰动分布仅覆盖光度、噪声与少量光学退化,未包含几何遮挡或极端域外场景。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Yude Zou、Yifei Yao、Guanbo Jiao、Jianming Ma、Guanjie Zheng、Xing Gao

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Learn the Task, Not the Schedule: Reducing Spurious Cross-Arm Coupling in Bimanual Imitation Learning:Figure 1: CTR data-processing pipeline. Foreground segmentation supports observation composition, and temporal recombination realizes alternative admissible schedules while preserving arm-local sensorimotor content and task-required cross-arm constraints. The displayed masks and sampled schedules are schematic.
Figure 1: CTR data-processing pipeline. Foreground segmentation supports observation composition, and temporal recombination realizes alternative admissible schedules while preserving arm-local sensorimotor content and task-required cross-arm constraints. The displayed masks and sampled schedules are schematic.图源:论文作者 / arXiv
arXiv cs.LG filtered精读

Learn the Task, Not the Schedule: Reducing Spurious Cross-Arm Coupling in Bimanual Imitation Learning

Shuyuan Hu、Deng-Ke Wu 等 · 7 位作者

CTR在训练时对 recorded arm-local sensorimotor content 进行约束保持的时间重组合,生成满足任务约束的多种可行调度以扩展进度状态支持,而不改变策略架构或部署流程。 在Diffusion Policy、ACT与π0.5上,CTR将真机六种进度状态初始化下的最差成功率从最强非CTR混合调度的56%提升至76;Independent任务中4秒暂停仅传递0.25秒延迟至对侧臂。

学习与仿真bimanual manipulationimitation learning
论文
展开解读与证据

CTR在训练时对 recorded arm-local sensorimotor content 进行约束保持的时间重组合,生成满足任务约束的多种可行调度以扩展进度状态支持,而不改变策略架构或部署流程。 在Diffusion Policy、ACT与π0.5上,CTR将真机六种进度状态初始化下的最差成功率从最强非CTR混合调度的56%提升至76;Independent任务中4秒暂停仅传递0.25秒延迟至对侧臂。

为什么值得关注

CTR在训练时对 recorded arm-local sensorimotor content 进行约束保持的时间重组合,生成满足任务约束的多种可行调度以扩展进度状态支持,而不改变策略架构或部署流程。

研究问题

双臂演示同时指定任务内容与特定调度,标准模仿学习无法区分任务必需的跨臂约束与偶然时序选择,易将对侧手臂进度当作捷径线索形成虚假耦合。

方法原理

CTR在训练时对 recorded arm-local sensorimotor content 进行约束保持的时间重组合,生成满足任务约束的多种可行调度以扩展进度状态支持,而不改变策略架构或部署流程。

结果与证据

在Diffusion Policy、ACT与π0.5上,CTR将真机六种进度状态初始化下的最差成功率从最强非CTR混合调度的56%提升至76;Independent任务中4秒暂停仅传递0.25秒延迟至对侧臂。

阅读边界
评估覆盖4个仿真与4个真机任务,包含Independent、Shared-Workspace Exclusion、Coordination与Prerequisite四类跨臂关系;CTR在真机违反任务约束的比例为0–4%,窄调度基线为36–98%。 CTR依赖任务特定的分割与约束提取管线,交互检测或边界错误会产生无效重组;主视角合成仅为近似,并非物理精确的并发观测模型。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。

作者:Shuyuan Hu、Deng-Ke Wu、Yifan Jin、Qianhang Luo、Mingchen Ju、Kai Ye、Bo Zhao

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

V-JEPA Hand使用自监督V-JEPA 2.1编码器与查询式预测器,在单次前向中联合恢复双手姿态、手部存在与相机运动,并以预测相机运动将手轨迹表达于统一世界坐标系。 单模型在ARCTIC、HOT3D与EgoStandard上取得最低coverage-aware MPJPE,世界坐标系轨迹误差低于对比SLAM管线;RTX A6000上前向吞吐达93.4 FPS。

更多

依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

PhysRSI-eval以首次表现、效率、成功、预算与失败改进五轴度量量化物理递归自我改进,并在固定交互预算下评估多种VLM于18个操作任务。 分析提出Physical Barrel假说:不同能力可能限制改进的不同环节;高分不一定伴随早期或高效增益,且移除历史会降低后期成功率,冻结工作区在未见过布局仍可用。

更多

依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

PhysWord predicts upcoming atomic action words and directly aligns their contextual hidden states with latent targets derived from the corresponding future observations, constructing a temporally structured PhysWord space with visual and optional tactile variants of each action word. PhysWord achieves state-of-the-art success rates of 90.3% on visuotactile UniVTAC and 99.6% on vision-based LIBERO-Long, and outperforms competing methods on real-world tasks using bimanual grippers and dexterous hands.

更多

依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

CoopUQ predicts future occupancy grid maps through cross-robot spatiotemporal feature fusion and further leverages forecasts and their uncertainty to guide policy via constrained multi-agent reinforcement learning, where the cost penalizes navigation through regions predicted to be occupied or highly uncertain. Experimental results across multiple Unity3D-based simulation environments with both in-distribution and OOD settings demonstrate improved prediction performance and safety over representative baselines, and real-robot experiments further demonstrate its robustness across various scenes.

更多

依据摘要或发行说明整理,未核验完整正文或独立复现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…