Embodied AI Daily具身智能科研日报

具身智能早报

关注机器人研究、开源与产业的新进展

‹ ›
主动视觉、世界动作模型缓存与机器人感知:10月8日研究回顾
本期导读

三篇重点解读围绕主动视觉、世界动作模型缓存和复杂天气感知展开,另整理仿真工具、触觉抓取、人形控制、物理视频理解与协同感知等简讯。按来源原始日期回溯,摘要级材料均明确标注实际阅读边界。

13 条内容 · 3 篇重点解读 · 10 条简讯

Rendering-Free Lookahead for Question-Guided Active Vision:Fig. 1: Rendering-free lookahead. RFL selects camera motions by predicted answerability, which rises as the agent closes in on a view that reveals the answer (right), with no rendering or generation at deployment.
Fig. 1: Rendering-free lookahead. RFL selects camera motions by predicted answerability, which rises as the agent closes in on a view that reveals the answer (right), with no rendering or generation at deployment.图源:论文作者 / arXiv
arXiv cs.CV filtered精读

Rendering-Free Lookahead for Question-Guided Active Vision

Koya Sakamoto、Daichi Azuma 等 · 7 位作者

Rendering-Free Lookahead (RFL) 提出一种无需部署时渲染的相机运动选择策略,通过离线蒸馏3D高斯泼溅(3DGS)场景中由冻结VLM评估的‘可回答性’(answerability)目标,使模型能预测候选视角对问答任务的效用。

机器人基础模型embodied-ai
论文
展开解读与证据

Rendering-Free Lookahead (RFL) 提出一种无需部署时渲染的相机运动选择策略,通过离线蒸馏3D高斯泼溅(3DGS)场景中由冻结VLM评估的‘可回答性’(answerability)目标,使模型能预测候选视角对问答任务的效用。

为什么值得关注

为解决主动视觉中‘如何选择能揭示答案的相机运动’这一核心问题,RFL将VLM的视觉理解能力迁移至动作价值学习,避免了在线渲染开销,且在E3VS-Bench上将平均裁判分提升43%,并成功迁移到真实6-DoF机械臂。

研究问题

主动机器人视觉需控制相机以揭示当前视角不可见的任务相关信息,但选择有效运动需预判未见视角的效用,而在线渲染代价高昂。

方法原理

RFL采用两阶段蒸馏:特权教师在3DGS场景中渲染候选未来视角,用冻结VLM计算单步/双步可回答性目标;学生模型学习从问题、历史观测及文本化运动描述中直接预测该值。

结果与证据

在377个E3VS-Bench测试片段中,RFL将平均裁判分从2.14提升至3.05(+43%),超越同VLM直连基线、GPT-5.1(2.81)及教师动作克隆(2.47);其单步变体匹配特权单步渲染Oracle(2.98);真实6-DoF臂实验取得所比方法中最高裁判分。

阅读边界
实验基于377个未见场景的E3VS-Bench测试;真实世界部署仅报告最高裁判分,未提供成功率、延迟或闭环控制频率等系统指标;方法依赖3DGS训练场景与特权教师渲染,未在纯2D或无几何先验场景验证。

作者:Koya Sakamoto、Daichi Azuma、Shuhei Kurita、Naoya Chiba、Yusuke Iwasawa、Yutaka Matsuo、Taiki Miyanishi

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

WAM-Cache: Staleness-Bounded KV Reuse for Efficient World Action Models:Figure 1: The WAM-Cache inference pipeline. (a) Sparse refresh selection at chunk t t : three complementary signals construct the refresh set ℛ t \mathcal{R}_{t} . Latent surprise measures feature drift from a token’s reference embedding; action-conditioned selection identifies tokens heavily attended to by the action expert in the preceding chunk; and an age counter forces recomputation after G G consecutive reuses. (b) Spa
Figure 1: The WAM-Cache inference pipeline. (a) Sparse refresh selection at chunk t t : three complementary signals construct the refresh set ℛ t \mathcal{R}_{t} . Latent surprise measures feature drift from a token’s reference embedding; action-conditioned selection identifies tokens heavily attended to by the action expert in the preceding chunk; and an age counter forces recomputation after G G图源:论文作者 / arXiv
arXiv cs.CV filtered精读

WAM-Cache: Staleness-Bounded KV Reuse for Efficient World Action Models

Kai Ding、Yang He 等 · 4 位作者

WAM-Cache是首个训练无关的KV重用框架,针对World Action Model(WAM)中视频Diffusion Transformer(DiT)预填充成为主导计算瓶颈的问题,通过联合动作专家注意力、视觉潜特征惊喜度与严格年龄约束,动态选择稀疏刷新集。

模型与系统优化embodied-ai
论文
展开解读与证据

WAM-Cache是首个训练无关的KV重用框架,针对World Action Model(WAM)中视频Diffusion Transformer(DiT)预填充成为主导计算瓶颈的问题,通过联合动作专家注意力、视觉潜特征惊喜度与严格年龄约束,动态选择稀疏刷新集。

为什么值得关注

WAM闭合环路控制中,视频DiT每帧预填充占主导计算(如Fast-WAM中达83.5% FLOPs),而现有训练无关加速方案对此完全未触及;WAM-Cache在不重训练、不修改下游模块前提下,实现预填充FLOPs降低32–42%,为实时WAM部署提供关键支撑。

研究问题

World Action Model(WAM)在闭环控制中需每帧运行视频Diffusion Transformer(DiT)进行预填充,该步骤占据绝大部分计算(FLOPs),成为实时部署瓶颈。

方法原理

WAM-Cache保留层式KV表示跨推理块复用,仅对稀疏刷新集重计算:1)潜特征惊喜度(latent surprise)衡量输入嵌入漂移;2)动作条件选择(action-conditioned selection)识别前一块中被动作专家高度关注的token;3)年龄约束(age bound)强制过期token刷新。

结果与证据

在Fast-WAM上,WAM-Cache将视频DiT预填充FLOPs降低32–42%:RoboTwin 2.0降41.6%(成功率-1.8pt)、LIBERO降32.3%(-0.7pt)、真实AIRBOT Play臂降40.2%(成功率82.5% vs 密集版85.0%);CUDA延迟降低1.23×–1.67×。

阅读边界
实验覆盖RoboTwin 2.0、LIBERO仿真及AIRBOT Play真实机械臂;报告成功率为82.5% vs 85.0%,但未说明任务类型、动作更新频率、闭环控制周期或端到端延迟;‘staleness-bounded’具体误差边界未量化。

作者:Kai Ding、Yang He、Ruijie Quan、Yi Yang

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

SenseWeather: Multimodal Sensing for Robust Robotic Perception under Extreme Conditions:Fig. 1: SenseWeather studies Fusion-to-RGB as a task-compatible multimodal interface: complementary sensing recovers machine-readable RGB evidence for unchanged foundation models, even when RGB-only restoration remains ambiguous.
Fig. 1: SenseWeather studies Fusion-to-RGB as a task-compatible multimodal interface: complementary sensing recovers machine-readable RGB evidence for unchanged foundation models, even when RGB-only restoration remains ambiguous.图源:论文作者 / arXiv
arXiv cs.CV filtered精读

SenseWeather: Multimodal Sensing for Robust Robotic Perception under Extreme Conditions

Fucai Ke、Sukai Huang 等 · 7 位作者

SenseWeather是一个受控多模态基准,涵盖严重雨、雪、尘、雾和黑暗五种极端条件,提供配准的RGB/深度/红外观测、干净参考及基于开放词汇定位与视觉语言推理的高层感知任务;配套Fusion-to-RGB框架通过token空间融合与残差潜变量条件化,实现上游RGB恢复。

学习与仿真embodied-ai
论文
展开解读与证据

SenseWeather是一个受控多模态基准,涵盖严重雨、雪、尘、雾和黑暗五种极端条件,提供配准的RGB/深度/红外观测、干净参考及基于开放词汇定位与视觉语言推理的高层感知任务;配套Fusion-to-RGB框架通过token空间融合与残差潜变量条件化,实现上游RGB恢复。

为什么值得关注

解决机器人平台多模态传感(深度/红外)与下游RGB中心化感知模型间的接口失配问题,证明互补传感可用于上游恢复任务兼容RGB,使现有检测/视觉语言模型在极端条件下保持鲁棒,且性能增益不依赖图像保真度提升。

研究问题

极端环境严重退化RGB观测,而机器人常配备深度/红外等互补传感器;但现代感知栈多为RGB中心化,造成传感冗余与模型接口失配。

方法原理

SenseWeather提供配准的RGB/深度/红外/实例标注数据;Fusion-to-RGB提出两种参数高效实现:1)扩散Transformer的token空间融合;2)UNet修复网络的残差潜变量条件化,均产生标准RGB输出供冻结下游模型直接使用。

结果与证据

在冻结的开放词汇定位与视觉语言模型上,RGB+D+IR融合在所有配对下游比较中均优于对应RGB-only恢复器,包括全部10个检测器的AP50增益;但图像保真度(PSNR/SSIM)提升与下游增益无一致单调关系。

阅读边界
基准在AirSim中构建,含5个模拟环境(岛基、3个码头、炼油厂),未在真实极端天气下验证;报告AP50提升等下游指标,但未说明具体模型(如Open-Vocabulary Detector名称)、输入分辨率、batch size或实时性;‘task-compatible’未定义量化阈值。

作者:Fucai Ke、Sukai Huang、Junyi Hao、Kal Backman、Naim Rastgoo、Gholamreza Haffari、Hamid Rezatofighi

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

简讯

3.15.0

MuJoCo 3.15.0正式发布,包含多项引擎改进:执行器dampratio现基于操作空间惯性计算反射惯量,更准确建模多关节驱动;新增胶囊几何体的单次多接触(multicontact)碰撞;支持大于2 GiB的模型二进制序列化。

更多

属开源工具版本更新,无新论文、新算法或新实验验证;变更细节(如‘averaged across force outputs for multi-output actuators’)需结合文档与代码验证;未说明对典型机器人任务(如抓取、导航)的具体性能影响。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

OmniDex发布迄今最大灵巧手抓取基准,含260万杂乱场景与4亿场景特异性抓取姿态;提出OmniDex模型,通过软胜者通吃学习、物理约束损失与物理驱动排序,实现端到端鲁棒抓取生成。

更多

基准与模型均在仿真中验证(Isaac Gym/Blender),未报告真实机器人实验;‘state-of-the-art performance’未指明对比基线具体名称与数值;物理约束损失细节(如‘human-inspired’)未在节选中展开。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

这项工作在抓取过程中用视觉与触觉估计物体材料属性,据此确定所需的最小抓取力;作者提供水果和蔬菜的实测属性数据,并用平行夹爪验证力控制。

更多

仅核验作者摘要,未读正文或复现实验;不能据此推断多指灵巧手或其他物体上的表现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

Being-M0.7利用纯视频、纯动作和配对的人类数据学习潜在视觉—动作先验,再通过机器人中训练与动作后训练适配人形控制;摘要报告SIMPLE与Unitree G1移动操作结果。

更多

仅依据摘要,未独立核验训练数据构成、基线设置或闭环实验细节。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

EgoPhys从RGB第一视角操作视频分别估计峰值接触力与机械功,通过接触相关空间聚合和面向目标的多专家时间路由处理不同线索;作者在Hoi!测试划分上报告预测误差。

更多

仅核验摘要,未检查论文表格、机器人控制闭环或跨数据集泛化。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

该方法在紧凑位姿图中优化带不确定性权重的相对位姿约束,避免让优化规模随对应点数量增长;摘要报告四个真实世界基准上的跟踪准确度与计算开销比较。

更多

仅读摘要,未核验运行硬件、基准配置或绝对延迟;优化成本降低不等同于完整机器人系统提速。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

CELL指出逐对应点误差训练置信度会受到深度偏差影响,改为通过可微概率PnP学习与位姿约束相关的置信度,并用于流监督、对应关系选择和边缘匹配细化;作者在M3ED与DSEC上评估定位误差。

更多

仅依据摘要,未核验具体序列、传感器配置或运行延迟;报告结果不等同于闭环导航表现。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

VGGTWorld-VLA把驾驶语义和自车运动表示注入未来token,通过几何—语言—动作桥接预测不同动作条件下的三维场景演化;摘要在NAVSIM上评估未来几何预测。

更多

只核验摘要;几何预测评测不等同于闭环驾驶成功率,也未核验其他机器人平台迁移。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

CoCam4D在多车纯视觉协同感知中显式建模几何不确定性,用VGGT生成带不确定性估计的三维高斯表示,并共享紧凑基元融合不同车辆的观测;摘要给出OPV2V+与DAIR-V2X-C上的比较。

更多

仅读摘要,未核验任务指标、带宽/延迟或消融配置;不能把文中比较直接解释成闭环驾驶收益。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…

这项工作比较多类时序任务上的神经网络架构,再把较优的BiGRU、TCN和GRUReLU用于由骨架关键点估计动态手臂手势速度,讨论不同速度定义下的误差。

更多

仅核验摘要;离线手势速度误差不等同于机器人在线交互成功率或端到端实时性。

追问 / 纠错 / 阅读偏好 · 交给 Agent

评论 · —

昵称自填。评论会展示给其他读者,请勿填写私人信息。

正在读取评论…