VLA-$Δ$: Learning Physical State Transition for Vision-Language-Action Models
VLA-Δ提出以当前与未来状态间的物理变化为显式学习目标,构建覆盖任务语义与视觉运动变化的多级状态转移标注,用于VLA模型预训练;推理时仍直接从当前观测生成动作,无额外开销。
展开解读与证据
VLA-Δ提出以当前与未来状态间的物理变化为显式学习目标,构建覆盖任务语义与视觉运动变化的多级状态转移标注,用于VLA模型预训练;推理时仍直接从当前观测生成动作,无额外开销。
为什么值得关注
为缓解VLA模型因缺乏中间物理状态监督而对观测-动作对应关系过拟合的问题,提供可研究的、有结构化标注支持的训练目标设计。
研究问题
多数VLA模型直接映射观测到动作,缺乏对中间物理状态变化的显式监督,易过拟合观测-动作对应关系;现有引入中间推理或未来状态预测的方法,仍未显式监督物理状态本身如何变化。
方法原理
提出VLA-Δ框架,引入可学习的Physical State Difference Queries,在视觉语言主干中联合建模物理状态转移;通过三路监督信号:Structured Transition Slots(9类语义变量)、Optical Flow(密集视觉位移)和Future-State Difference Text(自回归生成),共同塑造过渡表征。
结果与证据
在LIBERO和RoboTwin仿真基准上达到SOTA水平,在真实机器人实验中超越π₀.₅基线5.5%;作者强调该性能源于预训练阶段对物理状态转移的显式建模,并在下游微调中自然迁移。
阅读边界
本次仅依据工具返回的截断正文节选(含摘要、引言、方法架构、实验设置及部分结果)撰写;未独立复现全部实验配置,亦未核验附录细节或完整消融分析;不能将作者报告的局部性能外推为通用机器人系统能力。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…