PerturBot: Breaking Shortcut Priors in Vision-Language-Action Models with Perturbative Training
Perturbot通过三种保持动作标签有效的数据干预改变训练数据的分布:任务保持的腕部视角扰动、包含决策相关信息的详细指令描述,以及将随机与失败轨迹片段按实际行为重标注后加入训练。 在AgileX PiPER X双臂真机General Pick-and-Place评测中,Perturbot相比π0.5基线将任务成功率从82.7%提升至85.6%,GroundingFscore从70.7提升至73.4,且推理阶段无需任何修改。
展开解读与证据
Perturbot通过三种保持动作标签有效的数据干预改变训练数据的分布:任务保持的腕部视角扰动、包含决策相关信息的详细指令描述,以及将随机与失败轨迹片段按实际行为重标注后加入训练。 在AgileX PiPER X双臂真机General Pick-and-Place评测中,Perturbot相比π0.5基线将任务成功率从82.7%提升至85.6%,GroundingFscore从70.7提升至73.4,且推理阶段无需任何修改。
为什么值得关注
GroundingFscore作为离线诊断指标,能区分策略是靠任务证据还是捷径提升性能,其与在线失败的相关性(ρ=0.72)显著高于任务成功率,为VLA规模化健康度提供可量化依据。
研究问题
VLA策略在成功演示中形成的视觉、词汇或运动线索捷径(modality shortcuts)足以预测专家动作,但会替代任务决策所需的真实证据,导致仅靠增加同类演示无法消除这些依赖。
方法原理
Perturbot通过三种保持动作标签有效的数据干预改变训练数据的分布:任务保持的腕部视角扰动、包含决策相关信息的详细指令描述,以及将随机与失败轨迹片段按实际行为重标注后加入训练。
结果与证据
在AgileX PiPER X双臂真机General Pick-and-Place评测中,Perturbot相比π0.5基线将任务成功率从82.7%提升至85.6%,GroundingFscore从70.7提升至73.4,且推理阶段无需任何修改。
阅读边界
该方法需要与记录行为匹配的详细描述和重标注片段,以及额外的随机与失败轨迹;重标注无法生成从未记录过的行为(如恢复策略),依赖真机rollout中自然出现的失败样本。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…