Rendering-Free Lookahead for Question-Guided Active Vision
Rendering-Free Lookahead (RFL) 提出一种无需部署时渲染的相机运动选择策略,通过离线蒸馏3D高斯泼溅(3DGS)场景中由冻结VLM评估的‘可回答性’(answerability)目标,使模型能预测候选视角对问答任务的效用。
展开解读与证据
Rendering-Free Lookahead (RFL) 提出一种无需部署时渲染的相机运动选择策略,通过离线蒸馏3D高斯泼溅(3DGS)场景中由冻结VLM评估的‘可回答性’(answerability)目标,使模型能预测候选视角对问答任务的效用。
为什么值得关注
为解决主动视觉中‘如何选择能揭示答案的相机运动’这一核心问题,RFL将VLM的视觉理解能力迁移至动作价值学习,避免了在线渲染开销,且在E3VS-Bench上将平均裁判分提升43%,并成功迁移到真实6-DoF机械臂。
研究问题
主动机器人视觉需控制相机以揭示当前视角不可见的任务相关信息,但选择有效运动需预判未见视角的效用,而在线渲染代价高昂。
方法原理
RFL采用两阶段蒸馏:特权教师在3DGS场景中渲染候选未来视角,用冻结VLM计算单步/双步可回答性目标;学生模型学习从问题、历史观测及文本化运动描述中直接预测该值。
结果与证据
在377个E3VS-Bench测试片段中,RFL将平均裁判分从2.14提升至3.05(+43%),超越同VLM直连基线、GPT-5.1(2.81)及教师动作克隆(2.47);其单步变体匹配特权单步渲染Oracle(2.98);真实6-DoF臂实验取得所比方法中最高裁判分。
阅读边界
实验基于377个未见场景的E3VS-Bench测试;真实世界部署仅报告最高裁判分,未提供成功率、延迟或闭环控制频率等系统指标;方法依赖3DGS训练场景与特权教师渲染,未在纯2D或无几何先验场景验证。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…