ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback
该方法用视频条件生成器直接预测G1参考动作,再由全身跟踪策略执行,并利用跟踪反馈对生成器做DPO后训练。 相较论文采用的重建、重定向和跟踪流程基线,ViT-H生成动作的可执行性与局部姿态精度更高。 作者还展示了单相机视频驱动的自回归遥操作,在所述部署设置下实现低于400毫秒的延迟。
展开解读与证据
该方法用视频条件生成器直接预测G1参考动作,再由全身跟踪策略执行,并利用跟踪反馈对生成器做DPO后训练。 相较论文采用的重建、重定向和跟踪流程基线,ViT-H生成动作的可执行性与局部姿态精度更高。 作者还展示了单相机视频驱动的自回归遥操作,在所述部署设置下实现低于400毫秒的延迟。
为什么值得关注
跟踪器在此不仅负责执行参考动作,也为上游动作生成模型提供可执行性的训练监督。
研究问题
ViT-H面向单目人类视频向人形机器人全身动作的迁移问题,常见方案需依次处理人体动作重建、机器人重定向和动作跟踪。
方法原理
该方法用视频条件生成器直接预测G1参考动作,再由全身跟踪策略执行,并利用跟踪反馈对生成器做DPO后训练。
结果与证据
相较论文采用的重建、重定向和跟踪流程基线,ViT-H生成动作的可执行性与局部姿态精度更高。 作者还展示了单相机视频驱动的自回归遥操作,在所述部署设置下实现低于400毫秒的延迟。
阅读边界
实验以29自由度Unitree G1作为仿真和真机部署的共同平台,训练中仅含人体动作的数据仍使用适配后的GMR进行重定向。 当前动作表示与跟踪设置不建模灵巧手位姿,物体交互主要涉及较大、较简单物体的全身操作。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…