DexPort: A Hand-Held Skill Interface for Dexterous Hand Data Collection
DexPort 采用便携式手持接口,复用部署用的 20-DoF Wuji 灵巧手与鱼眼相机模块,采集时使用 Quest 2 控制器提供的手腕 6-DoF 轨迹构建末端运动目标,并记录 20-DoF 关节目标指令及实测关节状态,避免手部具身差距并满足相同具身要求。 系统通过一组紧凑的参数化技能(如拇指调节、抓握、拧螺丝)辅助操作者控制手指运动,降低高维手部控制负担;策略训练时直接使用记录的原始手部指令,不依赖技能标签。 作者在三项以成功率计分的真机任务上报告,使用记录的机器人指令训练的策略平均成功率从状态基线的 11% 提升至 64%;结合野外数据联合训练后,抓取放置成功率从 36% 提升至 78%。
展开解读与证据
DexPort 采用便携式手持接口,复用部署用的 20-DoF Wuji 灵巧手与鱼眼相机模块,采集时使用 Quest 2 控制器提供的手腕 6-DoF 轨迹构建末端运动目标,并记录 20-DoF 关节目标指令及实测关节状态,避免手部具身差距并满足相同具身要求。 系统通过一组紧凑的参数化技能(如拇指调节、抓握、拧螺丝)辅助操作者控制手指运动,降低高维手部控制负担;策略训练时直接使用记录的原始手部指令,不依赖技能标签。 作者在三项以成功率计分的真机任务上报告,使用记录的机器人指令训练的策略平均成功率从状态基线的 11% 提升至 64%;结合野外数据联合训练后,抓取放置成功率从 36% 提升至 78%。
为什么值得关注
该接口为高自由度灵巧手提供了一种可移植的数据采集方案,使研究者能在非结构化环境中收集可执行的原始指令数据,用于训练无需技能标签的视觉运动策略。
研究问题
高自由度灵巧手数据采集面临两难:遥操作需要完整机器人平台且手指协调负担重,人体演示虽易采集但需重定向且不直接提供机器人动作指令。
方法原理
DexPort 采用便携式手持接口,复用部署用的 20-DoF Wuji 灵巧手与鱼眼相机模块,采集时使用 Quest 2 控制器提供的手腕 6-DoF 轨迹构建末端运动目标,并记录 20-DoF 关节目标指令及实测关节状态,避免手部具身差距并满足相同具身要求。 系统通过一组紧凑的参数化技能(如拇指调节、抓握、拧螺丝)辅助操作者控制手指运动,降低高维手部控制负担;策略训练时直接使用记录的原始手部指令,不依赖技能标签。
结果与证据
作者在三项以成功率计分的真机任务上报告,使用记录的机器人指令训练的策略平均成功率从状态基线的 11% 提升至 64%;结合野外数据联合训练后,抓取放置成功率从 36% 提升至 78%。
阅读边界
设备重量限制了长时间连续使用和旋转密集动作的执行;当前技能库仅覆盖部分灵巧操作行为,尚需扩展更多仿真学习的技能。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…