$\nabla$Mimic: Ultra-Efficient Humanoid Control with Differentiable Simulation
∇Mimic算法通过反向传播每一步的中位相对逐样本梯度裁剪来约束无界样本,并利用多步回归将昂贵的仿真窗口重用于梯度导出的动作目标。 NablaEngine是一个针对Unitree G1的可微分GPU仿真引擎,它将MuJoCo的完整接触动力学及其伴随算子融合为单个兆内核以消除计算瓶颈。 在单GPU上对全部40个LAFAN1片段进行全身跟踪时,采用残差动作配置的∇Mimic在20分钟内达到0.82的分数,并在1.8小时内达到0.874。 NablaEngine计算的解析梯度与float64有限差分匹配,且其伴随算子速度比可用的MuJoCo Warp伴随算子快11.5倍。
展开解读与证据
∇Mimic算法通过反向传播每一步的中位相对逐样本梯度裁剪来约束无界样本,并利用多步回归将昂贵的仿真窗口重用于梯度导出的动作目标。 NablaEngine是一个针对Unitree G1的可微分GPU仿真引擎,它将MuJoCo的完整接触动力学及其伴随算子融合为单个兆内核以消除计算瓶颈。 在单GPU上对全部40个LAFAN1片段进行全身跟踪时,采用残差动作配置的∇Mimic在20分钟内达到0.82的分数,并在1.8小时内达到0.874。 NablaEngine计算的解析梯度与float64有限差分匹配,且其伴随算子速度比可用的MuJoCo Warp伴随算子快11.5倍。
为什么值得关注
该工作发布了NablaEngine和∇Mimic作为开源基础设施,使在更大规模运动库上训练人形基础模型变得切实可行。
研究问题
在接触丰富的全身控制任务中,一阶策略学习因接触动力学不可微导致的梯度爆炸以及伴随求解的高昂计算成本而难以应用。
方法原理
∇Mimic算法通过反向传播每一步的中位相对逐样本梯度裁剪来约束无界样本,并利用多步回归将昂贵的仿真窗口重用于梯度导出的动作目标。 NablaEngine是一个针对Unitree G1的可微分GPU仿真引擎,它将MuJoCo的完整接触动力学及其伴随算子融合为单个兆内核以消除计算瓶颈。
结果与证据
在单GPU上对全部40个LAFAN1片段进行全身跟踪时,采用残差动作配置的∇Mimic在20分钟内达到0.82的分数,并在1.8小时内达到0.874。 NablaEngine计算的解析梯度与float64有限差分匹配,且其伴随算子速度比可用的MuJoCo Warp伴随算子快11.5倍。
阅读边界
NablaEngine目前仅支持Unitree G1机器人在平坦地面上的仿真,尚未在其他机器人或崎岖地形上扩展。 依据本次返回的正文节选整理,未核验未返回的章节、附录或独立复现。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…