BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion

BeyondMimic：从运动跟踪到引导扩散的多功能人形控制

📅 阅读日期: 2026-07-20

🏷️ 板块: 扩散 + 控制主线终点

📋 基本信息

🎯 一句话总结

BeyondMimic 用一套统一 MDP + 共享超参在真机上实现高动态全身跟踪，再将跟踪策略离线蒸馏为 Diffuse-CLoC 状态-动作联合扩散模型，推理时以 Classifier Guidance 对未见任务做零样本引导——无需为每个新任务重训 RL。

📌 英文缩写速查

❓ BeyondMimic 要解决什么问题？

人形机器人与人体形态相近，从人类演示中学习是获得敏捷性与自然性的可扩展路径。但现有工作普遍卡在两个缺口：

缺口一：可扩展的高质量运动跟踪

BeyondMimic 主张：不必堆复杂 DR 和动作专属调参——用紧凑、有原则的 MDP（锚定跟踪 + 低阻抗 PD + 极简正则）+ 适度 DR，同一套超参覆盖侧手翻、空翻、冲刺等分钟级长参考。

缺口二：跟踪之后如何「会用」这些技能

BeyondMimic 的突破口：Diffuse-CLoC 式状态-动作联合扩散——扩散的是物理可行的 $(s, a)$ 轨迹，推理时可在状态与动作上同时施加可微代价，实现导航、遥操作、避障、motion inpainting 等零样本组合。

🔧 方法详解

整体为三阶段流水线：

阶段 1：可扩展运动跟踪（Scalable Motion Tracking）

1.1 锚定跟踪目标（Anchor Tracking）

真机不可避免全局漂移。若 rigid 跟踪世界系绝对位姿，策略会过度纠偏、动作僵硬。BeyondMimic 选定参考体 $b_{\text{ref}}$（通常为躯干/root），将各刚体位姿相对锚定到当前机器人姿态：

其中 $T_{\text{anchor}}$ 保留机器人当前 $xy$ 位置与参考高度、仅对齐 yaw：

• $p_{\text{anchor}} = [p_{b_{\text{ref}},x},\; p_{b_{\text{ref}},y},\; p_{b_{\text{ref}},z,\text{motion}}]$
• $R_{\text{anchor}} = R_z!\left(\mathrm{yaw}(R_{b_{\text{ref}}} R_{b_{\text{ref}},\text{motion}}^\top)\right)$

各体 twist $\hat{\mathcal{V}}b = \mathcal{V}{b,\text{motion}}$ 不变。只跟踪子集 $\mathcal{B}_{\text{target}}$ 上的刚体，避免过密连杆带来的冗余。

🔑 直觉：保留动作风格与相对协调，允许水平面漂移；锚体位姿误差仍提供平衡与漂移修正信号。

开源实现中，每步在 commands.py 用机器人锚定姿态与参考锚定姿态的 yaw 差更新 body_pos_relative_w / body_quat_relative_w，与上式一致。

1.2 观测空间（单步、无历史）

跟踪策略刻意不用历史，观测 $\mathbf{o}$ 由三部分拼接：

Critic 使用非对称 actor-critic：在 policy 观测之外额外输入各体相对参考体的位姿 $T_{b_{\text{ref}}}^{-1} T_{b,\text{motion}}$，便于在笛卡尔空间直接估计跟踪误差。

若状态估计不可靠，可省略线速度相关的锚定位置误差与根线性 twist。

1.3 低阻抗 PD 与动作参数化

动画工作常用高 $k_p$ 近似运动学跟踪；真机上会放大噪声、损失碰撞柔顺性。BeyondMimic 按 Raibert 启发式设阻抗：

• 反射惯量 $I_j = k_{g,j}^2 I_{\text{motor},j}$
• 自然频率 $\omega_n = 10\,\text{Hz}$（偏低，促柔顺）
• 阻尼比 $\zeta = 2$（过阻尼，补偿惯量低估）

动作是归一化关节位置设定点，而非力矩直接输出：

低增益下 $\mathbf{q}_{j,t}$ 是生成力矩的中间变量，故意不按关节限位 clip。

1.4 奖励：一项任务 + 三项正则

对 $\mathcal{B}_{\text{target}}$ 上各体计算位姿/速度误差，再对全体取均方：

每项用高斯型指数奖励：

仅加三个对 sim-to-real 关键的惩罚：

可选：对 $b_{\text{ref}}$ 再加全局位置/朝向跟踪奖励。

对比 DeepMimic/PHC：没有力矩扰动、接触力大惩罚、滑移惩罚等大量启发式——论文认为原则性建模 + 系统实现（延迟、校准）比堆 DR 更重要。

1.5 终止、重置与自适应采样

终止：(1) $b_{\text{ref}}$ 高度或 pitch/roll 误差超阈；(2) 任末端执行器高度偏离参考过多。

重置：从参考轨迹自适应采样起始相位 + 根位姿/速度/关节扰动。

长参考（数分钟、多技能串联）若均匀采样起始点，简单片段占主导。BeyondMimic 将轨迹按 1 秒 分箱，按失败率加权采样：

再与均匀分布混合 $p_s’ = \lambda \frac{1}{S} + (1-\lambda) p_s$，防止灾难性遗忘。非因果指数核 $\gamma^\tau$ 强调失败前邻近时段。

1.6 域随机化（极简）

仅随机化三类真正不确定的物理量：

另加环境扰动 push 等。与 ASAP/KungfuBot 的大范围力矩/延迟随机化形成对比。

1.7 训练与数据规模

• 引擎：Isaac Lab + RSL-RL（PPO）
• 数据：LAFAN1（Unitree retarget）为主，约 2.5 小时人类动作；随机选 25 条长参考（每类至少一条），sim-to-sim 全部跑通
• 真机验证：从中挑 29 条高动态片段（共约 15 分钟）上 Unitree G1
• 同一 MDP、同一超参训练所有动作，含 3 分钟级多技能串联参考

阶段 2：Diffuse-CLoC 状态-动作联合扩散

跟踪策略 $\pi$ 仅会复现训练过的参考。为获得任务泛化，将多个跟踪专家离线蒸馏为单一生成模型。

2.1 预测对象与条件

预测未来轨迹（预测控制式）：

条件于观测历史 $\bm{O}t = [\bm{s}{t-N}, \bm{a}_{t-N}, \ldots, \bm{s}_t]$。

训练目标：标准 DDPM，网络 $x_{0,\theta}$ 预测干净轨迹，MSE 损失：

蒸馏数据：按 PDP / Diffuse-CLoC 流程 rollout 专家策略采集；相对跟踪阶段额外加入动作延迟 DR——扩散推理本身有观测→动作延迟，训练需对齐。

2.2 状态表示（sim-to-real 关键）

论文对比两种局部状态编码：

全局部分两者相同：根位置、线速度、旋转矢量（相对当前角色系）。

Joint-Rot 理论上更 Markov，但关节估计误差沿运动链累积，扩散多步预测误差更大；在 Joint-Rot 上加 guidance 会迅速 OOD 失稳。

2.3 Classifier Guidance

由 Bayes 分解条件 score：

设 $p(\bm{\tau}^* \mid \bm{\tau}) \propto \exp(-G^c_{\bm{\tau}}(\bm{\tau}))$，引导项为 $-\nabla_{\bm{\tau}} G^c_{\bm{\tau}}(\bm{\tau})$。多个任务代价可直接相加，无需训练时枚举组合。

摇杆速度跟踪：

路点导航（近目标时加大速度惩罚以停下）：

其中 $d = |P_x(\bm{s}_{t’}) - g_p|$（对梯度 detach）。

避障（SDF + 松弛 barrier）：

推理时引导梯度用 CppAD 在每个去噪步自动求导；扩散策略在 RTX 4060 Mobile + TensorRT 上异步线程运行，跟踪策略仍在机载 CPU ONNX 执行。

2.4 Motion Inpainting 与任务切换

除弱速度/位置引导外，可用稀疏关键帧做 motion inpainting：例如摇杆行走中每 0.2 s 注入侧手翻关键帧，扩散策略补全中间连续轨迹，完成后平滑回到速度跟踪。

支持任务规格自由切换：连续三次侧手翻前后接走/跑；在速度跟踪与 inpainting 之间来回切换，展示长程模式切换能力。

📊 两阶段推理管线总览

🚶 具体实例

实例 1：单策略侧手翻 + 避障（任务组合）

• 预训练扩散模型已内化侧手翻等多模态原语。
• 测试时 $G = G^{\text{waypoint}} + G^{\text{SDF}}$，无需重训。
• SDF 在每步去噪中提供远离障碍的梯度，与路点吸引共同作用。

实例 2：摇杆行走 → 注入侧手翻关键帧 → 恢复行走

1. 摇杆速度代价维持行走。
2. 在指定时刻注入侧手翻关键帧（inpainting 代价）。
3. 扩散补全过渡；完成后去掉 inpainting 项，回到速度跟踪。

实例 3：高动态跟踪真机（阶段 1）

• 空中侧手翻：骨盆角速度峰值约 20 rad/s（均值 7.01 rad/s），峰值加速度 31 m/s²，与人类特技动作同量级。
• 连续 5 次 C 罗庆祝跳转身（ASAP 仅展示单次）。
• 户外软土、落叶、不平地面仍完成武术式序列。

📊 实验结果摘要

运动跟踪（阶段 1）

用户研究（N=77）的偏好对比画成图，差距更直观——动作越动态（跑步），BeyondMimic 的自然性优势越大：

扩散控制（阶段 2）

🤖 工程价值

• 路线图地位：扩散 + 控制主线终点——把 Diffusion Policy 的生成式思想推到人形全身、真机、测试时优化。
• 开源影响：whole_body_tracking 已被 MJLab、Unitree RL Lab 等采纳为默认跟踪方案；Retargeting Matters 等论文刻意选其作「中性跟踪器」以隔离 retarget 质量影响。
• 范式转变：从「每条动作调 DR/奖励」→「统一跟踪 + 蒸馏 + 引导」；训练完全任务无关、无标签。
• 多功能：跟踪 / 组合 / 任务适配由同一扩散先验 + 不同代价完成。

⚠️ 局限与后续方向

📁 官方源码对照

BeyondMimic 不在 MimicKit 内。下表映射已开源的运动跟踪部分；扩散蒸馏见论文与 Diffuse-CLoC。

跟踪奖励与论文公式对应示例（相对体位置）：

# rewards.py — motion_relative_body_position_error_exp
error = torch.sum(
    torch.square(command.body_pos_relative_w[:, body_indexes]
                 - command.robot_body_pos_w[:, body_indexes]), dim=-1)
return torch.exp(-error.mean(-1) / std**2)

源码运行时序图

已开源的跟踪管线（whole_body_tracking，Isaac Lab + rsl_rl 栈）从动作预处理到真机部署的完整时序如下：

• ①–② 对应表中「参考动作加载」：CSV 只有关节角，csv_to_npz.py 用前向运动学补出各 body 位姿/速度并托管到 WandB registry。
• ⑥ 是锚定跟踪的落点（_update_command()），⑨–⑩ 对应表中跟踪奖励与 DR，⑪ 的自适应采样让难片段被更多练到。
• ⑬–⑯ 是表中「真机部署」仓库：训练与部署共享同一套观测/动作约定，策略以 ONNX 形式上真机。
• 扩散蒸馏与 test-time guidance 部分尚未开源，不在此图内。

MimicKit 关系

❌ MimicKit 未集成 BeyondMimic。概念上 rewards.py 沿用 DeepMimic 式指数跟踪奖励，events.py 做 DR，与 MimicKit deepmimic_env.py 思路相近，但工程栈为 Isaac Lab 而非 MimicKit。

🎤 面试高频问题 & 参考回答

1. BeyondMimic 相比 DeepMimic / PHC 的核心差异？
   • DeepMimic：单参考、重奖励工程。PHC：仿真大规模 PMCP，真机高动态多动作未证明。BeyondMimic：真机上统一 MDP 跟踪分钟级多技能，再蒸馏为可引导的扩散策略，实现训练时无任务标签、测试时零样本组合。
2. 为什么跟踪不用历史，扩散却用 $N=4$ 历史？
   • 跟踪要 sim-to-real 简洁、延迟低；单步观测 + 锚定误差已够。扩散做多步轨迹生成，需要过去状态-动作上下文；但历史也带来步态锁定副作用。
3. Classifier Guidance 与训练时条件扩散有何不同？
   • 条件扩散需在训练集目标上标注条件。Classifier guidance 利用已学到的无条件 score + 任意可微代价梯度，部署后才指定任务，可组合多个代价。
4. 为何选 Body-Pos 而非 Joint-Rot 状态？
   • 真机关节估计误差经运动学链放大，扩散多步预测更易崩；笛卡尔 body 状态对 guidance 更鲁棒（Joystick 0% vs 80%）。
5. 锚定跟踪 vs 全局跟踪？
   • 全局跟踪在漂移时过度纠偏、损失风格；锚定保留相对协调，仅用 $b_{\text{ref}}$ 全局误差做平衡与漂移修正。GMT 等用相对速度牺牲全局轨迹，BeyondMimic 用锚定兼顾风格与可控漂移。
6. 与 SONIC / GMT 等的定位？
   • SONIC 走超大规模数据 + token 接口；BeyondMimic 走紧凑跟踪 + 扩散引导，强调 test-time 优化与真机高动态。GMT 牺牲全局轨迹换鲁棒性；BeyondMimic 锚定方案保留更多全局语义。

📎 附录

A. 与路线图其他论文的关联

B. 参考来源

• arXiv:2508.08241
• Project Website
• HybridRobotics/whole_body_tracking
• Diffuse-CLoC (Huang et al.)