logo Mr.Robota 具身智能学习手册
第十五章:Challenge竞赛

三条环境线与复现策略

项目过程中最容易发生的错误,是把三个相似但不同的环境混成一条线。正确关系如下:

textSIMPLE / MuJoCo 教师案例
        ↓ 迁移状态机、速度、夹爪保持和证据标准
Unitree 官方 Isaac Lab
        ↓ 迁移机器人接口、相机和全身控制
FCloud OmniBot 官方比赛场景

CAPX/B1K[家庭环境基线]是另一条参考线:它擅长展示“移动到桌边、调整观察姿态、再做手臂操作”的任务分层,但其 R1Pro[机器人平台]、OmniGibson[仿真环境]、资产和动作接口不能直接替换 FCloud 的 G1/G2。

SIMPLE 的可迁移经验

SIMPLE 线成功的关键不是某个单独模型,而是几项工程约束一起成立:

  • 先用稳定的抓取姿态和近距离接触;
  • 下降、闭手、停留、抬升、运输、放置严格分阶段;
  • 闭手后在运输阶段持续保持夹爪状态;
  • 运输速度低于接触阶段允许的稳定范围;
  • 根据在线状态选择 nominal[常规]、strong[强保持]和 xrescue[极端恢复]配置;
  • 每个种子都保存多视角视频和结构化轨迹,而不是只保存最终分数。

Unitree 的边界

Unitree G1 Dex1[宇树 G1 两指夹爪版本]官方环境适合核验:

  • G1 29 自由度和 Dex1 夹爪的动作顺序;
  • 头部和左右腕部机器人自带相机;
  • DDS[数据分发服务]、IK[逆运动学]和 Quest 3[虚拟现实头显]遥操作接口;
  • LeRobot[机器人学习数据格式与工具]/GR00T[通用机器人策略框架]数据转换接口。

但 Unitree 官方桌面任务的物体、桌面布局和相机外参与 FCloud 不同。先在 Unitree 跑通的动作,只能作为接口和动作时序参考,必须重新在 FCloud 场景做物理和评分核验。

FCloud 的推荐迁移顺序

  1. 用 FCloud 场景的 GT[真值]物体位姿验证单物体真实接触抓取。
  2. 将 SIMPLE 的状态机和慢速运输规则接入 FCloud 机器人动作接口。
  3. 用机器人自带相机替换 GT,加入目标检测、分割、深度反投影和位姿估计。
  4. 扩展到随机物体、随机位置和多个目标,生成带视频的成功数据。
  5. 再把通过视频审查的数据转换为 LeRobot[机器人学习数据格式]并微调 Pi0.5[机器人视觉语言动作模型]或其他策略。

不要在第一步同时引入新分割器、抓取检测器、VLA[视觉语言动作模型]和全身规划器。每次只替换一层,才能定位失败来自感知、坐标标定、IK、碰撞规划、夹爪接触还是数据格式。