三条环境线与复现策略
项目过程中最容易发生的错误,是把三个相似但不同的环境混成一条线。正确关系如下:
textSIMPLE / MuJoCo 教师案例
↓ 迁移状态机、速度、夹爪保持和证据标准
Unitree 官方 Isaac Lab
↓ 迁移机器人接口、相机和全身控制
FCloud OmniBot 官方比赛场景
CAPX/B1K[家庭环境基线]是另一条参考线:它擅长展示“移动到桌边、调整观察姿态、再做手臂操作”的任务分层,但其 R1Pro[机器人平台]、OmniGibson[仿真环境]、资产和动作接口不能直接替换 FCloud 的 G1/G2。
SIMPLE 的可迁移经验
SIMPLE 线成功的关键不是某个单独模型,而是几项工程约束一起成立:
- 先用稳定的抓取姿态和近距离接触;
- 下降、闭手、停留、抬升、运输、放置严格分阶段;
- 闭手后在运输阶段持续保持夹爪状态;
- 运输速度低于接触阶段允许的稳定范围;
- 根据在线状态选择
nominal[常规]、strong[强保持]和xrescue[极端恢复]配置; - 每个种子都保存多视角视频和结构化轨迹,而不是只保存最终分数。
Unitree 的边界
Unitree G1 Dex1[宇树 G1 两指夹爪版本]官方环境适合核验:
- G1 29 自由度和 Dex1 夹爪的动作顺序;
- 头部和左右腕部机器人自带相机;
- DDS[数据分发服务]、IK[逆运动学]和 Quest 3[虚拟现实头显]遥操作接口;
- LeRobot[机器人学习数据格式与工具]/GR00T[通用机器人策略框架]数据转换接口。
但 Unitree 官方桌面任务的物体、桌面布局和相机外参与 FCloud 不同。先在 Unitree 跑通的动作,只能作为接口和动作时序参考,必须重新在 FCloud 场景做物理和评分核验。
FCloud 的推荐迁移顺序
- 用 FCloud 场景的 GT[真值]物体位姿验证单物体真实接触抓取。
- 将 SIMPLE 的状态机和慢速运输规则接入 FCloud 机器人动作接口。
- 用机器人自带相机替换 GT,加入目标检测、分割、深度反投影和位姿估计。
- 扩展到随机物体、随机位置和多个目标,生成带视频的成功数据。
- 再把通过视频审查的数据转换为 LeRobot[机器人学习数据格式]并微调 Pi0.5[机器人视觉语言动作模型]或其他策略。
不要在第一步同时引入新分割器、抓取检测器、VLA[视觉语言动作模型]和全身规划器。每次只替换一层,才能定位失败来自感知、坐标标定、IK、碰撞规划、夹爪接触还是数据格式。