logo Mr.Robota 具身智能学习手册
第十五章:Challenge竞赛

比赛要求与任务边界

任务方向

FCloud OmniBot 2026 的公开页面给出三个方向:

  1. 人形机器人自主导航避障:在复杂环境中规划路线、绕开障碍物和移动人员、经过多个途经点并返回起点。
  2. 桌面整理:识别并抓取桌面物品,按照规则放入指定区域。
  3. 视觉与自然语言理解:只使用机器人自身相机观察场景,回答关于物品和环境的问题。

正式算法使用 Isaac Sim[机器人仿真器]5.0 及以上版本、Isaac Lab[机器人学习框架]2.0 及以上版本;机器人可选宇树 G1 或智元 G2,全人形机器人有加分系数。摄像头限制为机器人自身相机,不能用外部相机直接观测场景。

桌面整理评分边界

公开规则中,物品放入指定区域后,需要满足位置误差不超过 ±5 cm、姿态误差不超过 ±10°;物品随机化应使用 Replicator[场景随机化工具]。提交时还需要最终输出、运行日志、中间输出、复现步骤和完整推理视频。

这意味着一个合格的桌面整理方案至少要同时具备:

  • 机器人自身相机观测;
  • 目标识别与三维位姿估计;
  • 可达、避碰、连续的手臂或全身轨迹;
  • 真实 PhysX[物理引擎]接触下的夹取和释放;
  • 终态位姿检查;
  • 可审查的视频、日志和配置。

不属于正式输入的内容

以下内容可以用于离线调试或教师数据生成,但不能直接冒充比赛策略输入:

  • 物体世界坐标、关节真值和目标成功函数;
  • 外部相机或场景视角;
  • 把物体位姿直接设置到目标区;
  • 将物体挂到手上或让物体脚本跟随手运动;
  • 仅改变统计值、不改变物理状态的假成功逻辑。

GT[真值]位姿可以用来验证“规划与接触控制本身是否可行”,但必须在日志中标注为 oracle_teacher[真值教师],替换成机器人自身相机后才有资格进入正式策略评估。

环境边界

环境 用途 能否直接作为 FCloud 成绩
FCloud OmniBot 比赛目标环境和最终提交环境 可以,需遵守官方协议
Unitree 官方 Isaac Lab G1、Dex1、相机、Quest 采集与官方任务接口验证 不能替代 FCloud 场景
CAPX/B1K 家庭环境导航、任务分层和 R1Pro 控制参考 不能替代 FCloud 场景
SIMPLE G1 全身移动操作的合成数据与状态机参考 不能替代 FCloud 场景
MuJoCo 水果抓取样例 两指夹爪、抓取时序和物理接触最小案例 不能替代 Isaac Sim 比赛环境