logo Mr.Robota 具身智能学习手册 EN
第十五章:Challenge竞赛

4. 环境相机与调试视角

4.1 可以加吗

可以加,但只能作为本地调试和录屏的第三方视角。它适合回答:

  • 机器人是否走到了搜索区域。
  • 机器人是否撞到墙或垃圾桶。
  • 机械臂动作时机是否与基座运动冲突。
  • 目标是否在机器人视野之外。
  • 失败发生在搜索、导航、接近还是放置。

4.2 不能怎么用

环境相机不能:

  • 写入 policy 的正式 observation。
  • 直接产生目标的世界坐标供策略使用。
  • 作为训练标签中运行时可获得的额外输入。
  • 替代头部或末端相机的校准。
  • 作为没有官方评测器证据时的成功证明。

判断标准不是“代码里有没有创建 camera”,而是“camera 的像素是否影响了正式动作”。调试录像可以存在;只要相机图像没有进入 observation 到 action 的计算链,就不改变策略输入边界。

4.3 推荐的三路视频

  1. 头部视角:观察机器人真实能看到的远距离搜索画面。
  2. 末端视角:观察目标和夹爪之间的近距离关系。
  3. 环境视角:只做第三方全局排障,不提供给策略。

三路视频要共享同一个 episode_id、step 或仿真时间戳,避免把不同回合的视频误拼成一个成功案例。发布时还要注明环境视角的非策略属性。

4.4 最小验证

做一次 A/B 检查:

  1. 运行策略并记录动作序列 A。
  2. 关闭环境相机,但保持官方 observation 不变,再运行同一 seed,记录动作序列 B。
  3. 比较 A 与 B。如果动作发生变化,说明环境相机已经通过某条路径泄漏进策略,需要回查。

这比在视频里声明“环境相机只是观察”更可靠。