AMD Physical AI 仿真基准与长程视频复现

本章把 AMD AI DevMaster Physical AI 项目中的仿真、策略评估和多视角视频整理成一条可复用的学习路径。内容覆盖 Every Embodied、RoboCasa365、DexJoCo、DISCOVERSE、RoboWits 和 Unitree G1 安全控制，并统一说明任务协议、AMD ROCm［AMD 开放计算平台］运行路径、结果口径和视频导出方法。

本页负责总览与路线选择。每套 benchmark［评测基准］的下载、环境、迁移、训练、评估和视频命令已经拆成独立教程：

1. 从两个长程成功案例开始

下面两段视频都在 AMD Ryzen AI MAX+ 395 上完成闭环推理和仿真录制。点击封面可观看保持原始动作节奏的完整 MP4［视频文件］。

DexJoCo 双臂河内塔	RoboCasa365 长程装餐任务
Pi0.5 多任务 checkpoint［检查点］，双臂协同完成搬运与堆叠；外部视角和左右腕部视角同步录制，47.6 秒。	GR00T N1.5 多任务 checkpoint［检查点］，PandaOmron 在厨房内连续操作；四视角同步录制，195 秒。

这两个案例分别展示了两类互补能力：DexJoCo 关注双臂与灵巧操作，RoboCasa365 关注家庭场景中的长时序任务。它们共用同一套工程判断：策略输出必须真正推进模拟器、任务成功条件必须由环境判定、视频必须和该回合的结果记录一一对应。

2. 仿真与策略矩阵

这张矩阵可以按三条路线学习：

1. 策略训练路线：从 Every Embodied 的可控抓杯任务理解数据、训练和严格成功评估。
2. 多任务评估路线：用 RoboCasa365 和 DexJoCo 学习多任务 checkpoint［检查点］加载、动作接口、批量闭环和视频索引。
3. 仿真工程路线：用 DISCOVERSE、3DGS［三维高斯泼溅］和 Unitree G1 理解多机器人运行门禁、合成数据、渲染与安全控制。

3. 统一复现流程

不同仿真器的命令不同，但可复现流程可以统一成六个阶段：

text固定上游版本与任务配置
        ↓
确认 AMD GPU［图形处理器］、ROCm［AMD 开放计算平台］和框架后端
        ↓
加载资产、机器人、相机与任务成功条件
        ↓
加载 checkpoint［检查点］、归一化统计和动作接口
        ↓
运行固定 seed［随机种子］闭环评估并保存逐回合结果
        ↓
导出多视角视频、汇总成功率和阶段指标

推荐为每个实验保存以下最小结构：

textruns/{system}/{model}/{task}/
├── run_config.json
├── episodes/
│   ├── seed_000.json
│   └── seed_000.mp4
├── stats.json
└── videos/

run_config.json 记录任务、模型、相机、控制频率和 seed［随机种子］；逐回合 JSON［结构化数据文件］记录成功条件和阶段状态；stats.json 从逐回合文件聚合，避免手工填写成功率。

4. RoboCasa365：同协议家庭任务评估

RoboCasa365 的正式对比使用 16 个任务，每个任务 50 个回合。GR00T N1.5 和 Pi0.5 使用相同任务目录、回合数和成功条件，因此可以直接比较：

RoboCasa365 的视频使用四路相机：中央第三人称、左侧第三人称、右侧第三人称和手眼相机。四路画面在同一模拟时刻拼接，可以同时观察全局路径、手臂姿态、遮挡和末端接触。

本章首页的 PackIdenticalLunches 使用 GR00T N1.5 成功回合。它连续展示目标识别、接近、抓取、运输和放置，比单步开关门更适合作为长时序复现案例。

5. DexJoCo：原生 ROCm JAX 多任务推理

DexJoCo 的 11 个任务共用官方 Pi0.5 多任务 checkpoint［检查点］。AMD 运行环境采用 Python 3.12、ROCm 7.14.0 和 JAX/JAXlib 0.10.0，并完成 GPU［图形处理器］矩阵预检、模型加载、动作生成和模拟器闭环。

官方评估固定 seed［随机种子］ 0，每个任务 1 个回合，结果为 5/11。随后仅对未成功任务依次检查 seed［随机种子］ 1–10，并在首个成功回合停止；该固定档案为 10/11 个任务提供了可复现成功视频。两组数据承担不同用途：前者用于模型对比，后者用于观察任务完成过程和调试动作接口。

双臂河内塔视频使用三个同步视角：

• 外部视角：观察双臂协同、积木位置和最终堆叠；
• 左腕视角：观察左手接近和抓取；
• 右腕视角：观察右手搬运与放置。

6. DISCOVERSE：运行、专家数据与高清渲染

DISCOVERSE 迁移把运行门禁、机器人任务、专家数据和视频导出连成完整链路：

• 18 个运行门禁全部通过；
• AIRBOT 12 个任务与 MMK2 8 个任务完成执行验证；
• 专家轨迹可转换为训练数据；
• 高清任务同时导出三路 1920×1080 相机；
• 3DGS［三维高斯泼溅］用于场景渲染与动态回放。

这里的关键接口不是单一推理函数，而是仿真状态、相机、动作、成功条件和数据写入之间的契约。推荐先用专家状态机生成一条完整轨迹，再把观测和动作转换到 LeRobot 数据格式，最后接入 ACT、SmolVLA 或 Pi0 系列策略。

7. Every Embodied：从训练到严格物理成功

Every Embodied 抓杯任务适合作为学习入口，因为任务短、成功条件清楚、训练成本可控。SmolVLA 的正式结果使用红杯和蓝杯各 30 个固定 seed［随机种子］，严格物理成功要求完成抬升、运输、放置并稳定保持，最终为 57/60。

对应的完整训练与评估入口已经拆分在本专题：

• 端到端采集、训练与部署
• 预训练权重与零训练体验
• 物理成功评估与视频复核

8. 多视角视频导出

多视角视频应在同一个仿真循环中采集，所有相机共享同一帧索引。下面是通用结构：

pythonframes = {name: [] for name in camera_names}

for step in range(max_steps):
    action = policy.select_action(observation)
    observation, reward, terminated, truncated, info = env.step(action)

    for camera_name in camera_names:
        frames[camera_name].append(env.render(camera_name=camera_name))

    if terminated or truncated:
        break

导出时建议同时保留：

• 单相机原始视频，便于逐视角诊断；
• 多视角合成视频，便于快速复核；
• 成功回合海报帧，便于 README［项目说明］和课程首页展示；
• 逐回合 JSON［结构化数据文件］，把视频和任务结果绑定。

9. 学习产出

完成本章后，建议整理一份自己的 AMD 仿真复现包：

10. 延伸资料

• AMD ROCm 策略复刻专题首页
• AMD Physical AI 公开成果站
• RoboCasa
• DexJoCo
• DISCOVERSE
• RoboWits
• PAC-MAN Unitree G1 安全控制

比赛项目的完整材料保存在以下公开入口：

• Radeon Physical AI Evidence Suite 源码与复现文档
• 4 分 59 秒英文演示视频
• 英文技术报告
• SmolVLA 模型
• Pi0 模型
• ACT 模型
• RoboWits ACT 模型