logo Mr.Robota 具身智能学习手册 EN
第十六章:专题组队学习

MicroDuck 任务演示总览

这里按任务展示演示,GPU 推理在前、BPU 推理在后。展开条目可以看更多版本;训练、模型来源和实现步骤见各任务教程。

GPU 在工作站计算动作;BPU 在 RDK X5 计算动作,工作站负责仿真与画面渲染。网页展示的是已保存的任务视频,重跑步骤见 Notebook 说明。

Notebook:每项任务一组

Notebook 与任务 GPU 推理 BPU 推理
01 篮球平衡 篮球平衡 GPU 推理 篮球平衡 BPU 推理
02 浏览器物理扰动 物理扰动 GPU 推理 物理扰动 BPU 推理
03 高跷行走 高跷行走 GPU 推理 高跷行走 BPU 推理
04 摆动旋转 摆动旋转 GPU 推理 摆动旋转 BPU 推理
05 球平衡 FastSAC 球平衡 GPU 推理 球平衡 BPU 推理
06 梯面攀爬 梯面攀爬与登桌 GPU 推理
逐级爬梯,登桌站稳
梯面接触 BPU 推理
梯面接触
07 行走策略接入 行走 GPU 推理 行走 BPU 推理

上述 7 本 Notebook 保存了 64 个代码单元的执行计数与输出;下方第 8 本导航 Notebook 新增 12 个已执行代码单元,8 本合计保存 76 个代码单元的输出。运行状态和可选步骤见 Notebook 说明。原始 MP4 不提交,页面展示压缩 GIF。

LightNav-0 多场景导航

第 8 本 Notebook 在 GPU 上接入预训练导航模型,读取第一视角图像与语言指令。三个场景分别生成视频;运行步骤、控制接口与模型来源见导航教程。

官方住宅 自建客厅 自建走廊
官方住宅语言导航
住宅里寻找左侧桌子
自建客厅语言导航
客厅里接近扶手椅
自建走廊语言导航
走廊里寻找盆栽

梯面攀爬与登桌

MicroDuck 逐级爬梯、登桌与站稳

逐级踩横档,登桌后起身站稳。双策略切换、训练方法和模型来源见梯面攀爬教程。

高跷行走:25 cm 与 200 cm

25 cm 高跷行走

200 cm 高跷行走

不同高度下交替支撑行走。形态课程、模型来源和尺寸配置见高跷行走教程。

其它任务版本

以下收录各任务的更多动作和训练阶段。

行走、绕障与命令编舞

平地行走

速度与朝向命令:

同一行走策略的 12 秒命令编舞

障碍场景:

绕障行走

篮球平衡

篮球平衡

浏览器物理扰动

浏览器物理扰动演示

94 秒人工拖拽演示压缩版

通过鼠标拖动小鸭子施加外力,观察仿真中的受力与运动变化。

摆动旋转

摆动旋转

摆动旋转训练演示

摆动与旋转动作。

球平衡与 FastSAC 训练

球平衡

FastSAC 球平衡训练

FastSAC 球面平衡训练。

梯面攀爬:动作分析与训练阶段

完整爬梯与登桌见上方演示;以下依次记录动作参考和 V1/V2/V3 训练阶段。实现过程见梯面攀爬教程。

参考视频:MicroDuck 梯面攀爬

V1 本地部分攀爬

V2 梯脚接近

V3 横档接触

V3 起始姿态

组合片中的横档接触阶段

横档接触、梯脚接近和起始姿态。

技能串联总览

MicroDuck 技能串联总览压缩版

多任务剪辑;各任务的完整演示见上方对应条目。

素材与复现

  • 所有提交的视频预览均为 GIF;前 7 本 Notebook 用 GIF 相对链接展示视频,第 8 本保留小尺寸图像与轨迹图,运行后在单元内播放导航 MP4。
  • 原始 MP4 留在仿真工作站,减小克隆和浏览开销。各任务的环境、模型、指标与复现步骤见对应任务 README。
  • 运行 Notebook 可生成新的任务 MP4 与评测报告。