logo Mr.Robota 具身智能学习手册 EN
第十六章:专题组队学习

Task 03: 演示实操 - 从想法到实现

1. 学习概述

在前两天中,你已经建立了“具身智能是什么”和“主流技术路线是什么”的认知。今天这一节要做的事情,是把这些抽象概念落到一条真正可见的开发链路上。学习者经常会听到“数据采集”“模型微调”“仿真调试”“部署验证”这些词,但如果没有真正看过一遍,很容易把它们当成彼此独立的步骤。实际上,在具身智能里,这些环节不是并列摆放的名词,而是严格耦合的一条流水线。

因此,这一天不要求你自己训练出一个模型,也不要求你完成复杂的环境搭建,而是要求你真正走通一遍“看见链路”的过程:数据从哪里来,模型如何学会一个技能,仿真平台在中间发挥什么作用,乐云平台又是如何把这些步骤组织给学习者看的。

2. 机器人如何学习一项新技能?

如果开发一个具身技能,典型流程大致如下:

plaintextflowchart TD
    A[遥操/数据采集] --> B[数据预处理与导出]
    B --> C[构建训练环境]
    C --> D[模型微调 Fine-tuning]
    D --> E[仿真评测]
    E --> F[本体部署与真机测试]
    F -.数据回流.-> A

这条链路的难点在于,它并不是一个纯软件问题。你不能只会写模型代码,也不能只会控制机械臂。它同时涉及遥操、数据、仿真、训练、部署和硬件,任何一个环节出问题,最后都会反馈到“机器人为什么做不出来”这个结果上。对个人学习者来说,最大的门槛通常在两个地方:一是没有真机,很难自己采集高质量数据;二是没有完整环境,很难理解训练、调试和部署到底如何串起来。也正因为如此,乐云平台在本专题中的作用非常明确:它不是要替代所有底层工程,而是先把整条链路的样子呈现出来。

3. 乐云具身智能平台功能速通

如果把乐云平台看成一套具身智能工程闭环的教学入口,那么它最值得先看懂的,不是某一个孤立功能,而是几个核心模块之间如何分工。平台主要包含三大核心模块:

功能模块 作用 同学能做什么
模型广场 预置 π0、RynnVLA、GR00T 等模型 了解并调用平台现有具身智能模型
数据管理 上传/管理/标注数据 查看真机与仿真采集的数据集(如关节角曲线、视频)
模型服务 模型训练、调优、部署 体验技能调试与模型部署流程

如果用一句话概括这三个模块的关系,可以这样记:模型广场负责“看和选”,数据管理负责“看数据”,模型服务负责“把技能跑起来”。这句话虽然简短,但背后其实对应了一套很典型的工程逻辑。模型广场让你知道平台已经提供了哪些能力基础,数据管理让你看到模型背后依赖的数据形式,模型服务则让你知道这些能力最终如何进入训练、调优和部署流程。对初学者来说,只要先看懂这三者的关系,就已经跨过了“我知道平台很多页面,但不知道它们彼此有什么关系”的阶段。也可以说,这一页不是在教你“点哪里”,而是在教你先建立一张工程地图。

4. 体验目标

今天的体验目标不是把平台上每个入口都试一遍,而是完成一次从“进入平台 -> 了解模型 -> 调试仿真 -> 查看数据”的闭环体验。只要你真正走完这一圈,就会开始理解具身智能平台为什么不能只看成一个模型展示页。它更像是把数据、模型、执行和结果组织在一起的工程中台,而这正是很多初学者最难凭空想象出来的一层内容。

5. 推荐体验路径

第一步:登录并进入平台

操作上,这一步很简单:先登录达摩开发者矩阵,再点击“立即体验”,进入乐云具身智能开发平台。但从学习角度看,这一步真正的意义并不在“成功登录”,而在于你开始把抽象的专题学习内容和一个真实的平台系统对应起来。很多时候,学习者在读资料时会把“平台”想成一句空泛的话,只有真的看到入口、首页和模块布局之后,后面的内容才会变得具体。

乐云平台:https://developer.damo-academy.com/playground?spm=a1z26upx.zdxx.0.0&from=zdxx

参考界面:

task03-login-entry.png image.png

task03-homepage.png

第二步:先看平台能力,不急着操作

第一次进入时,建议先有一个“地图感”,不要急着点功能。你至少要知道平台里哪些部分对应下面这条链路:

plaintext数据 -> 模型 -> 调试 -> 执行 -> 回看结果

这一阶段最重要的不是把每个按钮都点一遍,而是先建立一种“平台认知地图”。你需要先知道模型广场、数据管理、模型服务、智能体与设备管理分别在什么位置,又分别对应整条开发链路中的哪一个环节。有了这层地图感,后面再进入具体模块时,你看到的就不是一堆零散界面,而是一条连续过程的不同切面。

换句话说,这一步是在建立“平台世界观”。如果你一开始就陷入某个具体按钮,很容易误以为平台只是一些功能页的堆叠;但如果你先看懂它的整体布局,就会逐渐意识到,平台首页其实已经在暗示一条完整的具身开发链路。对于教材读者来说,这种先总后分的观看方式,比直接记住页面名称更重要。

参考界面:

task03-platform-overview-1.png

task03-platform-overview-2.png

task03-platform-overview-3.png

第三步:了解后台基础页面

第一次体验时,可以先知道这些页面是做什么的,但不要求全部深入。设备页面更偏向真实机器人接入和激活,智能体页面则更偏向任务编排和对话式能力调用。换句话说,这一部分并不是今天的主角,但它会帮助你理解:平台并不只是一堆模型 demo,它最终还是要回到“如何管理机器人、如何组织任务”这样的真实系统问题上。

这里尤其值得初学者留意一个常被忽略的事实:具身智能平台之所以复杂,不是因为它“页面多”,而是因为它天然就站在模型和真实系统之间。设备管理对应的是硬件接入和运行对象,智能体管理对应的是任务组织和能力编排。它们看起来不像最“炫”的部分,但恰恰是系统真正落地时绕不过去的那一层。

参考界面:

task03-device-page.png

task03-agent-page.png

第四步:体验一次仿真模型调试

推荐从具备仿真环境的模型开始,先获得“平台能做什么”的感受,再讨论底层原理。

这一步建议你重点观察三件事。第一,平台里已经预置了哪些模型,例如 Pi0、GR00T 等,它们分别面向什么任务;第二,一个技能从加载到执行究竟要经过哪些页面,这会帮助你建立对“模型服务”真实含义的理解;第三,执行完成之后,平台如何回放和展示结果,因为这直接对应了“模型是否真的完成了任务”这一判断过程。你会发现,所谓“体验一次模型”,其实不是点一下运行按钮那么简单,而是至少包含了模型选择、技能调用、执行观察和结果回看几个连续阶段。

如果把这一步再往深一点理解,它其实是在帮助你拆开“模型能力”这个大词。学习者平时说“这个模型会抓取”“那个模型会导航”,听起来像是一句结果描述;但在平台里,你会看到这个结果背后至少还包含配置、加载、执行、记录和回看几个环节。教材在这里故意放这么多界面截图,就是希望你意识到,工程里的“能力”从来不是一句概念,而是一整段可以被追踪和验证的过程。

参考界面:

image.png

task03-pi0-model.png

task03-enter-debug.png

task03-select-skill.png

image.png

task03-execution-path.png

task03-execution-log-1.png

task03-execution-log-2.png

第五步:查看数据集和数据详情

完成一次技能体验后,再看数据管理页面,学习者会更容易理解“为什么前面要先讲数据采集和模型调试”。因为这时你已经知道了:模型不是凭空会做事的,它背后必须有数据、有训练、有评估。此时再看数据管理页面,你看到的就不再只是表格和字段,而是一个技能之所以能够被训练出来的基础材料。

这一部分建议重点观察三件事:数据集的组织方式、单条数据包含哪些字段,以及平台如何把视频、关节角曲线和数值信息放到同一个查看界面里。尤其是最后一点非常关键,因为它直接体现了具身数据与普通文本数据的不同。对于具身任务来说,数据不是一句句文本,而是视觉、动作、本体状态等多种信息共同组成的时间序列。

这也是为什么很多做过大语言模型项目的同学,第一次接触具身数据时会感到不适应。文本数据往往是离散的句子或段落,而具身数据本质上是随时间展开的连续过程。一个动作为什么成功,往往要回到执行前后的整段观察、姿态变化和控制信号中去理解。平台把这些信息并列展示出来,本身就是一种非常好的教学方式,因为它把“具身任务为什么更难”这件事直接变成了可以被看到的事实。

参考界面:

image.png

image.png

image.png

image.png

image.png

6. 可选补充体验

如果时间允许,还可以继续了解模型调优入口和模型部署入口。之所以把这部分放在“可选补充”而不是主线任务里,是因为它更偏向后续工程扩展,而不是今天必须掌握的核心概念。对入门学习者来说,先把“模型如何被选择、调试、验证”看懂,比一上来就深入部署细节更重要;但如果你已经对平台形成了整体认识,那么再往这两个入口看一眼,就能更直观地明白具身能力并不是停留在 demo 演示,而是确实朝着持续优化和正式上线的方向组织的。

参考界面:

image.png image.png

7. 这一节你应该真正看懂什么

今天不是要你学会自己部署一个完整机器人系统,而是要你真正看懂下面这件事:

机器人技能不是“模型突然会了”,而是经过数据、训练、调试、部署这一整条链路逐步形成的。

如果你已经看懂这件事,那么后面再去看开源代码、看 VLA 训练、看真实数据集时,就不会只停留在术语层面。你会知道,每个术语背后都对应着实际的页面、实际的数据形式和实际的工程步骤,这种“能把抽象概念和真实流程对起来”的能力,恰恰是初学者最难建立、但又最关键的能力。

8. 关键动作与打卡任务

这一节的打卡要求尽量保持简单,但要能够反映你是否真的看懂了平台链路。请你在乐云仿真环境中调用一个预置模型,完成一次基础任务体验,例如让机械臂执行抓取或移动类操作。操作入口可以直接从模型广场进入。

完成之后,提交一张你在乐云平台上成功运行技能调试的截图,并补充一段 100 到 200 字的文字说明。这里不要求长篇大论,更重要的是你能不能用自己的话把刚才看到的链路说清楚。你可以任选一个角度来写,例如你理解的平台链路是什么,数据管理、模型广场、模型服务三者分别在做什么,或者你觉得平台最明显降低门槛的地方是什么。只要能够体现出你已经把“页面”看成“流程”,这次实操就达到了目的。

9. 延伸阅读