8）2具身智能零基础入门
- 开源内容：https://github.com/datawhalechina/every-embodied
- 学习指南知识库：学习指南
- 提问部分：问题记录和汇总
- 助教请申请这个文档的编辑权限，打卡信息，优秀作业等所有内容请汇总到：202603期1群和202603期2群
- 课程说明：
具身智能（Embodied AI）风很大，从 Mobile ALOHA 到 Pi0、OpenVLA，SOTA 模型几乎按周更新。但很多人想入局却卡在第一步：
🤯 资料太碎，不知道从哪学起？
🤯 门槛太高，数学推导和物理引擎让人头秃？
🤯 跑不起来，环境配置配到怀疑人生？
别慌！这份由 Datawhale 发起、开源社区共同打磨的保姆级教程 Every-Embodied : Zero to Hero 正式开源啦！🌟 我们主打一个：基础友好、工程可复现、前沿可拓展。带你从一行 Python 代码开始，一步步给机器人装上“大脑”！🧠
本期学习路径调整为“先通识、后分支”：前半程先学习具身智能概述、机器人基础、控制、视觉感知、仿真和强化学习等通识内容；后半程根据兴趣进入不同方向。分支不再把抓取、导航和前沿复现混在一起，而是拆成三类：操作模型与世界模型、导航模型与无人机导航、应用实践与系统部署。喜欢机械臂操作、抓取、VLA、ACT、Pi0、SmolVLA、OpenVLA 和世界模型的同学，可以进入操作模型与世界模型分支；喜欢导航、VLN、场景理解、无人机导航和空间任务规划的同学，可以进入导航模型与无人机导航分支；希望做开发板、遥操作、仿真工具和多模态 demo 的同学，可以进入应用实践与系统部署分支。
- 面向人群：对具身智能感兴趣的学生、工程师、研究人员；具备Python基础和基础数学知识。Python 初学者 / AI 开发者： 想系统转型具身智能方向；高校学生： 需要做课程项目、毕设，或者想快速建立论文复现能力；硬件 / 机器人发烧友： 想打通从物理机控制到 Sim2Real 部署的完整闭环。
- 课程编号：929
- 学习群个数：2个
- 学习人数：180人/群
| 角色 | 姓名 |
|---|---|
| 航路开辟者（课程设计者） | 陈可为 |
| 领航员（运营助教） | |
| 航海士（专业助教） |
任务安排：
| 任务信息（每个task任选一个链接打卡即可） | 天数 | 截止时间 | 评审 | 优秀作业 |
|---|---|---|---|---|
| 04月13日正式开始 | 共20天 | |||
| Task01：通识基础一：具身智能概述与机器人基础 所有同学先共学，建立“感知-决策-控制”闭环认知，补齐机器人空间描述、坐标变换、运动学和基础控制概念。 **课程01-具身智能概述：**该章节涵盖“具身智能是什么、发展脉络、典型任务和技术版图”。 具身智能概述 **课程02-机器人基础和控制、手眼协调：**该章节涵盖机器人基础、坐标变换、PID 控制和仿真实战。 机器人空间描述与坐标变换 PID控制基础 综合实战与仿真 **建议打卡：**整理一份具身智能基础笔记，说明你如何理解感知、决策、控制和机器人本体之间的关系；或跑通一个基础控制/仿真示例并提交截图或环境记录。 |
4 天 | 截止时间 04月17日03:00 | ||
| Task02：通识基础二：视觉感知、仿真环境与训练范式入门 所有同学继续共学，不要求一开始就深入某个方向，而是先理解具身任务里常见的视觉输入、深度估计、3D 信息、强化学习和仿真平台。 **课程04-具身场景的计算机视觉、3D重建：**该章节涵盖机器人视觉、深度估计、SAM 和抓取注意力等基础内容。 SAM和深度估计 抓取注意力热图 **课程05-具身场景的深度和强化学习：**该章节涵盖强化学习与具身决策入门。 多机器人搬运家具强化学习 仿真工具二选一： ManiSkill环境仿真配置 GenieSim配置 **建议打卡：**说明感知、训练、仿真三者在具身任务中的关系；或跑通一个视觉/仿真/强化学习示例。 |
4 天 | 截止时间 04月21日03:00 | ||
| Task03：分支入门：按兴趣选择 1 条主分支，跑通第一个方向性任务 完成前两个通识任务后，开始按兴趣分流。建议每位同学优先选择 1 条主分支，不建议同时追多个方向。 分支A：操作模型与世界模型 适合喜欢机械臂操作、抓取、模仿学习、VLA、ACT、Pi0、SmolVLA、OpenVLA 和世界模型的同学。操作模型关注“机器人如何根据视觉和语言产生动作”，世界模型关注“系统如何理解、预测和规划环境变化”，两者都服务于机器人操作能力。 SmolVLA-LIBERO OpenVLA复现 MuJoCo复现ACT、Pi0、SmolVLA LIBERO benchmark LeWorldModel分析解读与实验复现 分支B：导航模型与无人机导航 适合喜欢导航、VLN、场景理解、空间定位、路径规划、无人机导航和空中视角多模态任务的同学。无人机相关内容放在导航模型这一类，因为它的核心也是“在环境中理解目标、规划路径并执行移动”。 具身导航算法基本介绍 Habitat Lab环境搭建及配置 Habitat Sim基础实践 无人机多模态大模型实践 对应仿真器下载链接(windows)：https://huggingface.co/datasets/Datawhale/house_win 分支C：应用实践与系统部署 适合希望做仿真工具、开发板、真实机械臂、遥操作和系统集成的同学。 RDK-X5超新手入门教程 RDK-X5连接LeRobot机械臂进行遥操作 **建议打卡：**选择一个主分支，说明选择原因，并跑通该方向的第一个 demo 或环境。 |
4 天 | 截止时间 04月25日03:00 | ||
| Task04：分支深入：继续沿 Task03 所选方向深入 这一阶段不建议频繁切换方向，重点是在同一方向完成一次更完整的复现、训练、部署、对比分析或踩坑总结。 **操作模型与世界模型方向：**可继续学习 RT 系列、ACT/Pi0/SmolVLA 训练部署、LIBERO benchmark 或 LeWorldModel 世界模型专题。 RT系列论文解读与代码分析 LeWorldModel分析解读与实验复现 **导航模型与无人机导航方向：**可继续完成 Habitat 基础实践、综合导航实践、ETPNav 前沿复现或无人机多模态实践。 Habitat Lab基础实践 具身导航综合入门实践 ETPNav代码复现 无人机多模态大模型实践 **应用实践与系统部署方向：**可继续深入 ManiSkill、GenieSim、RDK-X5、LeRobot 遥操作或真实系统集成。 ManiSkill环境仿真配置 GenieSim配置 RDK-X5连接LeRobot机械臂进行遥操作 **建议打卡：**在同一方向完成一次更完整的复现、训练、部署、对比分析或踩坑总结。 |
4 天 | 截止时间 04月29日03:00 | ||
| Task05：成果整理与交叉分享 最后阶段不建议再开新坑，而是把前面完成的通识学习和分支实践整理成可复用成果。可提交复现报告、演示视频、动图、环境搭建记录、方向综述、论文/代码解读、踩坑总结等。 **操作模型与世界模型方向：**可整理 ACT、Pi0、SmolVLA、OpenVLA、RT 系列、LIBERO 或 LeWorldModel 学习报告。 **导航模型与无人机导航方向：**可整理 Habitat、VLN、ETPNav、无人机导航或无人机多模态实践复现报告。 **应用实践与系统部署方向：**可整理 ManiSkill、GenieSim、RDK-X5、LeRobot 遥操作、真实系统部署或多模态 demo 的环境配置和踩坑总结。 **建议打卡：**提交一份最终成果，说明你选择的分支、完成的任务、遇到的问题、解决方法和后续可以继续深入的方向。 |
4 天 | 截止时间 05月03日03:00 |