8）2具身智能零基础入门
- 开源内容：https://github.com/datawhalechina/every-embodied
- 学习指南知识库：学习指南
- 提问部分：问题记录和汇总
- 助教请申请这个文档的编辑权限，打卡信息，优秀作业等所有内容请汇总到：202603期1群和202603期2群
- 课程说明：
具身智能（Embodied AI）风很大，从 Mobile ALOHA 到 Pi0、OpenVLA，SOTA 模型几乎按周更新。但很多人想入局却卡在第一步：
🤯 资料太碎，不知道从哪学起？
🤯 门槛太高，数学推导和物理引擎让人头秃？
🤯 跑不起来，环境配置配到怀疑人生？
别慌！这份由 Datawhale 发起、开源社区共同打磨的保姆级教程 Every-Embodied : Zero to Hero 正式开源啦！🌟 我们主打一个：基础友好、工程可复现、前沿可拓展。带你从一行 Python 代码开始，一步步给机器人装上“大脑”！🧠
拒绝“配环境从入门到放弃”！我们提供了开箱即用的环境脚本，即使只有基础编程能力，只需三步命令，就能在本地跑通第一个 MuJoCo 机械臂抓取 Demo。带你跑通 OpenVLA、SmolVLA、ETPNav，甚至复刻春晚同款武术机器人！同时，🎬 配套保姆级视频教程！我们在 小红书和B 站同步更新了丰富的配套实操视频！从 Mujoco 仿真、ACT 抓取水杯算法到 GenieSim 一键启动，手把手带你避坑。
- 面向人群：对具身智能感兴趣的学生、工程师、研究人员；具备Python基础和基础数学知识。Python 初学者 / AI 开发者： 想系统转型具身智能方向；高校学生： 需要做课程项目、毕设，或者想快速建立论文复现能力；硬件 / 机器人发烧友： 想打通从物理机控制到 Sim2Real 部署的完整闭环。
- 课程编号：929
- 学习群个数：2个
- 学习人数：180人/群
| 角色 | 姓名 |
|---|---|
| 航路开辟者（课程设计者） | 陈可为 |
| 领航员（运营助教） | |
| 航海士（专业助教） |
任务安排：
| 任务信息（每个task任选一个链接打卡即可） | 天数 | 截止时间 | 评审 | 优秀作业 |
|---|---|---|---|---|
| 04月13日正式开始 | 共20天 | |||
| Task01：具身智能基础与机器人控制 具身智能概述与发展，PID控制算法实现，机器人运动学基础，具身导航初步（视频教程）。 热门内容：春晚机器人复刻 /every-embodied/blob/main/07-机器人操作、运动控制/Locomotion/01春晚舞蹈机器人复刻.md 视频教程：http://xhslink.com/o/1lB9dX0Vt2t **课程01-具身智能概述：**该章节涵盖了“具身智能概述与发展”。 /datawhalechina/every-embodied/blob/main/01-具身智能概述/01具身智能概述.md **课程02-机器人基础和控制、手眼协调：**该章节涵盖了“机器人基础”（运动学）和“控制”（PID算法）。 /datawhalechina/every-embodied/blob/main/02-机器人基础和控制、手眼协调/01机器人空间描述与坐标变换.md /datawhalechina/every-embodied/blob/main/02-机器人基础和控制、手眼协调/补充代码教程_Cartpole三种控制算法实战/cartpole建模与控制.md 具身导航基础（优先完成作业）： /every-embodied/blob/main/08-具身导航及VLN/02仿真环境基础/habitat导航环境/habitat_lab环境搭建及配置.md /every-embodied/blob/main/08-具身导航及VLN/02仿真环境基础/habitat导航环境/habitat_sim基础实践.md /datawhalechina/every-embodied/blob/main/08-具身导航及VLN/02仿真环境基础/habitat导航环境/habitat_lab基础.md **视频教程：**http://xhslink.com/o/4FGHWn2YICu |
4 天 | 截止时间 04月17日03:00 | ||
| Task02：视觉感知与手眼协调 计算机视觉在机器人中应用，手眼标定算法实现，深度估计与3D重建。 **课程02-机器人基础和控制、手眼协调：**该章节涵盖了“机器人基础”（运动学）和“控制”（PID算法）。 /every-embodied/blob/main/02-机器人基础和控制、手眼协调/05综合实战与仿真.md **课程04-具身场景的计算机视觉、3D重建：**该章节涵盖了“计算机视觉”和“3D重建/深度估计”。 /datawhalechina/every-embodied/tree/main/04-具身场景的计算机视觉、3D重建 |
4 天 | 截止时间 04月21日03:00 | ||
| Task03：强化学习与智能决策 机器人强化学习框架，PPO算法在机器人控制中应用，GenieSim仿真器（优先学习，有视频教程），ManiSkill仿真环境搭建与训练。 **课程05-具身场景的深度和强化学习：**该章节涵盖了“强化学习与智能决策”及“PPO算法”。 /every-embodied/blob/main/05-具身场景的深度和强化学习/01多机器人搬运家具强化学习.md GenieSim仿真器（优先完成作业）： **视频：**http://xhslink.com/o/2tybo79bOsk 文字：/every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/08GenieSim3配置.md **课程07-机器人仿真工具和benchmark：**该章节涵盖了ManiSkill（选学）。 /every-embodied/blob/main/10-具身智能其他仿真工具及仿真前沿/02Maniskill环境仿真配置.md |
4 天 | 截止时间 04月25日03:00 | ||
| Task04：硬件实践与前沿技术 DK-X5开发板控制，LeRobot VLA控制，mujoco抓取实验（视频教程）。 **课程03-机器人硬件及地瓜RDK-X5开发板控制教程：**该章节涵盖了“DK-X5开发板控制”。有开发板的同学可选。 /every-embodied/blob/main/03-机器人硬件、lerobot及地瓜RDK-X5开发板控制教程/01RDKX5超新手入门教程.md **课程08-大模型控制、VLA、VLM：**该章节涵盖了属于视觉语言动作模型（VLA）的前沿应用的LeRobot VLA。 /every-embodied/blob/main/06-策略抓取或抓取VLA/大模型控制、VLA、VLM/01SmolVLA-LIBERO/01SmolVLA-libero.md 优先完成作业1：ETPNav前沿VLN导航算法复现（视频教程） http://xhslink.com/o/8t08X6dROt5 优先完成作业2：mujoco抓取实验（视频教程） https://www.bilibili.com/video/BV1WhxeznE61/ |
4 天 | 截止时间 04月29日03:00 | ||
| Task05：前沿具身智能项目复现 无人机多模态实践（优先完成作业） /every-embodied/blob/main/13-其他前沿项目复现/无人机大模型%2BGroundingdino实践/无人机多模态大模型.md 对应仿真器下载链接(windows)： https://huggingface.co/datasets/Datawhale/house_win ACT、Pi0数据采集和算法实操（优先完成作业） /every-embodied/blob/main/06-策略抓取或抓取VLA/大模型控制、VLA、VLM/04mujoco复现ACT、Pi0、SmolVLA/1.collect_data.ipynb 视频教程：http://xhslink.com/o/8lsptSLOlex |
4 天 | 截止时间 05月03日03:00 |