logo Mr.Robota 具身智能学习手册 EN
项目首页
Banner
  ███████╗███╗   ███╗██████╗  ██████╗ ██████╗ ██╗███████╗██████╗ 
  ██╔════╝████╗ ████║██╔══██╗██╔═══██╗██╔══██╗██║██╔════╝██╔══██╗
  █████╗  ██╔████╔██║██████╔╝██║   ██║██║  ██║██║█████╗  ██║  ██║
  ██╔══╝  ██║╚██╔╝██║██╔══██╗██║   ██║██║  ██║██║██╔══╝  ██║  ██║
  ███████╗██║ ╚═╝ ██║██████╔╝╚██████╔╝██████╔╝██║███████╗██████╔╝
  ╚══════╝╚═╝     ╚═╝╚═════╝  ╚═════╝ ╚═════╝ ╚═╝╚══════╝╚═════╝ 
  

Mr.Robota : Zero to Hero in Embodied AI

✨ 学习地图 (Learning Map)

🚀 快速开始 (Quick Start) :一分钟体验 Hello Every-Embodied

想要立刻在本地跑通第一个具身智能仿真 Demo?只需三步:

bash# 1. 克隆仓库
git clone --depth 1 https://github.com/datawhalechina/every-embodied.git
cd every-embodied

# 2. 创建并激活 Conda 环境
conda create -n embodied python=3.8
conda activate embodied

# 3. 安装依赖并运行基础机械臂抓取 Demo
pip install mujoco
# 可选:更平滑的 jerk 限制轨迹规划
pip install ruckig
python examples/01_hello_every_embodied_mujoco.py

详细说明请见:examples/README.md


G0.5 机器人弹琴播放预览
G0.5 × 机器人弹琴
《我爱你,中国》双手多指演奏
带声音完整视频
MicroDuck 篮球平衡播放预览
MicroDuck 篮球平衡
机器人在篮球上保持平衡
完整视频
AgiBot World Model 改进方法评估结果
AgiBot World Model 比赛评估
改进方法预测结果,点击查看基线对比与复现教程

项目快速入门
基于mujoco一键了解项目基础

Genie Sim的Pi0部署
基于Pi0和Isaac Sim实现高保真仿真

LeRobot 遥操作
支持地瓜 RDK-X5 连接 SO101 机械臂实操

视觉语义感知
场景分割与目标检测,让机器人“看懂”环境

LLM控制无人机导航VLN
通过WebUI快速上手无人机大模型VLN导航

基于SmolVLA微调LIBERO基准
小型VLA测试机器人终身学习基准

春晚机器人复刻
输入豆包生成功夫视频,输出机器人mujoco仿真

ETPNav-VLN导航复现
连续环境视觉语言导航 (VLN-CE) 领域强力 Baseline

LingBot-Map 视频建图
从连续校园视频流式估计轨迹、深度与点云

UniLab + MotrixSim 异构 RL
6GB 显卡跑通 state-based RL,并体验 uv run --no-sync demo teaser 的 PBR 渲染器

SIM1 柔体仿真与数据生成
双臂布料任务的 replay、渲染与扩散轨迹生成流程

ForgeCAD 3D 打印机、键盘与灵巧手
复刻 public kit 的 3D 打印机、视频键盘和可动灵巧手案例,跑通参数渲染 GIF 与 STEP/STL/3MF 导出

⭐ 欢迎点点 Star 共同构建具身智能开源生态 ❤️

具身智能(Embodied AI)是通往通用人工智能(AGI)的关键钥匙。

Every-Embodied 致力于打造一个“基础友好、工程可复现、前沿可拓展”的学习库。 我们希望降低门槛:即使你目前只有 Python 基础,也可以从仿真和最小可运行 Demo 出发,逐步完成从“看懂”到“动手复现”的跨越。

  • 入门友好:优先提供可运行示例与环境脚本,不要求你一开始就掌握复杂机器人学推导
  • 实践导向:强调“跑起来-看结果-再理解原理”的学习路径,减少抽象概念带来的挫败感
  • 前沿连接:从 MuJoCo / Isaac Sim 到 VLA / VLN,让学习路径与产业热点保持同步

👥 项目受众

这个项目不仅面向机器人专业背景同学,也欢迎更多跨领域学习者加入:

  • Python 初学者 / 转型开发者:有基础编程能力,希望系统进入 AI+机器人、具身智能方向
  • 高校学生 / 研究生:希望通过课程项目、毕业设计或论文复现快速建立具身智能实践能力
  • 算法工程师:希望把视觉、强化学习、大模型能力迁移到真实物理交互场景
  • 硬件与机器人爱好者:希望理解从硬件控制、仿真验证到 Sim2Real 部署的完整链路
  • 教育工作者与社区组织者:希望基于开源教程组织课程、读书会、训练营和项目共创

本教程分为三个阶段,带你逐层深入具身智能的世界:

阶段 核心技能 产出
第一阶段 机器人学基础、硬件选型、ROS 入门 搭建自己的第一台仿真机器人 / 配置仿真环境
第二阶段 计算机视觉、运动规划、强化学习 完成“识别-规划-抓取”闭环任务
第三阶段 模仿学习、大模型(VLA/VLN)、Sim2Real 复现大模型导航VLN、OpenVLA、SmolVLA 等前沿项目,实现仿真或真实部署

AMD ROCm 仿真长程案例

DexJoCo 双臂河内塔 RoboCasa365 长程装餐任务
DexJoCo 双臂河内塔视频封面 RoboCasa365 长程装餐视频封面
Pi0.5 双臂协同,三视角,47.6 秒 GR00T N1.5 家庭长时序操作,四视角,195 秒

点击封面观看完整视频。

两段完整回合均在 AMD Ryzen AI MAX+ 395 上完成闭环推理和视频录制。查看 AMD Physical AI 仿真基准与长程视频复现教程,继续学习 Every Embodied、RoboCasa365、DexJoCo、DISCOVERSE、RoboWits 和 Unitree G1 的任务协议、评估结果与多视角导出流程。

📽️视频教程

G0.5 × 机器人弹琴:《我爱你,中国》音乐室成片 · 钢琴移位续弹视频 · 开源复现教程

Habitat导航基础复现: https://www.datawhale.cn/learn/content/258/6154

GenieSim一键启动教程:https://www.datawhale.cn/learn/content/258/6172

Joycon服务器本地异步遥控机械臂教程:https://www.datawhale.cn/learn/content/258/5728

Mujoco仿真UR机械臂抓取实验:https://www.bilibili.com/video/BV1WhxeznE61/

春晚武术机器人复刻视频教程:http://xhslink.com/o/1lB9dX0Vt2t

ACT机械臂抓取水杯算法训练 https://www.bilibili.com/video/BV1YFAbzoECf

Mujoco机械臂数据采集 https://www.bilibili.com/video/BV1DNAbzpE6Z

算力自由平台复刻ETPNav连续环境导航算法视频教程 http://xhslink.com/o/8t08X6dROt5

具身导航入门到实践!仅需“半天”即可走通从感知决策再到规划控制的所有的算法:从入门具身导航到深入研究一站式

🗺️ 学习地图

一、基础入门 - 走进机器人的世界

章节 关键内容 状态
1. 具身智能概述 定义背景、发展历程、未来趋势 ✅
2. 机器人学基础 运动学(DH参数)、动力学、坐标变换 ✅
3. 硬件与电子 地瓜开发板实战、LeRobot遥操作、传感器选型、执行器原理、阿加犀开发板实战 ✅
4. 软件基础设施 ROS/ROS2 通信机制、Build123d / Text-to-CAD / ForgeCAD / Shape Your Body 机器人设计、FlashLib 高速机器学习库、其他辅助工具、AutoCAD/SolidWorks 基础 🚧

二、核心技术 - 给机器人装上大脑

章节 关键内容 状态
5. 计算机视觉 (CV) 目标检测 (YOLO)、视觉语言定位 (Locate Anything)、图像分割 (SAM)、视频流式三维重建 (LingBot-Map)、6D 位姿估计 ✅
6. 运动与控制 路径规划 (A*/RRT)、轨迹优化、PID 与 MPC 控制、模仿学习 (IL)、ACT复现、Booster K1 网页 MuJoCo 本机部署与 AMP 训练、Hand-Eye 标定、AnyGrasp 抓取算法、灵巧手操作 🚧
7. 强化学习 (RL) 多机器人PPO/SAC 算法详解、Robots That Know What to Ask 奖励对齐、UniLab + MotrixSim state-based RL 训练、Isaac Gym 并行训练实战 ✅
8. 仿真环境 Isaac Sim 高级渲染、MuJoCo 物理引擎下OMY/Nova5/Franka机械臂和ACT/Pi0/SmolVLA算法复现、Genie-Sim3教程、MotrixSim PBR teaser 渲染体验、HumanoidMimicGen 全身规划数据生成、PhysicsNeMo 物理 AI 求解器 ✅

三、具身大脑 - 前沿论文复现与真机部署

四、专题组队学习 - 面向活动组织与专题共学

专题 关键内容 状态
19. Datawhale 每月组队学习路径 具身智能零基础入门 v6、v5 旧版路径 ✅
16. 达摩院组队学习专题 专题导航、Task01 理论与趋势、Task02 技术透视、Task03 演示实操、Task04 总结分享 ✅

🛠️ 环境要求

在开始之前,请确保你的开发环境满足以下基础要求(不同子项目复现可能略有不同,请参考各自项目的readme,我们会通过conda或mamba环境实现):

  • Python: 3.8+
  • GPU: 推荐 NVIDIA RTX 3060+ (用于 Isaac Sim 渲染与 RL 训练)
  • OS: Ubuntu 20.04 / 22.04 (推荐)
  • Core Libs:
    • MuJoCo (物理引擎)
    • Isaac Sim (Nvidia 仿真平台,需要IsaacSim配置时我们会为大家提供预安装的一键启动镜像)