logo Mr.Robota 具身智能学习手册 EN
第九章:具身智能数据及评估基准benchmark

具身智能数据与评估项目索引

本页收录能够补充本专题的数据、任务和评估工具。选择项目时,应先核对机器人本体、动作空间、任务协议、数据许可和可下载资源,再决定是否与当前实验组合。

RoboBenchMart

  • 项目地址:emb-ai/RoboBenchMart
  • 适合用途:检索机器人操作基准、任务定义、数据集和相关资源。
  • 使用建议:将它作为基准导航入口,不直接把不同项目公布的成功率横向比较。不同项目的机器人、初始状态、最大步数和成功判定可能不同。

Open X-Embodiment

  • 项目地址:Open X-Embodiment
  • 适合用途:理解跨机器人数据如何统一观测、动作和任务描述。
  • 使用建议:重点检查本体映射、动作维度、归一化统计和数据许可。

LeRobot Dataset

  • 项目地址:Hugging Face LeRobot
  • 适合用途:以统一目录组织回合、图像、状态、动作和任务文本,并接入训练与可视化工具。
  • 使用建议:转换已有数据时,逐项核对帧率、时间戳、特征形状和回合边界。

选择基准的检查表

  1. 任务是否覆盖项目真正关心的泛化维度。
  2. 是否提供固定初始状态、评估脚本和成功判定。
  3. 是否有与目标机器人兼容的数据和策略输入输出。
  4. 计算资源、仿真资产和模型权重是否可获得。
  5. 许可证是否允许课程、研究或商业场景使用。

确定基准后,在实验记录中写明任务子集、回合数、最大步数和聚合方式,确保不同模型在同一协议下比较。