Embodied-AI-Start README

The project's README from github.com/ppsdk/Embodied-AI-Start. As one markdown file: README.md.

Embodied AI Starter Map | 具身智能入门

在线文档站:Github Pages

具身智能学习地图,面向想从机器人基础走到 VLA、World Model、RL/MBRL 和 WAM 的读者。

内容从坐标系、运动学、动力学、ROS 2、仿真和控制流程开始,逐步连接到视觉语言动作策略、动作生成、世界模型、模型辅助强化学习和世界动作模型。每条路线都配有论文、开源代码、benchmark 与实践入口,并把 observation、action、时间对齐、闭环评测和真机部署放在同一条链路里。

可以把它当作阅读索引,也可以按教程从 MuJoCo、Isaac Sim 或 ROS 2 Humble 开始动手。

具身智能学习框架图

先从你的目标开始

主路线 适合你如果… 起点
🤖 Robotics 想先搞懂坐标、控制和真机 机器人学基础
👁️ VLA 想研究视觉、语言和动作策略 VLA 专题
🌍 World Model 想做未来预测、生成或 WAM WM 专题
🔗 WAM 想研究未来世界与动作联合建模 WAM 专题
🎮 RL / MBRL 想做强化学习、规划和策略后训练 强化学习基础

更多目标 → MuJoCo · Isaac Sim · XPolicyLab · 真机实践 · Benchmark

按具体任务查入口

你想做什么 先看什么 后面接什么
先看懂全貌 知识图谱 学习路线
跑一个 RL 示例 强化学习基础 MuJoCo 教程
学机器人坐标、TF 和规划 机器人学基础 RViz 2、MoveIt 2、ros2_control
跑 GPU 并行仿真 Isaac Sim 教程 Isaac Lab、ManiSkill
从仿真走到真实机械臂 机器人学基础 手眼标定、ros2_control、rosbag2 和 Piper 实践
研究 VLA 或动作策略 VLA 专题 论文清单 和 OpenVLA/OpenPI
研究 World Model WM 专题 pixel、latent、对象中心、3D/4D 和闭环验证
研究 WAM WAM 专题 论文清单
做机器人策略后训练 RL / MBRL 专题 PPO、GRPO、SAPO、RLinf
适配 RoboDojo/XPolicyLab XPolicyLab 教程 debug 评测、策略服务和环境接入

如果你还没有明确方向,按这个顺序读即可:

flowchart LR
    K["知识图谱"] --> R["机器人学基础"]
    R --> M["模型基础"]
    M --> CHOOSE{"选择研究路线"}
    CHOOSE --> VLA["VLA"]
    CHOOSE --> WM["WM"]
    CHOOSE --> RL["RL"]
    CHOOSE --> WAM["WAM"]
    VLA --> REAL["真机学习"]
    WM --> REAL
    RL --> REAL
    WAM --> REAL

一张图看懂几条路线

flowchart LR
    O["观测与状态"] --> P["表征与预测"]
    P --> A["动作生成"]
    A --> C["控制执行"]
    C --> E["评测与恢复"]

    P --> VLM["VLM / VLA 表征"]
    P --> WM["WM:预测未来世界"]
    P --> DYN["动力学模型"]
    DYN --> MBRL["MBRL:用模型规划"]
    WM --> WAM["WAM:未来与动作联合"]
    VLM --> VLA["VLA:视觉语言到动作"]
    VLA --> A
    WAM --> A
    MBRL --> A
    E -->|"反馈"| O

文档地图

🧭 基础

🌍 研究方向

🧪 仿真与实践

ROS 2、OpenCV 和机器人依赖安装可参考鱼香 ROS 社区论坛。机器人章节统一以 Ubuntu 22.04 + ROS 2 Humble 为基线。

🤖 从仿真到真机

仓库结构

.
├── README.md
├── docs/
│   ├── knowledge-map.md
│   ├── robotics.md
│   ├── model-basics.md
│   ├── reinforcement-learning.md
│   ├── vla.md
│   ├── wam.md
│   ├── mbrl.md
│   ├── world-model-directions.md
│   ├── mujoco-tutorial.md
│   ├── isaac-sim-tutorial.md
│   ├── xpolicylab-tutorial.md
│   ├── papers.md
│   ├── codebases.md
│   ├── benchmarks.md
│   ├── roadmap.md
│   └── glossary.md
├── examples/hand_eye_calibration/
├── CONTRIBUTING.md
└── LICENSE

Embodied-AI-Start Star 趋势图

致谢

感谢所有公开论文、代码、数据集、仿真器和教程的作者与维护者。本仓库的学习路径和资源索引参考了以下项目:

本仓库链接的代码、论文、数据和许可证归原作者及维护者所有。链接只用于学习导航和交叉引用,不代表与相关项目存在官方合作或背书关系。使用代码或数据时,请以原项目的许可证、引用要求和当前文档为准。

Embodied-AI-Start (ppsdk/Embodied-AI-Start)

Searching Database…

这是什么?一个中文的“具身智能入门地图”,梳理了从机器人学基础(坐标系、运动学、ROS 2)到 VLA 策略、世界模型、基于模型的强化学习和世界动作模型(WAM)的学习路径,并在每一步链接论文、代码、基准测试和实践指南。
这是一个可运行的代码库,还是只是一个阅读索引?它纯粹是一个由 markdown 页面和链接组成的文档/索引仓库——作者说你可以把它当作阅读索引,或从 MuJoCo、Isaac Sim 或 ROS 2 Humble 的教程开始跟进,但实际可运行的代码都在外部链接的项目里。
初学者应该从哪里入手?从主路线表出发,根据目标选一条路线——Robotics、VLA、World Model、WAM 或 RL/MBRL——每条路线都链接到类似 Robotics Basics 或 RL Basics 的入口页;如果拿不定主意,就从知识图谱总览页开始。
跟着学需要先装好 ROS 2 或仿真器吗?机器人学章节以 Ubuntu 22.04 加 ROS 2 Humble 为基准环境,动手教程使用 MuJoCo+Gymnasium 或 Isaac Sim;ROS 2/OpenCV 的安装指南被指向一个外部社区论坛,而不是包含在这里。
它包含实际的模型实现,还是只有参考资料?只有参考资料——模型和策略代码(OpenVLA、OpenPI、Diffusion Policy、LeRobot、V-JEPA 2、TD-MPC2、DreamerV3 等)和基准测试都在各自的原始仓库里;至于 Piper 机械臂或 bimanual-vla 这类真实硬件演示,具体命令要以原项目自己的 README 为准。
这份指南是给谁看的?适合已经掌握一些机器人学基础(或想补上基础)、希望有一条结构化路径进入 VLA、世界模型、MBRL 和 WAM 的研究者和学习者,每个方向都标好了对应的论文、代码和基准测试。
世界模型(WM)和世界动作模型(WAM)有什么区别?VLA 直接从视觉和语言学习到动作;WM 在给定动作的条件下预测未来状态;WAM 则在结构上把这种未来预测回馈到动作生成中,把未来表征、训练时监督和异步执行绑在一起。
世界模型就等于视频生成吗?不等于——README 明确指出 WM 不等于视频生成,MBRL 也不要求基于视频的 WM;一个东西算不算完整的机器人世界模型,取决于动作条件化、未来目标和闭环证据,而不是能否生成视频。
这份指南涵盖哪些基准测试?它梳理了 LIBERO、CALVIN、ManiSkill、Meta-World、RoboDojo、RoboTwin、RoboCasa 和 DMControl,说明各自的适用场景以及彼此公平比较的边界。
有从仿真走到真实机械臂的路径可循吗?有——有一条专门的仿真到实机(sim-to-real)路线,涵盖手眼标定、ros2control 和 rosbag2,最终在 ROS 2 Humble 下驱动真实的 Piper 机械臂,另外还有用于双臂 VLA 部署的 bimanual-vla 参考。
Creator
ppsdk
Size
3.3 MB
Stars
199
Updated
CommitSep 17
Age
1mo
Commits · 90 Days