Embodied-AI-Start (ppsdk/Embodied-AI-Start)
Searching Database…
这是什么?
一个中文的“具身智能入门地图”,梳理了从机器人学基础(坐标系、运动学、ROS 2)到 VLA 策略、世界模型、基于模型的强化学习和世界动作模型(WAM)的学习路径,并在每一步链接论文、代码、基准测试和实践指南。
这是一个可运行的代码库,还是只是一个阅读索引?
它纯粹是一个由 markdown 页面和链接组成的文档/索引仓库——作者说你可以把它当作阅读索引,或从 MuJoCo、Isaac Sim 或 ROS 2 Humble 的教程开始跟进,但实际可运行的代码都在外部链接的项目里。
初学者应该从哪里入手?
从主路线表出发,根据目标选一条路线——Robotics、VLA、World Model、WAM 或 RL/MBRL——每条路线都链接到类似 Robotics Basics 或 RL Basics 的入口页;如果拿不定主意,就从知识图谱总览页开始。
跟着学需要先装好 ROS 2 或仿真器吗?
机器人学章节以 Ubuntu 22.04 加 ROS 2 Humble 为基准环境,动手教程使用 MuJoCo+Gymnasium 或 Isaac Sim;ROS 2/OpenCV 的安装指南被指向一个外部社区论坛,而不是包含在这里。
它包含实际的模型实现,还是只有参考资料?
只有参考资料——模型和策略代码(OpenVLA、OpenPI、Diffusion Policy、LeRobot、V-JEPA 2、TD-MPC2、DreamerV3 等)和基准测试都在各自的原始仓库里;至于 Piper 机械臂或 bimanual-vla 这类真实硬件演示,具体命令要以原项目自己的 README 为准。
这份指南是给谁看的?
适合已经掌握一些机器人学基础(或想补上基础)、希望有一条结构化路径进入 VLA、世界模型、MBRL 和 WAM 的研究者和学习者,每个方向都标好了对应的论文、代码和基准测试。
世界模型(WM)和世界动作模型(WAM)有什么区别?
VLA 直接从视觉和语言学习到动作;WM 在给定动作的条件下预测未来状态;WAM 则在结构上把这种未来预测回馈到动作生成中,把未来表征、训练时监督和异步执行绑在一起。
世界模型就等于视频生成吗?
不等于——README 明确指出 WM 不等于视频生成,MBRL 也不要求基于视频的 WM;一个东西算不算完整的机器人世界模型,取决于动作条件化、未来目标和闭环证据,而不是能否生成视频。
这份指南涵盖哪些基准测试?
它梳理了 LIBERO、CALVIN、ManiSkill、Meta-World、RoboDojo、RoboTwin、RoboCasa 和 DMControl,说明各自的适用场景以及彼此公平比较的边界。
有从仿真走到真实机械臂的路径可循吗?
有——有一条专门的仿真到实机(sim-to-real)路线,涵盖手眼标定、ros2control 和 rosbag2,最终在 ROS 2 Humble 下驱动真实的 Piper 机械臂,另外还有用于双臂 VLA 部署的 bimanual-vla 参考。
What are similar projects?
Zero-WAM, transferlearning, Embodied-AI-Guide, WholebodyVLA, awesome-rsi, Code-as-World, video-prediction-policy-2, FluxVLA
Which topics is it in?
vision-language-models, ros, world-action-model, world-models, roadmap, paper, robotics, simulation, reinforcement-learning, academic-research, learning-resources, benchmark
Embodied AI Starter Map | 具身智能入门