Embodied-AI-Guide README

The project's README from github.com/TianxingChen/Embodied-AI-Guide. As one markdown file: README.md.

具身智能技术指南 Embodied-AI-Guide

📚 国内最热门的具身智能技术指南,一个偏「百科全书」定位的具身智能中文知识库与资料索引。欢迎 Star / 分享 / 提 PR,欢迎邮件联系 [email protected] 或 项目发起人 微信 TianxingChen_2002(请备注机构+姓名与来意)。

📢 News|项目进展

📷 2026-01-15: Embodied-AI-Guide重组织完成
⭐️ 2025-12-18: GitHub Stars 突破 10,000
❤️ 2025-03-15: Embodied-AI-Guide正式开源

GitHub repo stars Visitors

⭐️ Lumina Call (具身智能照片): Website
⭐️ Datawhale Easy-Embodied: Repo

🦉 Lumina具身智能社区: 点击访问

扫描右下图加入Lumina具身智能社区:

Task Descriptions

🐣 (1) Start From Here - 从这里开始

具身智能是指一种基于物理实体进行感知和行动的智能系统, 其通过智能体与环境的交互获取信息、理解问题、做出决策并实现行动, 从而产生智能行为和适应性。

(1.1) How - 如何使用这份指南

我们希望的是帮助新人快速建立领域认知, 所以设计理念是:简要以一个实践项目带大家动手学习具身智能,同时以百科全书形式介绍目前具身智能涉及到的主要技术, 让大家知道不同的技术能够解决什么问题, 未来想要深入发展的时候能够有头绪。

(1.2) About us - 关于我们

我们是一个由具身初学者组成的团队, 希望能够通过我们自己的学习经验, 为后来者提供一些帮助, 加快具身智能的普及。欢迎更多朋友加入我们的项目, 也很欢迎交友、学术合作, 有任何问题, 可以联系邮箱[email protected]。

⚒️ (2) 动手学习具身智能操作

建议一周内完成学习,使用RoboTwin 2.0平台走通一个操作策略“生命周期”的全流程
完成此教程需要至少16GB显存的显卡

(2.1) 为什么这样选择这个教程

具身智能操作是一个很复杂的问题:数据从哪来、策略怎么设计(架构与训练细节)、怎么评测模型性能(平台与任务设计)。

数据从哪来:具身智能的数据有很多种源头,比如真机数据采集、人类视频数据、仿真合成数据、世界模型合成数据等等,其中各有各的问题,比如真机数据采集成本高、人类视频数据信息含量低、仿真合成数据Sim2Real Gap与Scaleup难题、世界模型合成数据存在幻觉等。

策略怎么设计:不同的网络架构选择影响模型的表现、收敛效果、推理速度等。

怎么评测模型性能:评测是非常重要的,否则我们不知道科学评价模型效果如何,也没办法推动技术发展。

面对以上问题,RoboTwin 2.0平台为广大科研学者提供了非常好的学习平台,RoboTwin 2.0基于易配置的SAPIEN仿真平台开发,提供了50个双臂自动化数据合成、主流操作策略训测集成、评测系统,能够辅助大家快速走起来具身智能操作策略的生命周期。过程中也可以多看看数据与评测视频,了解数据分布与策略表现。

(2.2) 学习流程

RoboTwin 2.0:代码 | 主页 | 文档 | 论文

展开学习流程

(2.2.1) 了解RoboTwin 2.0做了什么 (~1天)

阅读RoboTwin 2.0论文paper,了解仿真数据合成的方案,深入理解对于合成一条机器人数据需要什么信息,机器人有什么可以做的任务,了解Aloha硬件。

(2.2.2) 配置RoboTwin 2.0平台,数据采集 (~0.5天)

环境安装教学: Tutorial,根据以下数据采集脚本采集beat_block_hammer任务50条:

bash collect_data.sh ${task_name} ${task_config} ${gpu_id}
## Clean Data Example: bash collect_data.sh beat_block_hammer demo_clean 0
## Radomized Data Example: bash collect_data.sh beat_block_hammer demo_randomized 0

(2.2.4) 策略训练(~1天)

选择ACT策略进行复现 Tutorial,ACT是非常经典的操作策略算法,训练此策略大约需要12GB显存,

(2.2.5) 测试策略(~1天)

在demo_clean下评测ACT成功率大约是56%(详见Leaderboard)。

📄 (3) Useful Info - 有利于搭建认知的资料

这一章主要用于快速建立对具身智能领域的整体认知,适合在系统学习算法、工程或硬件之前,用来了解技术版图、社区生态与研究脉络。


方向性与方法论资料

社区 / 社交媒体(长期跟进价值高)

实验室与学术生态参考

高质量会议与期刊(论文检索时重点关注)
Science Robotics, TRO, IJRR, JFR, RSS, RAL, IROS, ICRA, ICCV, ECCV, ICML, CVPR, NeurIPS, CoRL, ICLR, AAAI, ACL

长期跟进研究进展与选题调研

年度趋势总结

🍎 (4) Algorithm - 算法篇

这一篇把具身智能中最常用的“算法能力栈”从下往上串了起来:底层是工程工具与几何/标定/控制这类决定系统能否稳定运行的基础;中层是视觉与多模态表征(2D/3D/4D、prompting、affordance),它们把复杂世界压缩成可泛化、可对齐、可被策略利用的中间表示;上层则是学习与决策(RL/IL、VLA、LLM+Planner、快慢系统),把感知与任务目标转成可执行动作,并逐步走向更长程、更通用、更可部署的系统形态。

🏋️‍♂️ (5) Infrastruture - 软件基础设施篇

这一章关注的不是“具体某个模型”,而是支撑具身智能研究与系统落地的软件基础设施(Infrastructure)。仿真器决定你能构建怎样的世界,基准集决定你如何比较方法优劣,数据集决定模型最终学到什么样的行为分布。它们共同构成了具身智能中最容易被忽视、但最影响上限与复现性的部分。

🎮 (6) Control - 控制篇

这一章并不是为了让你“立刻跑一个模型”,而是为具身智能系统提供稳定性、可解释性与工程底座。控制论保证系统在高频下不崩溃,机器人学提供几何与动力学约束,SLAM 与状态估计让机器人“知道自己在哪里”,ROS 与工程库则把理论变成可复现的系统。

🦾 (7) Hardware - 硬件篇

具身智能硬件涵盖多个技术栈:嵌入式软硬件、机械设计、机器人系统集成与传感器等。它们知识面很杂,但共同目标只有一个:把“算法”变成真实世界里稳定可复现的系统。关于硬件学习,最有效的方式几乎永远是 从实践出发:先做出一个能跑起来的最小系统,再逐步扩展复杂度与可靠性。

👍 Citation - 引用

If you find this repository helpful, please consider citing:

@misc{embodiedaiguide2025,
  title = {Embodied-AI-Guide},
  author = {Embodied-AI-Guide-Contributors, Lumina-Embodied-AI-Community, Tianxing Chen},
  month = {January},
  year = {2025},
  url = {https://github.com/tianxingchen/Embodied-AI-Guide},
}

🏷️ License - 许可协议

本项目为 非商业使用(Non-Commercial Use) 协议:

详情请查看仓库中的 LICENSE 文件。

如需商业授权(例如在公司产品或商业项目中使用),请联系项目负责人:[email protected]。

⭐️ Star History - Star历史

Star History Chart

🤝 Sponsors - 支持机构

感谢 无界智航、超维动力、香港大学MMLab、地瓜机器人、松灵机器人 对本项目的支持

Embodied-AI-Guide (TianxingChen/Embodied-AI-Guide)

Searching Database…

这是什么东西?这是一个免费、百科式的具身智能中文知识库和资源索引——具身智能指能在物理世界中感知并行动的机器人——由 Lumina 具身智能社区维护。它是中国最受欢迎的具身智能指南之一,在 GitHub 上有超过 16000 颗星。
这是要安装的应用,还是阅读的内容?是用来阅读的。不需要运行任何软件:它是一个 GitHub 仓库,由结构化的 markdown 章节以及精心整理的课程、论文、仿真器、基准测试、数据集和实验室链接组成;唯一需要动手的部分依赖 RoboTwin 2.0 仿真器等外部工具。
我应该怎么使用这份指南?从 'Start From Here' 部分开始:核心路线是一个动手项目——在 RoboTwin 2.0 仿真平台上花大约一周时间——同时配合百科式的章节,在深入学习的各个阶段当作参考资料来查阅。
我不懂中文,还能用这份指南吗?基本不行——指南本身就是用中文写的,是一个明确定位的中文知识库。不过它链接的很多资源是英文的,比如斯坦福的机器人课程和研究论文。
这是面向机器人研究人员的,还是新手也能看懂?它面向新手——维护者自己也是具身智能的初学者,希望能帮助大家快速建立对这个领域的整体认知。不过动手那一周默认你能够搭建仿真环境并训练模型。
跟着教程做,我需要真实的机器人或特殊硬件吗?不需要真实机器人——教程完全在 RoboTwin 2.0 仿真器里进行。但要完整走一遍流程,你需要一块显存至少 16GB 的 GPU;仅 ACT 策略训练这一步大约需要 12GB 显存。
RoboTwin 2.0 是什么?为期一周的教程会让你做什么?RoboTwin 2.0 是一个机器人操作仿真平台,围绕 ALOHA 风格的硬件构建。在教程中,你要完成它的配置,采集 50 条 beatblockhammer 任务的演示数据,训练经典的 ACT 模仿学习策略(大约一天,约 12GB 显存),然后进行评估——复现的 ACT 在 democlean 基准上的成功率约为 56%。
除了教程之外,参考章节还涵盖哪些内容?算法(视觉基础模型、机器人学习、VLA 模型、大语言模型+机器人、导航)、基础设施(仿真器、基准测试、数据集)、控制(控制理论、运动学、SLAM、ROS)和硬件(嵌入式系统、机械设计、深度与触觉传感器、数据采集设备),此外还有一个实用信息板块,收录课程、实验室、会议和论文列表。
这份指南还在更新吗?在更新——它于 2025 年 3 月开源,2025 年 12 月 GitHub 星标突破 10000,并在 2026 年 1 月完成了对指南的全面重组。
作者为什么要做这份指南?他们是一群具身智能初学者,希望分享自己的学习经验,帮助新手快速建立领域认知,加快这个领域的普及。他们欢迎通过 PR 和 Lumina 社区参与贡献。
Size
29 MB
Stars
16.5K
Age
2y
Commits · 90 Days