Embodied AI Starter Map | 具身智能入门.png)
Что это?
Китайскоязычная «стартовая карта» по воплощённому ИИ (Embodied AI), выстраивающая путь обучения от основ робототехники (координаты, кинематика, ROS 2) до VLA-политик, мировых моделей (World Models), RL на основе моделей и World Action Models (WAM), со ссылками на статьи, код, бенчмарки и практические руководства на каждом шаге.
Китайскоязычная «стартовая карта» по воплощённому ИИ (Embodied AI), выстраивающая путь обучения от основ робототехники (координаты, кинематика, ROS 2) до VLA-политик, мировых моделей (World Models), RL на основе моделей и World Action Models (WAM), со ссылками на статьи, код, бенчмарки и практические руководства на каждом шаге.Это запускаемая кодовая база или просто индекс для чтения?Это чисто документационный/индексный репозиторий из markdown-страниц и ссылок — автор говорит, что его можно использовать как индекс для чтения или проходить туториалы, начиная с MuJoCo, Isaac Sim или ROS 2 Humble, но реально запускаемый код живёт во внешних связанных проектах.
Это чисто документационный/индексный репозиторий из markdown-страниц и ссылок — автор говорит, что его можно использовать как индекс для чтения или проходить туториалы, начиная с MuJoCo, Isaac Sim или ROS 2 Humble, но реально запускаемый код живёт во внешних связанных проектах.С чего новичку начать?Начните с главной таблицы маршрутов и выберите трек по своей цели — Robotics, VLA, World Model, WAM или RL/MBRL; каждый ведёт на входную страницу вроде Robotics Basics или RL Basics; если сомневаетесь — начните с обзорной страницы Knowledge Graph.
Начните с главной таблицы маршрутов и выберите трек по своей цели — Robotics, VLA, World Model, WAM или RL/MBRL; каждый ведёт на входную страницу вроде Robotics Basics или RL Basics; если сомневаетесь — начните с обзорной страницы Knowledge Graph.Нужны ли установленные ROS 2 или симулятор, чтобы идти по этому пути?Главы по робототехнике исходят из базовой связки Ubuntu 22.04 с ROS 2 Humble, а практические туториалы используют MuJoCo+Gymnasium или Isaac Sim; руководство по установке ROS 2/OpenCV вынесено на внешний форум сообщества, а не включено сюда.
Главы по робототехнике исходят из базовой связки Ubuntu 22.04 с ROS 2 Humble, а практические туториалы используют MuJoCo+Gymnasium или Isaac Sim; руководство по установке ROS 2/OpenCV вынесено на внешний форум сообщества, а не включено сюда.Там есть сами реализации моделей или только ссылки?Только ссылки — код моделей и политик (OpenVLA, OpenPI, Diffusion Policy, LeRobot, V-JEPA 2, TD-MPC2, DreamerV3 и т.д.) и бенчмарки лежат в исходных репозиториях; для демо на реальном железе вроде манипулятора Piper или bimanual-vla точные команды зависят от README исходного проекта.
Только ссылки — код моделей и политик (OpenVLA, OpenPI, Diffusion Policy, LeRobot, V-JEPA 2, TD-MPC2, DreamerV3 и т.д.) и бенчмарки лежат в исходных репозиториях; для демо на реальном железе вроде манипулятора Piper или bimanual-vla точные команды зависят от README исходного проекта.Для кого это руководство?Для исследователей и учащихся, которые уже знают основы робототехники (или хотят их освоить) и хотят структурированный путь в VLA, World Models, MBRL и WAM — со статьями, кодом и бенчмарками, разложенными по каждому направлению.
Для исследователей и учащихся, которые уже знают основы робототехники (или хотят их освоить) и хотят структурированный путь в VLA, World Models, MBRL и WAM — со статьями, кодом и бенчмарками, разложенными по каждому направлению.В чём разница между World Model (WM) и World Action Model (WAM)?VLA учится напрямую отображать зрение и язык в действия; WM предсказывает будущие состояния в зависимости от действий; WAM структурно подаёт это предсказание будущего обратно в генерацию действий, связывая представление будущего, супервизию при обучении и асинхронное выполнение.
VLA учится напрямую отображать зрение и язык в действия; WM предсказывает будущие состояния в зависимости от действий; WAM структурно подаёт это предсказание будущего обратно в генерацию действий, связывая представление будущего, супервизию при обучении и асинхронное выполнение.Мировая модель — это то же самое, что генерация видео?Нет — README прямо заявляет, что WM не равна генерации видео и что MBRL не требует WM на основе видео; считается ли нечто полноценной робототехнической World Model, зависит от обусловленности действиями, будущих целей и доказательств работы в замкнутом контуре, а не от генерации видео.
Нет — README прямо заявляет, что WM не равна генерации видео и что MBRL не требует WM на основе видео; считается ли нечто полноценной робототехнической World Model, зависит от обусловленности действиями, будущих целей и доказательств работы в замкнутом контуре, а не от генерации видео.Какие бенчмарки охватывает руководство?В нём обзорно разбираются LIBERO, CALVIN, ManiSkill, Meta-World, RoboDojo, RoboTwin, RoboCasa и DMControl с объяснением назначения каждого и границ корректного сравнения между ними.
В нём обзорно разбираются LIBERO, CALVIN, ManiSkill, Meta-World, RoboDojo, RoboTwin, RoboCasa и DMControl с объяснением назначения каждого и границ корректного сравнения между ними.Можно ли пройти путь от симуляции до реального робота-манипулятора?Да — есть отдельный трек sim-to-real, охватывающий калибровку «глаз-рука», ros2control и rosbag2 и ведущий к реальному манипулятору Piper под ROS 2 Humble, плюс референс bimanual-vla для развёртывания VLA на двух руках.
Да — есть отдельный трек sim-to-real, охватывающий калибровку «глаз-рука», ros2control и rosbag2 и ведущий к реальному манипулятору Piper под ROS 2 Humble, плюс референс bimanual-vla для развёртывания VLA на двух руках.What are similar projects?Zero-WAM, transferlearning, Embodied-AI-Guide, WholebodyVLA, awesome-rsi, Code-as-World, video-prediction-policy-2, FluxVLA
Zero-WAM, transferlearning, Embodied-AI-Guide, WholebodyVLA, awesome-rsi, Code-as-World, video-prediction-policy-2, FluxVLAWhich topics is it in?vision-language-models, ros, world-action-model, world-models, roadmap, paper, robotics, simulation, reinforcement-learning, academic-research, learning-resources, benchmark
vision-language-models, ros, world-action-model, world-models, roadmap, paper, robotics, simulation, reinforcement-learning, academic-research, learning-resources, benchmark