Motus2 README

The project's README from github.com/shengshu-ai/Motus2. As one markdown file: README.md.

Motus2: A Self-Evolving General World Model for Dexterous Manipulation

Project Page arXiv Hugging Face

Overview

General embodied agents should perceive, predict, act, evaluate, and improve within a unified system. World models have shown great promise in building such agents, yet existing models typically append an action output head to a world simulator, without coupling them into a closed decision-and-learning loop for policy improvement. We present Motus2, a self-evolving general world model for dexterous manipulation. Motus2 advances world modeling through model scaling and data scaling. For model scaling, a single model with shared weights exposes three control interfaces: a policy (world–action model), a simulator (action-conditioned world model), and an evaluator (value model). The policy proposes candidate action chunks, the simulator predicts their visual consequences, and the evaluator assesses the predicted outcomes. Their coupling forms a closed decision-and-learning loop for policy improvement. This formulation uses curated expert demonstrations for action learning, while failed and suboptimal interactions provide valuable evidence for dynamics modeling and value learning. For data scaling, Motus2 progresses from large-scale monocular egocentric data to synchronized stereo egocentric data, followed by robot-domain adaptation with robot trajectories and supplementary human–robot alignment data. Motus2 further studies global-autoregressive and hybrid-memory extensions of its sliding-window context, adds tactile feedback for contact-aware control, and is instantiated on a fully biomimetic platform with stereo vision, dual arms, dual dexterous hands, and tactile sensing. Together, egocentric data scaling and closed-loop general world model scaling provide a general path toward self-evolving dexterous manipulation.

Motus2 overview

Updates

Open-Source Roadmap

Citation

If you find Motus2 useful in your research, please cite:

@misc{bi2026motus2,
  title         = {Motus2: A Self-Evolving General World Model for Dexterous Manipulation},
  author        = {Hongzhe Bi and Zihao Zhou and Yihang Tang and Jingrui Pang and
                   Shuhe Huang and Haitian Liu and Runqing Wang and Shuai Huang and
                   Yichen Wang and Yiming Cheng and Ruowen Zhao and Zhenghua Li and
                   Hengkai Tan and Xiaolong Liu and Jinhui Wan and Jiabao Liu and
                   Min Zhao and Fan Bao and Jun Zhu},
  year          = {2026},
  eprint        = {2608.30237},
  archivePrefix = {arXiv},
  primaryClass  = {cs.RO},
  url           = {https://arxiv.org/abs/2608.30237}
}

Motus2 (shengshu-ai/Motus2)

Searching Database…

685 ·GitHub
Что это такое?Motus2 — саморазвивающаяся общая модель мира для ловкого манипулирования роботом. Одна модель с общими весами выступает политикой, симулятором и оценщиком, связывая их в замкнутый цикл принятия решений и обучения, чтобы система могла воспринимать, предсказывать, действовать и улучшать себя.
Это готовая к использованию модель или скорее исследовательский фреймворк?Это исследовательская модель/кодовая база, а не готовый инструмент: одна модель открывает три интерфейса управления (политика, симулятор, оценщик), которые работают вместе, и рассчитана на масштабирование большими эгоцентричными и робототехническими данными, а не на использование из коробки.
Как его запустить?Пока никак — кода и чекпоинтов не опубликовано. Авторы планируют постепенно выпустить на протяжении сентября 2026 года чекпоинты предобучения и код обучения (предобучение на видео, обучение value/MBRL, инфраструктуру памяти, тактильный код).
В чём сейчас подвох?Всё в Open-Source Roadmap не отмечено — чекпоинты предобучения, код предобучения на видео, код обучения value, код MBRL, инфраструктура памяти и тактильный код всё ещё ждут выпуска.
Что на самом деле делают интерфейсы политики, симулятора и оценщика?Политика предлагает кандидатные блоки действий, симулятор предсказывает их визуальные последствия, а оценщик оценивает, насколько хороши эти предсказанные исходы, образуя замкнутый цикл принятия решений и обучения для улучшения политики.
Как Motus2 масштабирует свои обучающие данные?Он идёт от крупномасштабного монокулярного эгоцентричного видео к синхронизированным стерео эгоцентричным данным, затем адаптируется к траекториям роботов плюс дополнительным данным выравнивания человека и робота для переноса между доменами.
Почему он называется «саморазвивающимся»?Потому что неудачные и неоптимальные взаимодействия, а не только отобранные экспертные демонстрации, подаются обратно в обучение динамики и ценности, позволяя модели улучшать собственную политику через связанный цикл симулятор-оценщик, а не полагаясь только на размеченные вручную данные успехов.
На какое железо нацелен Motus2?Полностью бионическая робототехническая платформа со стереозрением, двумя руками, двумя ловкими кистями и тактильным восприятием, с добавленной тактильной обратной связью для управления с учётом контакта.
Size
<0.1 MB
Stars
685
Updated
CommitSep 11
Age
1mo
Commits · 90 Days