Что это?
RoboICL — исследовательский фреймворк, который позволяет замороженной универсальной vision-language модели (GPT-6 Astra) управлять роботом в симуляции чисто через in-context learning, без обучения отдельной политики для робота.
RoboICL — исследовательский фреймворк, который позволяет замороженной универсальной vision-language модели (GPT-6 Astra) управлять роботом в симуляции чисто через in-context learning, без обучения отдельной политики для робота.Это обученная политика для робота или что-то другое?Здесь не обучаются никакие веса моделей: это раннер, который упаковывает демонстрационные траектории и прошлые действия самой модели как контекст промпта, а затем разбирает предсказания VLM в действия робота.
Здесь не обучаются никакие веса моделей: это раннер, который упаковывает демонстрационные траектории и прошлые действия самой модели как контекст промпта, а затем разбирает предсказания VLM в действия робота.Как это запустить?Склонируйте репозиторий, направьте два отдельных окружения Python на ваш симулятор на базе Isaac Sim и на процесс мультимодальной политики, установите зависимости RoboICL в каждое из них, затем запустите скрипты данных, чтобы скачать дерево ассетов RoboDojo и любые one-shot справочные бандлы, прежде чем запускать прогон.
Склонируйте репозиторий, направьте два отдельных окружения Python на ваш симулятор на базе Isaac Sim и на процесс мультимодальной политики, установите зависимости RoboICL в каждое из них, затем запустите скрипты данных, чтобы скачать дерево ассетов RoboDojo и любые one-shot справочные бандлы, прежде чем запускать прогон.Что нужно установить, прежде чем пробовать?Git с Git LFS, окружение симулятора, совместимое с Isaac Sim 5.1, и доступ к API модели GPT-6 Astra — в дополнение к двум отдельным окружениям Python для симулятора и политики.
Git с Git LFS, окружение симулятора, совместимое с Isaac Sim 5.1, и доступ к API модели GPT-6 Astra — в дополнение к двум отдельным окружениям Python для симулятора и политики.Настройка тяжёлая или можно просто pip install и поехали?Настройка намеренно тяжёлая: точные зафиксированные коммиты RoboDojo, XPolicyLab, IsaacLab и cuRobo записываются и проверяются перед запуском, а бандлы ассетов и справочных материалов проверяются по SHA256, а не генерируются на лету.
Настройка намеренно тяжёлая: точные зафиксированные коммиты RoboDojo, XPolicyLab, IsaacLab и cuRobo записываются и проверяются перед запуском, а бандлы ассетов и справочных материалов проверяются по SHA256, а не генерируются на лету.На какой платформе это работает?Только Linux, построено вокруг симуляторного стека NVIDIA/CUDA; о поддержке macOS или Windows не упоминается.
Только Linux, построено вокруг симуляторного стека NVIDIA/CUDA; о поддержке macOS или Windows не упоминается.Что здесь такое GPT-6 Astra?Это замороженная мультимодальная vision-language модель, к которой RoboICL обращается как к few-shot ученику для робота — сам репозиторий не содержит весов модели, только раннер, формирующий для неё промпты.
Это замороженная мультимодальная vision-language модель, к которой RoboICL обращается как к few-shot ученику для робота — сам репозиторий не содержит весов модели, только раннер, формирующий для неё промпты.В чём разница между демонстрационным контекстом и памятью взаимодействий?Демонстрационный контекст даёт записанные траектории робота как few-shot примеры, а память взаимодействий хранит собственные действия модели, обратную связь от контроллера и наблюдения текущего прогона для самокоррекции.
Демонстрационный контекст даёт записанные траектории робота как few-shot примеры, а память взаимодействий хранит собственные действия модели, обратную связь от контроллера и наблюдения текущего прогона для самокоррекции.На каких задачах он оценивается?Бенчмарк из статьи охватывает 8 задач «Open», проверяемых zero-shot, и 22 задачи не из «Open», каждой из которых даётся одна демонстрация; в поддержку выпущено более 800 интерактивных оценочных прогонов вместе с кодом.
Бенчмарк из статьи охватывает 8 задач «Open», проверяемых zero-shot, и 22 задачи не из «Open», каждой из которых даётся одна демонстрация; в поддержку выпущено более 800 интерактивных оценочных прогонов вместе с кодом.Что робот на самом деле видит и делает?На каждом шаге модель видит триптих изображений с камер левого запястья, головы и правого запястья плюс проприоцепцию, а затем предсказывает ограниченную последовательность декартовых действий двумя руками, выполняемую в замкнутом цикле в симуляторе RoboDojo.
На каждом шаге модель видит триптих изображений с камер левого запястья, головы и правого запястья плюс проприоцепцию, а затем предсказывает ограниченную последовательность декартовых действий двумя руками, выполняемую в замкнутом цикле в симуляторе RoboDojo.What are similar projects?Zero-WAM, ZDTaichu5.0-9B, flex-pi, FluxVLA, StreamPI, Zetta-Embodiment, LoongForge, dreamforge
Zero-WAM, ZDTaichu5.0-9B, flex-pi, FluxVLA, StreamPI, Zetta-Embodiment, LoongForge, dreamforgeWhich topics is it in?in-context-learning, vision-language-action-model, vision-language, vla, robot, embodied-ai, vlm, arxiv, paper, robotics, simulation, gpt
in-context-learning, vision-language-action-model, vision-language, vla, robot, embodied-ai, vlm, arxiv, paper, robotics, simulation, gpt