Что это?
Video Prediction Policy 2 (VPP2) — модель «мир-действие» (WAM) для роботизированной манипуляции: она предсказывает будущие видеокадры и превращает их в действия робота, демонстрируя сильную zero-shot генерализацию между задачами.
Video Prediction Policy 2 (VPP2) — модель «мир-действие» (WAM) для роботизированной манипуляции: она предсказывает будущие видеокадры и превращает их в действия робота, демонстрируя сильную zero-shot генерализацию между задачами.Это готовый контроллер робота или исследовательский код, который я обучаю сам?Это исследовательский код, построенный вокруг трёхэтапного конвейера обучения (предобучение на видео, дистилляция визуального планирования, обучение действий), а не контроллер, который работает сразу из коробки.
Это исследовательский код, построенный вокруг трёхэтапного конвейера обучения (предобучение на видео, дистилляция визуального планирования, обучение действий), а не контроллер, который работает сразу из коробки.Как его запустить?Установите CUDA и PyTorch по руководству по установке, затем поставьте зависимости репозитория из его корня; скрипты загружают VPP2 прямо из чекаута, поэтому сам пакет vpp2 отдельно устанавливать не нужно.
Установите CUDA и PyTorch по руководству по установке, затем поставьте зависимости репозитория из его корня; скрипты загружают VPP2 прямо из чекаута, поэтому сам пакет vpp2 отдельно устанавливать не нужно.Нужны ли предобученные чекпоинты, чтобы его протестировать?Да, парные чекпоинты Video и Action нужны вместе, плюс общие ассеты Wan2.1 VAE, CLIP, UMT5 и токенизатор; веса размещены на Hugging Face (публично) и ModelScope (нужен одобренный аккаунт).
Да, парные чекпоинты Video и Action нужны вместе, плюс общие ассеты Wan2.1 VAE, CLIP, UMT5 и токенизатор; веса размещены на Hugging Face (публично) и ModelScope (нужен одобренный аккаунт).Всё ли из статьи уже выпущено?Пока нет — чекпоинт предобученного на роботизированных видео backbone, а также код и конфиги крупномасштабного предобучения видео на уровне событий ещё не вышли.
Пока нет — чекпоинт предобученного на роботизированных видео backbone, а также код и конфиги крупномасштабного предобучения видео на уровне событий ещё не вышли.Какие бенчмарки он поддерживает из коробки?RoboDojo (совместное обучение видео и действий, экспорт чекпоинтов, обслуживание политик, closed-loop оценка) и LIBERO, включая варианты для генерализации LIBERO-OOD и LIBERO-PRO.
RoboDojo (совместное обучение видео и действий, экспорт чекпоинтов, обслуживание политик, closed-loop оценка) и LIBERO, включая варианты для генерализации LIBERO-OOD и LIBERO-PRO.Как VPP2 выступает на бенчмарках?Он занимает первое место в общем зачёте официального лидерборда RoboDojo-Sim, показывая лучшие результаты: Score 39.26 и долю успеха 32.26% по трекам agent и non-agent.
Он занимает первое место в общем зачёте официального лидерборда RoboDojo-Sim, показывая лучшие результаты: Score 39.26 и долю успеха 32.26% по трекам agent и non-agent.Что делает модуль действий mixture-of-transformers?Это модуль действий, добавленный после одношагового визуального планировщика: он обучает неявную модель обратной динамики и превращает предсказанные видеокадры в исполнимые действия робота.
Это модуль действий, добавленный после одношагового визуального планировщика: он обучает неявную модель обратной динамики и превращает предсказанные видеокадры в исполнимые действия робота.Какие чекпоинты моделей предоставляются?Отдельные чекпоинты Video и Action для RoboDojo (Video-10k, Video-100k, Action2B-100k) и LIBERO (Video-10k, Action-30k), плюс общие ассеты Wan2.1 VAE, CLIP, UMT5 и токенизатор — всё размещено на Hugging Face и ModelScope.
Отдельные чекпоинты Video и Action для RoboDojo (Video-10k, Video-100k, Action2B-100k) и LIBERO (Video-10k, Action-30k), плюс общие ассеты Wan2.1 VAE, CLIP, UMT5 и токенизатор — всё размещено на Hugging Face и ModelScope.Может ли VPP2 обобщать за пределами комплектных бенчмарков?Он рассчитан на сильную zero-shot генерализацию на открытые задачи манипуляции благодаря предобучению на большом разнообразном наборе видео манипуляций с подписями, хотя RoboDojo и LIBERO — пока единственные официально поддерживаемые бенчмарки для оценки.
Он рассчитан на сильную zero-shot генерализацию на открытые задачи манипуляции благодаря предобучению на большом разнообразном наборе видео манипуляций с подписями, хотя RoboDojo и LIBERO — пока единственные официально поддерживаемые бенчмарки для оценки.What are similar projects?flex-pi, EasyWAM, OpenWAM, Zero-WAM, SolarWM, pointdit, RoboICL, VisionHOPE
flex-pi, EasyWAM, OpenWAM, Zero-WAM, SolarWM, pointdit, RoboICL, VisionHOPEWhich topics is it in?world-action-model, model-training, world-models, embodied-ai, arxiv, mixture-of-experts, pretrained-models, paper, robotics, video-generation, academic-research, nvidia
world-action-model, model-training, world-models, embodied-ai, arxiv, mixture-of-experts, pretrained-models, paper, robotics, video-generation, academic-research, nvidia