Что это?
OraRL — фреймворк обучения с подкреплением, который рассматривает аннотации как rollout'ы, чтобы эффективно обучать единые мультимодальные LLM для видео (MLLM) на семи семействах видеозадач.
OraRL — фреймворк обучения с подкреплением, который рассматривает аннотации как rollout'ы, чтобы эффективно обучать единые мультимодальные LLM для видео (MLLM) на семи семействах видеозадач.Это готовое приложение или исследовательский фреймворк для обучения?Это исследовательская кодовая база на основе veRL, включающая рецепт обучения, средства оценки и выпущенные чекпоинты Video-ORA, а не приложение «включил и работает».
Это исследовательская кодовая база на основе veRL, включающая рецепт обучения, средства оценки и выпущенные чекпоинты Video-ORA, а не приложение «включил и работает».Как запустить OraRL?Следуйте трём процессам: установите зафиксированный CUDA-стек для Environment, подготовьте лицензированные локальные обучающие данные и запустите GRPO или OraRL на одном или нескольких узлах, затем скачайте Video-ORA и OraRL-Data, чтобы выполнить оценку.
Следуйте трём процессам: установите зафиксированный CUDA-стек для Environment, подготовьте лицензированные локальные обучающие данные и запустите GRPO или OraRL на одном или нескольких узлах, затем скачайте Video-ORA и OraRL-Data, чтобы выполнить оценку.Что нужно, чтобы развернуть выпущенные модели?Нужны GPU с CUDA и vLLM 0.19.1, чтобы загрузить чекпоинты Video-ORA-4B/9B (на бэкбонах Qwen3.5) для инференса, совместимого с OpenAI, настроив tensor-parallel-size и max-model-len под своё железо.
Нужны GPU с CUDA и vLLM 0.19.1, чтобы загрузить чекпоинты Video-ORA-4B/9B (на бэкбонах Qwen3.5) для инференса, совместимого с OpenAI, настроив tensor-parallel-size и max-model-len под своё железо.Есть ли подводные камни перед началом обучения или оценки?Команды обучения и оценки по умолчанию выполняются в режиме dry run, поэтому нужно изучить итоговую команду и добавить --run для реального выполнения, а ещё сначала нужно лицензировать и подготовить собственные локальные обучающие данные.
Команды обучения и оценки по умолчанию выполняются в режиме dry run, поэтому нужно изучить итоговую команду и добавить --run для реального выполнения, а ещё сначала нужно лицензировать и подготовить собственные локальные обучающие данные.Что на самом деле делает подход annotation-as-rollout?Он добавляет одну сериализованную аннотацию как надёжный положительный rollout к сэмплам, сгенерированным политикой для того же промпта, сохраняя RL-базовую линию чисто on-policy, но всё же используя разрыв наград между аннотацией и политикой, чтобы направлять и отбирать обновления.
Он добавляет одну сериализованную аннотацию как надёжный положительный rollout к сэмплам, сгенерированным политикой для того же промпта, сохраняя RL-базовую линию чисто on-policy, но всё же используя разрыв наград между аннотацией и политикой, чтобы направлять и отбирать обновления.Какие видео-задачи может охватить одно обновление OraRL?Одно правило обновления покрывает семь семейств задач: temporal grounding, spatial grounding, сегментация, трекинг, пространственно-временной grounding, видео-QA и пространственный интеллект.
Одно правило обновления покрывает семь семейств задач: temporal grounding, spatial grounding, сегментация, трекинг, пространственно-временной grounding, видео-QA и пространственный интеллект.Насколько ускоряет эффективный режим обучения?Прореживание со знаковым балансом на модели 4B даёт ускорение обновлений в 1.48x (с 92.5 до 62.4 с/шаг) и снижает пиковую память на GPU с 62.4 GB до 50.9 GB.
Прореживание со знаковым балансом на модели 4B даёт ускорение обновлений в 1.48x (с 92.5 до 62.4 с/шаг) и снижает пиковую память на GPU с 62.4 GB до 50.9 GB.Какие размеры моделей доступны?Выпущены два чекпоинта Video-ORA — 4B и 9B, оба на бэкбонах Qwen3.5 и размещены на Hugging Face.
Выпущены два чекпоинта Video-ORA — 4B и 9B, оба на бэкбонах Qwen3.5 и размещены на Hugging Face.What are similar projects?ZDTaichu5.0-9B, Code-as-World, UniVR, Qwen3-VL, damo-radar, verl, jeeves, MiniGPT-4
ZDTaichu5.0-9B, Code-as-World, UniVR, Qwen3-VL, damo-radar, verl, jeeves, MiniGPT-4Which topics is it in?video-understanding, vision-language-model, paper, vllm, video-processing, reinforcement-learning, qwen, multimodal, academic-research, large-language-models, transformer, nvidia
video-understanding, vision-language-model, paper, vllm, video-processing, reinforcement-learning, qwen, multimodal, academic-research, large-language-models, transformer, nvidia