Что это такое?
verl — это гибкая, эффективная и готовая к продакшену библиотека для обучения с подкреплением (RL) больших языковых моделей. Её начала команда Seed из ByteDance, а развивает сообщество. Это открытая реализация статьи HybridFlow (EuroSys 2025).
verl — это гибкая, эффективная и готовая к продакшену библиотека для обучения с подкреплением (RL) больших языковых моделей. Её начала команда Seed из ByteDance, а развивает сообщество. Это открытая реализация статьи HybridFlow (EuroSys 2025).Это Python-библиотека, под которую я пишу скрипты, или облачный сервис?Это Python-фреймворк, который вы запускаете на собственных GPU-кластерах: гибридно-контроллерная модель программирования позволяет описать RL-процессы вроде GRPO или PPO парой строк кода, а выполнение берут на себя тренеры на базе Ray.
Это Python-фреймворк, который вы запускаете на собственных GPU-кластерах: гибридно-контроллерная модель программирования позволяет описать RL-процессы вроде GRPO или PPO парой строк кода, а выполнение берут на себя тренеры на базе Ray.С чего начать, чтобы запустить первое обучение?Следуйте разделу Getting Started в README, затем подтяните сабмодуль с рецептами командой git submodule update --init --recursive recipe — там лежат готовые примеры. recipe/README.md служит их оглавлением, а документация описывает PPO-тренер, воркеров и продвинутые способы расширения.
Следуйте разделу Getting Started в README, затем подтяните сабмодуль с рецептами командой git submodule update --init --recursive recipe — там лежат готовые примеры. recipe/README.md служит их оглавлением, а документация описывает PPO-тренер, воркеров и продвинутые способы расширения.С какими движками для обучения и инференса он работает?Для обучения поддерживаются FSDP, FSDP2 и Megatron-LM; для генерации роллаутов используются vLLM, SGLang или HF Transformers. Работает с моделями из Hugging Face и ModelScope, например Qwen3.5, Qwen3, Llama3.1, Gemma2 и DeepSeek-LLM.
Для обучения поддерживаются FSDP, FSDP2 и Megatron-LM; для генерации роллаутов используются vLLM, SGLang или HF Transformers. Работает с моделями из Hugging Face и ModelScope, например Qwen3.5, Qwen3, Llama3.1, Gemma2 и DeepSeek-LLM.Есть ли подводные камни с версиями, о которых стоит знать до установки?Избегайте vLLM 0.7.x: там есть баги, которые приводят к нехватке памяти (OOM) и неожиданным ошибкам — с бэкендом FSDP берите vLLM 0.8.2 или новее. Команда также советует переходить на FSDP2 через флаги стратегии в verl на ветке main.
Избегайте vLLM 0.7.x: там есть баги, которые приводят к нехватке памяти (OOM) и неожиданным ошибкам — с бэкендом FSDP берите vLLM 0.8.2 или новее. Команда также советует переходить на FSDP2 через флаги стратегии в verl на ветке main.Нужен ли какой-то конкретный производитель GPU или огромный кластер?Поддерживается железо NVIDIA, AMD и Ascend, а с экспертным параллелизмом всё масштабируется до моделей на 671 млрд параметров на сотнях GPU. Multi-GPU LoRA RL помогает экономить память на скромных конфигурациях.
Поддерживается железо NVIDIA, AMD и Ascend, а с экспертным параллелизмом всё масштабируется до моделей на 671 млрд параметров на сотнях GPU. Multi-GPU LoRA RL помогает экономить память на скромных конфигурациях.Что за 3D-HybridEngine, о котором упоминается в README?Это движок verl для эффективного перераспределения (решардинга) модели-актора: он убирает лишнее дублирование в памяти и заметно снижает накладные расходы на коммуникацию при переходах между фазами обучения и генерации в RL.
Это движок verl для эффективного перераспределения (решардинга) модели-актора: он убирает лишнее дублирование в памяти и заметно снижает накладные расходы на коммуникацию при переходах между фазами обучения и генерации в RL.С какими трекерами экспериментов он умеет работать?Из коробки интегрируются wandb, swanlab, mlflow и tensorboard для отслеживания экспериментов, а проект RL-Insight добавляет онлайн-наблюдаемость для RL-запусков обучения.
Из коробки интегрируются wandb, swanlab, mlflow и tensorboard для отслеживания экспериментов, а проект RL-Insight добавляет онлайн-наблюдаемость для RL-запусков обучения.А какие-нибудь известные модели реально обучали с его помощью?Да — DAPO, обученная на verl, набрала 50 баллов на AIME 2024 от базы Qwen2.5-32B, Seed-Thinking-v1.5 от ByteDance достигла 86.7 на AIME 2024, а превью-модель Doubao-1.5-pro с RL показала 70.0 pass@1 на AIME.
Да — DAPO, обученная на verl, набрала 50 баллов на AIME 2024 от базы Qwen2.5-32B, Seed-Thinking-v1.5 от ByteDance достигла 86.7 на AIME 2024, а превью-модель Doubao-1.5-pro с RL показала 70.0 pass@1 на AIME.Есть ли проекты-ответвления, построенные на базе verl?Несколько: verl-vla для пост-обучения роботизированных VLA-моделей, VeRL-Tinker для SFT/RL/дистилляции на собственных GPU-воркерах под управлением verl, VeRL-Omni для омни-модального пост-обучения, verl-SpeCo для спекулятивного декодирования и фреймворк uni-agent.
Несколько: verl-vla для пост-обучения роботизированных VLA-моделей, VeRL-Tinker для SFT/RL/дистилляции на собственных GPU-воркерах под управлением verl, VeRL-Omni для омни-модального пост-обучения, verl-SpeCo для спекулятивного декодирования и фреймворк uni-agent.Which topics is it in?grpo, rlhf, vlm, distributed-training, diffusion, tool-calling, amd, moe, lora, transformers, vllm, reinforcement-learning
grpo, rlhf, vlm, distributed-training, diffusion, tool-calling, amd, moe, lora, transformers, vllm, reinforcement-learning