Что это такое?
TRL (Transformers Reinforcement Learning) — это библиотека от Hugging Face для пост-тренинга базовых моделей: дообучения с помощью таких техник, как SFT, GRPO и DPO, поверх стека Transformers.
TRL (Transformers Reinforcement Learning) — это библиотека от Hugging Face для пост-тренинга базовых моделей: дообучения с помощью таких техник, как SFT, GRPO и DPO, поверх стека Transformers.Это Python-библиотека, которую я импортирую, или приложение, которое я запускаю?Это Python-библиотека: каждый тренер (SFTTrainer, DPOTrainer, GRPOTrainer и другие) — тонкая обёртка над стандартным Transformers Trainer, поэтому он встраивается в уже существующий рабочий процесс на Transformers.
Это Python-библиотека: каждый тренер (SFTTrainer, DPOTrainer, GRPOTrainer и другие) — тонкая обёртка над стандартным Transformers Trainer, поэтому он встраивается в уже существующий рабочий процесс на Transformers.Как установить её и запустить первый тренинг?Установите через pip install trl (или из исходников, если нужны возможности из пре-релиза); при желании склонируйте репозиторий с примерами, затем выберите тренер и укажите на свой датасет.
Установите через pip install trl (или из исходников, если нужны возможности из пре-релиза); при желании склонируйте репозиторий с примерами, затем выберите тренер и укажите на свой датасет.Тренинг идёт локально на моей машине, или нужны API-ключи для облака?Всё работает локально на вашем железе — API-ключи и аккаунты не нужны. Библиотека построена на стеке Hugging Face: Transformers, Accelerate для распределённых запусков, плюс опциональные PEFT и Unsloth.
Всё работает локально на вашем железе — API-ключи и аккаунты не нужны. Библиотека построена на стеке Hugging Face: Transformers, Accelerate для распределённых запусков, плюс опциональные PEFT и Unsloth.Всё ли в библиотеке настолько стабильно, чтобы полагаться на это?Не совсем: код внутри trl.experimental — это площадка для нестабильных, быстро меняющихся функций. Любое из них может измениться или исчезнуть в любом релизе без предупреждения.
Не совсем: код внутри trl.experimental — это площадка для нестабильных, быстро меняющихся функций. Любое из них может измениться или исчезнуть в любом релизе без предупреждения.Мне обязательно нужен кластер с несколькими GPU, чтобы реально этим пользоваться?Не обязательно: библиотека масштабируется от одной GPU до многоузловых кластеров, а интеграция с PEFT (квантизация, LoRA/QLoRA) позволяет дообучать большие модели на скромном железе.
Не обязательно: библиотека масштабируется от одной GPU до многоузловых кластеров, а интеграция с PEFT (квантизация, LoRA/QLoRA) позволяет дообучать большие модели на скромном железе.Что такое GRPO и почему его выбирают вместо PPO?GRPO (Group Relative Policy Optimization) — метод обучения с подкреплением, который расходует меньше памяти, чем PPO. Именно его DeepSeek использовала для обучения R1, а в TRL он доступен как GRPOTrainer.
GRPO (Group Relative Policy Optimization) — метод обучения с подкреплением, который расходует меньше памяти, чем PPO. Именно его DeepSeek использовала для обучения R1, а в TRL он доступен как GRPOTrainer.Что такое KTO и когда его стоит использовать?KTO (Kahneman-Tversky Optimization) выравнивает модели по простым бинарным меткам «хороший/плохой» ответ, а не по парам предпочтений — это удобно, когда у вас есть только отметки «нравится/не нравится». В TRL для этого есть KTOTrainer.
KTO (Kahneman-Tversky Optimization) выравнивает модели по простым бинарным меткам «хороший/плохой» ответ, а не по парам предпочтений — это удобно, когда у вас есть только отметки «нравится/не нравится». В TRL для этого есть KTOTrainer.Какие-нибудь известные модели обучались этими тренерами пост-тренингом?Да — в README отмечается, что GRPO использовался для обучения DeepSeek R1, а DPO — для пост-тренинга Llama 3 и многих других моделей.
Да — в README отмечается, что GRPO использовался для обучения DeepSeek R1, а DPO — для пост-тренинга Llama 3 и многих других моделей.А тренинг с очень длинным контекстом он поддерживает?Есть новый гайд по длинному контексту, который разбирает четыре вещи, ломающиеся при росте длины последовательностей, — loss, позиции, активации и память одной GPU, — и завершается примером обучения Qwen3-8B на последовательностях в миллион токенов на одном узле с 8 GPU.
Есть новый гайд по длинному контексту, который разбирает четыре вещи, ломающиеся при росте длины последовательностей, — loss, позиции, активации и память одной GPU, — и завершается примером обучения Qwen3-8B на последовательностях в миллион токенов на одном узле с 8 GPU.What are similar projects?halo, ms-swift, train-llm-from-scratch, verl, unsloth, Soup, airllm, jeeves
halo, ms-swift, train-llm-from-scratch, verl, unsloth, Soup, airllm, jeevesWhich topics is it in?dpo, grpo, rlhf, lora, training, transformers, reinforcement-learning, quantization, fine-tuning, huggingface, pytorch, deep-learning
dpo, grpo, rlhf, lora, training, transformers, reinforcement-learning, quantization, fine-tuning, huggingface, pytorch, deep-learning