Что это такое?
ART (Agent Reinforcement Trainer) — открытый RL-фреймворк от OpenPipe, который позволяет LLM-агентам учиться на опыте: вы обучаете многошаговых агентов для реальных задач с помощью GRPO.
ART (Agent Reinforcement Trainer) — открытый RL-фреймворк от OpenPipe, который позволяет LLM-агентам учиться на опыте: вы обучаете многошаговых агентов для реальных задач с помощью GRPO.ART — это библиотека, которую я использую в коде, или сервис, который обучает модели за меня?И то и другое: Python-клиент, который встраивается в ваше приложение, плюс отдельный сервер обучения. Клиент совместим с OpenAI, так что ваш код просто обменивается сообщениями, а сервер сам занимается инференсом через vLLM и обучением по GRPO в фоне.
И то и другое: Python-клиент, который встраивается в ваше приложение, плюс отдельный сервер обучения. Клиент совместим с OpenAI, так что ваш код просто обменивается сообщениями, а сервер сам занимается инференсом через vLLM и обучением по GRPO в фоне.Как начать с ним работать?Добавьте pip-пакет в любой Python-проект, затем запустите один из примеров обучающих ноутбуков — поиск по почте, 2048, «Крестики-нолики» — и только потом подключайте своего агента и функцию вознаграждения.
Добавьте pip-пакет в любой Python-проект, затем запустите один из примеров обучающих ноутбуков — поиск по почте, 2048, «Крестики-нолики» — и только потом подключайте своего агента и функцию вознаграждения.Какие модели можно обучать и есть ли те, что не подойдут?Большинство каузальных (causal) моделей, совместимых с vLLM и HuggingFace transformers, должны работать, включая всё, что поддерживает Unsloth — но Gemma 3 пока не поддерживается. О моделях, которые не заработали, можно сообщить на GitHub или в Discord.
Большинство каузальных (causal) моделей, совместимых с vLLM и HuggingFace transformers, должны работать, включая всё, что поддерживает Unsloth — но Gemma 3 пока не поддерживается. О моделях, которые не заработали, можно сообщить на GitHub или в Discord.Мне нужна своя GPU, чтобы обучить агента?Нет. Клиент можно запустить на ноутбуке, а сервер сам поднимет временное окружение с GPU (или можно использовать локальную GPU); управляемый serverless-вариант W&B вообще избавляет от инфраструктуры.
Нет. Клиент можно запустить на ноутбуке, а сервер сам поднимет временное окружение с GPU (или можно использовать локальную GPU); управляемый serverless-вариант W&B вообще избавляет от инфраструктуры.Что такое W&B Training (Serverless RL)?Управляемый сервис поверх ART — первый публичный сервис для обучения моделей с помощью RL. Он сам берёт на себя инфраструктуру обучения и инференса: заявлены снижение стоимости на 40%, ускорение обучения на 28%, масштаб до 2000+ одновременных запросов и мгновенный доступ к каждому чекпоинту через W&B Inference.
Управляемый сервис поверх ART — первый публичный сервис для обучения моделей с помощью RL. Он сам берёт на себя инфраструктуру обучения и инференса: заявлены снижение стоимости на 40%, ускорение обучения на 28%, масштаб до 2000+ одновременных запросов и мгновенный доступ к каждому чекпоинту через W&B Inference.Чему реально можно научить агента с его помощью?Примеры в ноутбуках охватывают исследование почты (ART•E), игры вроде 2048, «Крестиков-ноликов», Codenames и Temporal Clue, работу с инструментами на MCP-серверах (MCP•RL), а также агентов LangGraph. Есть и задачи только с SFT — например, дистилляция text-to-SQL из Qwen 3 235B в Qwen 3.6 27B.
Примеры в ноутбуках охватывают исследование почты (ART•E), игры вроде 2048, «Крестиков-ноликов», Codenames и Temporal Clue, работу с инструментами на MCP-серверах (MCP•RL), а также агентов LangGraph. Есть и задачи только с SFT — например, дистилляция text-to-SQL из Qwen 3 235B в Qwen 3.6 27B.Он работает с LangGraph или MCP-серверами?Да. ART интегрируется с LangGraph, так что можно обучать существующих LangGraph-агентов с помощью RL, а MCP•RL автоматически обучает модели пользоваться инструментами любого MCP-сервера.
Да. ART интегрируется с LangGraph, так что можно обучать существующих LangGraph-агентов с помощью RL, а MCP•RL автоматически обучает модели пользоваться инструментами любого MCP-сервера.Можно ли использовать его для обычного supervised fine-tuning, а не только RL?Да — помимо RL он поддерживает SFT: дистилляцию из более крупной модели, дообучение на датасете и этап SFT-разогрева перед переходом к RL, как показано в специальных ноутбуках.
Да — помимо RL он поддерживает SFT: дистилляцию из более крупной модели, дообучение на датасете и этап SFT-разогрева перед переходом к RL, как показано в специальных ноутбуках.What are similar projects?unsloth, halo, verl, ms-swift, verl, OpenClaw-RL, DeepAnalyze, NeoHorse
unsloth, halo, verl, ms-swift, verl, OpenClaw-RL, DeepAnalyze, NeoHorseWhich topics is it in?rl, grpo, qwen3, langgraph, llms, lora, vllm, reinforcement-learning, qwen, fine-tuning, openai-compatible, agentic-ai
rl, grpo, qwen3, langgraph, llms, lora, vllm, reinforcement-learning, qwen, fine-tuning, openai-compatible, agentic-ai