Что это?
Это полный публичный рецепт RL-обучения агентов интеллектуального труда на данных APEX-Agents от Mercor, построенный на опенсорсной обучающей библиотеке SkyRL и опенсорсном наборе harbor для песочниц и оценивания. Это сопутствующий код к блогпосту Mercor 'Training Frontier Knowledge Work Agents'.
Это полный публичный рецепт RL-обучения агентов интеллектуального труда на данных APEX-Agents от Mercor, построенный на опенсорсной обучающей библиотеке SkyRL и опенсорсном наборе harbor для песочниц и оценивания. Это сопутствующий код к блогпосту Mercor 'Training Frontier Knowledge Work Agents'.Это переиспользуемый фреймворк или конкретный разовый рецепт обучения?Это конкретный рецепт, а не общий фреймворк: SkyRL и harbor ставятся через pip как есть, без единого форка, а этот репозиторий добавляет только связующий код (генератор, агент, конфиги испытаний, точки входа) вокруг них.
Это конкретный рецепт, а не общий фреймворк: SkyRL и harbor ставятся через pip как есть, без единого форка, а этот репозиторий добавляет только связующий код (генератор, агент, конфиги испытаний, точки входа) вокруг них.Каков реальный процесс запуска обучающего задания?Сначала скачайте и распакуйте датасет задач с HuggingFace, затем запустите 1-GPU смоук-тест полного цикла от испытания до чекпоинта, потом масштабируйтесь до полностью асинхронного обучения на 2+ GPU и напоследок запустите eval.
Сначала скачайте и распакуйте датасет задач с HuggingFace, затем запустите 1-GPU смоук-тест полного цикла от испытания до чекпоинта, потом масштабируйтесь до полностью асинхронного обучения на 2+ GPU и напоследок запустите eval.Что должно быть установлено перед запуском?Нужны зафиксированные релизы из pyproject.toml: harbor[modal]==0.21.0 из PyPI и checkout skyrl[megatron] 0.3.0 в режиме editable (его нельзя подтянуть как обычный пакет PyPI из-за кастомных источников GPU-колёс), плюс доступ к GPU-кластеру Ray, Modal и AWS ECR.
Нужны зафиксированные релизы из pyproject.toml: harbor[modal]==0.21.0 из PyPI и checkout skyrl[megatron] 0.3.0 в режиме editable (его нельзя подтянуть как обычный пакет PyPI из-за кастомных источников GPU-колёс), плюс доступ к GPU-кластеру Ray, Modal и AWS ECR.Могу ли я сам получить настоящие обучающие данные?Нет — сам датасет задач APEX-Agents не опубликован из-за лицензионных ограничений; документирован только его формат, чтобы можно было понять архитектуру.
Нет — сам датасет задач APEX-Agents не опубликован из-за лицензионных ограничений; документирован только его формат, чтобы можно было понять архитектуру.Сколько GPU реально нужно для обучения?Смоук-тест полного цикла испытаний работает на одном GPU, но настоящее полностью асинхронное обучение требует минимум 2 GPU в кластере Ray.
Смоук-тест полного цикла испытаний работает на одном GPU, но настоящее полностью асинхронное обучение требует минимум 2 GPU в кластере Ray.Какие модели обучены по этому рецепту?Mercor опубликовал чекпоинты двух моделей, обученных по этому рецепту: 'Qwen3.6-35B-A3B-Mercor' и 'Qwen3.5-397B-A17B-Mercor', обе на HuggingFace.
Mercor опубликовал чекпоинты двух моделей, обученных по этому рецепту: 'Qwen3.6-35B-A3B-Mercor' и 'Qwen3.5-397B-A17B-Mercor', обе на HuggingFace.За что отвечают SkyRL и harbor по отдельности?SkyRL ведёт полностью асинхронный цикл обучения, движки инференса vLLM и синхронизацию весов NCCL на лету, а harbor управляет жизненным циклом rollout каждого испытания (запуск env, agent.run(), verify, teardown) внутри песочницы Modal.
SkyRL ведёт полностью асинхронный цикл обучения, движки инференса vLLM и синхронизацию весов NCCL на лету, а harbor управляет жизненным циклом rollout каждого испытания (запуск env, agent.run(), verify, teardown) внутри песочницы Modal.Как оцениваются прогоны (rollout) агента?После завершения агента harbor запускает внутри песочницы оценивающий скрипт, который с помощью LLM-судьи (по умолчанию модель Gemini) выставляет баллы выводу по критериям из verifiers.json задачи; баллы по каждому критерию становятся наградой испытания.
После завершения агента harbor запускает внутри песочницы оценивающий скрипт, который с помощью LLM-судьи (по умолчанию модель Gemini) выставляет баллы выводу по критериям из verifiers.json задачи; баллы по каждому критерию становятся наградой испытания.Что такое «миры» в задачах APEX-Agents?Миры — это симулированные компании со своими документами, приложениями и серверами MCP-инструментов; многие задачи делят один мир, поэтому окружения и их Docker-образы в ECR собираются на мир, а не на задачу.
Миры — это симулированные компании со своими документами, приложениями и серверами MCP-инструментов; многие задачи делят один мир, поэтому окружения и их Docker-образы в ECR собираются на мир, а не на задачу.Which topics is it in?agent-sandbox, llm-training, distributed-training, training, aws, dataset, vllm, reinforcement-learning, qwen, evaluation, sandbox, large-language-models
agent-sandbox, llm-training, distributed-training, training, aws, dataset, vllm, reinforcement-learning, qwen, evaluation, sandbox, large-language-models