Что это такое?
Halo — это опенсорсный фреймворк от White Circle для обучения больших языковых и мультимодальных моделей: предобучение, SFT, оптимизация предпочтений и полностью асинхронное многоходовое RL — всё в одной кодовой базе, от одной GPU до многомашинных кластеров.
Halo — это опенсорсный фреймворк от White Circle для обучения больших языковых и мультимодальных моделей: предобучение, SFT, оптимизация предпочтений и полностью асинхронное многоходовое RL — всё в одной кодовой базе, от одной GPU до многомашинных кластеров.Это Python-библиотека, которую я добавляю в проект, или инструмент, который я запускаю?Он поставляется в виде готовых Docker-образов (отдельные сборки для GPU Blackwell и Hopper) с уже встроенными PyTorch, Flash Attention и DeepEP, так что окружение Python на хосте не нужно. Управление идёт через CLI halo: 'halo launch' запускает метод обучения из YAML-конфига, а 'halo run' отвечает за утилиты для чекпоинтов и данных.
Он поставляется в виде готовых Docker-образов (отдельные сборки для GPU Blackwell и Hopper) с уже встроенными PyTorch, Flash Attention и DeepEP, так что окружение Python на хосте не нужно. Управление идёт через CLI halo: 'halo launch' запускает метод обучения из YAML-конфига, а 'halo run' отвечает за утилиты для чекпоинтов и данных.Как мне запустить первое обучение?Скачайте Docker-образ под вашу GPU (теги версий вроде :blackwell-1.0.0; анонимная загрузка, аккаунт не нужен), возьмите готовый YAML из examples/ — они сгруппированы по методам и моделям — и выполните 'halo launch '. Флаг '--dry-run' показывает команду без запуска, а '--list' выводит список доступных методов.
Скачайте Docker-образ под вашу GPU (теги версий вроде :blackwell-1.0.0; анонимная загрузка, аккаунт не нужен), возьмите готовый YAML из examples/ — они сгруппированы по методам и моделям — и выполните 'halo launch '. Флаг '--dry-run' показывает команду без запуска, а '--list' выводит список доступных методов.Мне нужен большой кластер с несколькими GPU или можно попробовать на своём компьютере?Работает и так, и так: одна и та же кодовая база масштабируется от одной GPU до нескольких узлов. На потребительском железе QLoRA помещается в карту на 24 ГБ — Qwen3-4B занимает на пике 7,9 ГБ, а Qwen3-8B с контекстом 32k укладывается в 20,9 ГБ. Заявленные максимальные цифры получены на серверах 8×B300.
Работает и так, и так: одна и та же кодовая база масштабируется от одной GPU до нескольких узлов. На потребительском железе QLoRA помещается в карту на 24 ГБ — Qwen3-4B занимает на пике 7,9 ГБ, а Qwen3-8B с контекстом 32k укладывается в 20,9 ГБ. Заявленные максимальные цифры получены на серверах 8×B300.Какие GPU реально поддерживаются?Для Blackwell и Hopper есть отдельные оптимизированные образы (FlashAttention 4 на Blackwell, FA2/FA3 на Hopper), плюс реализации и запасные варианты для более старых GPU. Карты Ampere и Ada могут запускать одно-GPU LoRA/QLoRA из образа halo:blackwell.
Для Blackwell и Hopper есть отдельные оптимизированные образы (FlashAttention 4 на Blackwell, FA2/FA3 на Hopper), плюс реализации и запасные варианты для более старых GPU. Карты Ampere и Ada могут запускать одно-GPU LoRA/QLoRA из образа halo:blackwell.Оно правда бесплатно для коммерческого использования?Используется Halo License: Apache 2.0 с дополнительными условиями. Использовать, менять, разворачивать у себя и выпускать обученные модели можно бесплатно в любом масштабе; условия такие: предоставлять обучение на Halo как сервис можно бесплатно лишь до дохода в 20 млн долларов США от такой деятельности за 12 месяцев (сверх этого нужно коммерческое соглашение), а компании с годовой выручкой свыше 20 млн долларов обязаны указывать у моделей пометку 'Trained with Halo'.
Используется Halo License: Apache 2.0 с дополнительными условиями. Использовать, менять, разворачивать у себя и выпускать обученные модели можно бесплатно в любом масштабе; условия такие: предоставлять обучение на Halo как сервис можно бесплатно лишь до дохода в 20 млн долларов США от такой деятельности за 12 месяцев (сверх этого нужно коммерческое соглашение), а компании с годовой выручкой свыше 20 млн долларов обязаны указывать у моделей пометку 'Trained with Halo'.Что делают четыре режима параллелизма?EP распределяет экспертов MoE между GPU, TP разбивает на части веса модели, CP делит длинные последовательности, а ETP шпардирует FFN отдельных экспертов. Каждый режим настраивается независимо, и они сочетаются друг с другом — например, EP+CP для MoE вместе с обучением на длинном контексте, до 256k контекста в бенчмарках.
EP распределяет экспертов MoE между GPU, TP разбивает на части веса модели, CP делит длинные последовательности, а ETP шпардирует FFN отдельных экспертов. Каждый режим настраивается независимо, и они сочетаются друг с другом — например, EP+CP для MoE вместе с обучением на длинном контексте, до 256k контекста в бенчмарках.Сам Halo создавался с помощью ИИ?Очень активно — команда использует GPT и Claude через PI-Agent, Claude Code и Codex, а принятые соглашения описаны в AGENTS.md. Вклад с помощью ИИ приветствуется, если автор понимает и отвечает за код, который отправляет.
Очень активно — команда использует GPT и Claude через PI-Agent, Claude Code и Codex, а принятые соглашения описаны в AGENTS.md. Вклад с помощью ИИ приветствуется, если автор понимает и отвечает за код, который отправляет.Как здесь экономится память под оптимизатор?AdamWBF16 со стохастическим округлением хранит состояние оптимизатора в 6 байтах на параметр вместо 12 при FP32 master weights; также поддерживаются Muon и FlashAdamW, а MoE-обучение в FP8/FP4 работает через fake-quant QAT с экспортом в mxfp8/nvfp4.
AdamWBF16 со стохастическим округлением хранит состояние оптимизатора в 6 байтах на параметр вместо 12 при FP32 master weights; также поддерживаются Muon и FlashAdamW, а MoE-обучение в FP8/FP4 работает через fake-quant QAT с экспортом в mxfp8/nvfp4.Как запускаются многомашинные обучения?Флаги параллелизма передаются напрямую в torchrun или указываются после конфига в halo launch; для многомашинных запусков поддерживаются общие (NFS/Lustre) и локальные для узла файловые системы, а в launcher-configs/ лежат готовые рецепты для Accelerate, SkyPilot и Nomad.
Флаги параллелизма передаются напрямую в torchrun или указываются после конфига в halo launch; для многомашинных запусков поддерживаются общие (NFS/Lustre) и локальные для узла файловые системы, а в launcher-configs/ лежат готовые рецепты для Accelerate, SkyPilot и Nomad.Which topics is it in?peft, qlora, grpo, rlhf, sglang, distributed-training, moe, optimization, lora, transformers, vllm, reinforcement-learning
peft, qlora, grpo, rlhf, sglang, distributed-training, moe, optimization, lora, transformers, vllm, reinforcement-learning