18.2K ·GitHub
Что это такое?
Опенсорсный набор инструментов от NVIDIA для обучения больших трансформерных (LLM) моделей в масштабе. Он поставляется в виде Megatron-LM — готового решения с обучающими скриптами — и Megatron Core, библиотеки из оптимизированных под GPU модулей, из которых собирают обучение моделей на тысячах GPU.
Опенсорсный набор инструментов от NVIDIA для обучения больших трансформерных (LLM) моделей в масштабе. Он поставляется в виде Megatron-LM — готового решения с обучающими скриптами — и Megatron Core, библиотеки из оптимизированных под GPU модулей, из которых собирают обучение моделей на тысячах GPU.Это одна библиотека или несколько компонентов?Два компонента в одном репозитории: Megatron-LM — готовый пример с заранее настроенными скриптами для обучения, а Megatron Core — модульная библиотека, из которой строят собственные обучающие фреймворки. Отдельная утилита, Megatron Bridge, конвертирует чекпоинты между форматами Hugging Face и Megatron.
Два компонента в одном репозитории: Megatron-LM — готовый пример с заранее настроенными скриптами для обучения, а Megatron Core — модульная библиотека, из которой строят собственные обучающие фреймворки. Отдельная утилита, Megatron Bridge, конвертирует чекпоинты между форматами Hugging Face и Megatron.Как его установить?Установите из PyPI либо склонируйте репозиторий и соберите из исходников. Сборка из исходников требовательна к памяти, поэтому если компиляции не хватает памяти, ограничьте число параллельных задач, например MAXJOBS=4 uv pip install -e . Остальные варианты описаны в контейнерах NGC от NVIDIA и в Installation Guide, а дальше вас ведёт гайд Your First Training Run.
Установите из PyPI либо склонируйте репозиторий и соберите из исходников. Сборка из исходников требовательна к памяти, поэтому если компиляции не хватает памяти, ограничьте число параллельных задач, например MAXJOBS=4 uv pip install -e . Остальные варианты описаны в контейнерах NGC от NVIDIA и в Installation Guide, а дальше вас ведёт гайд Your First Training Run.Есть ли подводные камни с версиями или совместимостью?Поддержка Python 3.10 уходит: грядущий релиз 0.17.0 требует Python 3.12 или новее, так что зависимым проектам придётся поднять минимальную версию. Сборка из исходников также может исчерпать память на не самых мощных машинах.
Поддержка Python 3.10 уходит: грядущий релиз 0.17.0 требует Python 3.12 или новее, так что зависимым проектам придётся поднять минимальную версию. Сборка из исходников также может исчерпать память на не самых мощных машинах.Для кого это — для исследователей или разработчиков фреймворков?И для тех, и для других, в зависимости от компонента: исследовательские команды, которые осваивают распределённое обучение и запускают быстрые эксперименты, берут готовые скрипты Megatron-LM, а разработчики фреймворков и ML-инженеры, строящие собственные пайплайны обучения, используют модули Megatron Core.
И для тех, и для других, в зависимости от компонента: исследовательские команды, которые осваивают распределённое обучение и запускают быстрые эксперименты, берут готовые скрипты Megatron-LM, а разработчики фреймворков и ML-инженеры, строящие собственные пайплайны обучения, используют модули Megatron Core.Нужно ли железо NVIDIA или подойдёт любой GPU?Он собран и протестирован только вокруг GPU NVIDIA — опубликованные результаты получены на кластерах H100, до 6 144 GPU для модели с 462 млрд параметров. Самые крупные запуски предполагают многоузловой кластер, а не одну машину.
Он собран и протестирован только вокруг GPU NVIDIA — опубликованные результаты получены на кластерах H100, до 6 144 GPU для модели с 462 млрд параметров. Самые крупные запуски предполагают многоузловой кластер, а не одну машину.Какого размера модели на нём тестировали?В опубликованных бенчмарках обучают модели от 2 до 462 млрд параметров на кластерах до 6 144 GPU H100, достигая 47–48% Model FLOP Utilization на верхнем крае, причём в измеренную пропускную способность включены продакшен-возможности вроде чекпоинтов и отказоустойчивости.
В опубликованных бенчмарках обучают модели от 2 до 462 млрд параметров на кластерах до 6 144 GPU H100, достигая 47–48% Model FLOP Utilization на верхнем крае, причём в измеренную пропускную способность включены продакшен-возможности вроде чекпоинтов и отказоустойчивости.Как он распределяет обучение на тысячи GPU?С помощью пяти стратегий параллелизма: тензорного, конвейерного, по данным, экспертного и контекстного (TP, PP, DP, EP, CP) в сочетании со смешанной точностью FP16, BF16, FP8 и FP4. Dynamic Context Parallelism даёт ускорение до 1.48x при обучении на последовательностях переменной длины.
С помощью пяти стратегий параллелизма: тензорного, конвейерного, по данным, экспертного и контекстного (TP, PP, DP, EP, CP) в сочетании со смешанной точностью FP16, BF16, FP8 и FP4. Dynamic Context Parallelism даёт ускорение до 1.48x при обучении на последовательностях переменной длины.Можно ли взять чекпоинты из Hugging Face?Да. Megatron Bridge конвертирует чекпоинты в обе стороны между форматами Hugging Face и Megatron и содержит готовые продакшен-рецепты для популярных моделей, включая рецепты конвертации, инференса и предобучения для DeepSeek-V4.
Да. Megatron Bridge конвертирует чекпоинты в обе стороны между форматами Hugging Face и Megatron и содержит готовые продакшен-рецепты для популярных моделей, включая рецепты конвертации, инференса и предобучения для DeepSeek-V4.Какие свежие модели он поддерживает?Недавние релизы добавили начальную поддержку DeepSeek-V4, оптимизированные MoE-рецепты для DeepSeek-V3, Mixtral и Qwen3, гибридную архитектуру Falcon-H1 (трансформер + Mamba) с тернарной квантизацией BitNet, а также возможности GPT-OSS вроде масштабирования YaRN RoPE и attention sinks.
Недавние релизы добавили начальную поддержку DeepSeek-V4, оптимизированные MoE-рецепты для DeepSeek-V3, Mixtral и Qwen3, гибридную архитектуру Falcon-H1 (трансформер + Mamba) с тернарной квантизацией BitNet, а также возможности GPT-OSS вроде масштабирования YaRN RoPE и attention sinks.What are similar projects?TensorRT-LLM, halo, DMI, LittleBit, verl, Meshy, Intern-Decision, airllm
TensorRT-LLM, halo, DMI, LittleBit, verl, Meshy, Intern-Decision, airllmWhich topics is it in?parallel, model-training, moe, transformers, high-performance, quantization, large-language-models, distributed-systems, nvidia, huggingface, cuda, deep-learning
parallel, model-training, moe, transformers, high-performance, quantization, large-language-models, distributed-systems, nvidia, huggingface, cuda, deep-learning