19.5K ·GitHub
Что это такое?
Открытая книга по ML-инжинирингу: методологии, инструменты и пошаговые инструкции по обучению, дообучению (fine-tuning) и запуску инференса больших языковых моделей и мультимодальных моделей (VLM), написанная инженером, который руководил обучением BLOOM-176B.
Открытая книга по ML-инжинирингу: методологии, инструменты и пошаговые инструкции по обучению, дообучению (fine-tuning) и запуску инференса больших языковых моделей и мультимодальных моделей (VLM), написанная инженером, который руководил обучением BLOOM-176B.Это книга, которую читают, или программа, которую устанавливают?Это книга, а не пакет: читайте её бесплатно на GitHub или скачайте версии в PDF и EPUB, а текст полон скриптов и готовых команд, которые вы копируете и запускаете на своих машинах.
Это книга, а не пакет: читайте её бесплатно на GitHub или скачайте версии в PDF и EPUB, а текст полон скриптов и готовых команд, которые вы копируете и запускаете на своих машинах.С чего начать?Просто читайте на GitHub или скачайте PDF/EPUB с хаба HuggingFace. Есть ещё сопроводительный курс «Lessons Learned from Training LLMs», где сначала даются сжатые выводы, а углубляться можно там, где нужно.
Просто читайте на GitHub или скачайте PDF/EPUB с хаба HuggingFace. Есть ещё сопроводительный курс «Lessons Learned from Training LLMs», где сначала даются сжатые выводы, а углубляться можно там, где нужно.Нужен ли мне свой GPU-кластер, чтобы получить от неё пользу?Читать бесплатно, но практическая часть — инструменты вроде torch-distributed-gpu-test.py и тесты производительности сети — рассчитана на запуск на GPU-машинах, на которых вы обучаете модели, так что один ноутбук не покроет большую её часть.
Читать бесплатно, но практическая часть — инструменты вроде torch-distributed-gpu-test.py и тесты производительности сети — рассчитана на запуск на GPU-машинах, на которых вы обучаете модели, так что один ноутбук не покроет большую её часть.Это законченный, выверенный учебник?Нет — автор называет её постоянно пополняемым конспектом мыслей (brain dump): электронные версии пересобираются лишь раз в несколько недель, обновления анонсируются в его Twitter-канале, поэтому некоторые разделы более сырые, чем в аккуратном учебнике.
Нет — автор называет её постоянно пополняемым конспектом мыслей (brain dump): электронные версии пересобираются лишь раз в несколько недель, обновления анонсируются в его Twitter-канале, поэтому некоторые разделы более сырые, чем в аккуратном учебнике.Это для новичков или для тех, кто уже запускает большие обучения?Для практикующих инженеров и операторов обучения LLM/VLM, а не для новичков в ML: книга исходит из того, что вы работаете с реальными GPU-задачами, и делится рецептами, добытыми при обучении BLOOM-176B и IDEFICS-80B, а не вводной теорией.
Для практикующих инженеров и операторов обучения LLM/VLM, а не для новичков в ML: книга исходит из того, что вы работаете с реальными GPU-задачами, и делится рецептами, добытыми при обучении BLOOM-176B и IDEFICS-80B, а не вводной теорией.Могу ли я повторно использовать или распространять содержимое?Да, под лицензией CC BY-SA 4.0: можно делиться и адаптировать при условии указания авторства и распространения на тех же условиях — типично для открытой книги, но отличается от разрешительных лицензий на код, к которым вы, возможно, привыкли.
Да, под лицензией CC BY-SA 4.0: можно делиться и адаптировать при условии указания авторства и распространения на тех же условиях — типично для открытой книги, но отличается от разрешительных лицензий на код, к которым вы, возможно, привыкли.О чём на самом деле эта книга?Семь частей: инсайты (выбор облачного провайдера, когда обновлять GPU), железо (вычисления, хранилище, сеть), оркестрация включая SLURM, обучение, инференс, отладка и тестирование, плюс глава с ресурсами.
Семь частей: инсайты (выбор облачного провайдера, когда обновлять GPU), железо (вычисления, хранилище, сеть), оркестрация включая SLURM, обучение, инференс, отладка и тестирование, плюс глава с ресурсами.Там есть готовые к запуску инструменты?Да: allreducebench.py для бенчмаркинга пропускной способности сети проще, чем nccl-tests, torch-distributed-gpu-test.py для проверки связности между узлами и mamf-finder.py для измерения реально достижимых TFLOPS, а также шпаргалки по отладке PyTorch и по SLURM.
Да: allreducebench.py для бенчмаркинга пропускной способности сети проще, чем nccl-tests, torch-distributed-gpu-test.py для проверки связности между узлами и mamf-finder.py для измерения реально достижимых TFLOPS, а также шпаргалки по отладке PyTorch и по SLURM.Можно ли использовать её, чтобы обучить мой AI-агент для кодинга?Да — в репозитории есть SKILL.md, предназначенный для обучения AI-агентов лучшему обучению и эксплуатации крупномасштабных ML-моделей, а также сопутствующие навыки: The Art of Debugging и Stas' Python Cookbook.
Да — в репозитории есть SKILL.md, предназначенный для обучения AI-агентов лучшему обучению и эксплуатации крупномасштабных ML-моделей, а также сопутствующие навыки: The Art of Debugging и Stas' Python Cookbook.Поможет ли она решить, какое железо арендовать или покупать?В ней ведутся ключевые сравнительные таблицы TFLOPS ускорителей, объёма и скорости памяти, скорости сети между узлами и внутри узла, а также разбирается реальный бенчмарк H200 против B200, чтобы понять, когда апгрейд GPU окупает себя.
В ней ведутся ключевые сравнительные таблицы TFLOPS ускорителей, объёма и скорости памяти, скорости сети между узлами и внутри узла, а также разбирается реальный бенчмарк H200 против B200, чтобы понять, когда апгрейд GPU окупает себя.What are similar projects?verl, ColossalAI, transformers, halo, skypilot, airllm, EvoVLM, ms-swift
verl, ColossalAI, transformers, halo, skypilot, airllm, EvoVLM, ms-swiftWhich topics is it in?hpc, courses, llm-training, vlm, distributed-training, skill-md, mlops, network, scalability, cheatsheet, storage, training
hpc, courses, llm-training, vlm, distributed-training, skill-md, mlops, network, scalability, cheatsheet, storage, training