Что это такое?
DeepSpeed — это библиотека оптимизации глубокого обучения, которая делает распределённое обучение и инференс очень больших моделей простым, эффективным и действенным — на ней работали модели вроде MT-530B и BLOOM.
DeepSpeed — это библиотека оптимизации глубокого обучения, которая делает распределённое обучение и инференс очень больших моделей простым, эффективным и действенным — на ней работали модели вроде MT-530B и BLOOM.Это библиотека, которую я подключаю к своему PyTorch-коду, или отдельная платформа для развёртывания?Это Python-библиотека, которую вы устанавливаете поверх PyTorch и вызываете из собственного кода обучения — это не сервис и не отдельное приложение.
Это Python-библиотека, которую вы устанавливаете поверх PyTorch и вызываете из собственного кода обучения — это не сервис и не отдельное приложение.Что нужно на моём компьютере перед установкой?PyTorch уже должен быть установлен (рекомендуется 2.0+), а также компилятор CUDA или ROCm, например nvcc или hipcc, чтобы собрать расширения на C++/CUDA/HIP.
PyTorch уже должен быть установлен (рекомендуется 2.0+), а также компилятор CUDA или ROCm, например nvcc или hipcc, чтобы собрать расширения на C++/CUDA/HIP.Всё работает на Windows или есть ограничения?Многие функции обучения и инференса работают на Windows, но async io (AIO) и GDS не поддерживаются, а для сборки там нужны инструменты сборки Visual C++ и консоль с правами администратора, чтобы запустить buildwin.bat.
Многие функции обучения и инференса работают на Windows, но async io (AIO) и GDS не поддерживаются, а для сборки там нужны инструменты сборки Visual C++ и консоль с правами администратора, чтобы запустить buildwin.bat.Мне нужен большой GPU-кластер, или это полезно и на одной машине?Проект нацелен на экстремальные масштабы — ZeRO-Infinity буквально создан, чтобы пробить барьер памяти GPU, — хотя линейка работ ZeRO-Offload сосредоточена на том, чтобы сделать обучение масштаба миллиардов параметров доступным и на более скромном железе.
Проект нацелен на экстремальные масштабы — ZeRO-Infinity буквально создан, чтобы пробить барьер памяти GPU, — хотя линейка работ ZeRO-Offload сосредоточена на том, чтобы сделать обучение масштаба миллиардов параметров доступным и на более скромном железе.Будет ли работать с моей видеокартой — AMD, Intel или только NVIDIA?Лучше всего протестировано на NVIDIA Pascal, Volta, Ampere и Hopper, а также AMD MI100/MI200; Huawei Ascend NPU, Intel Gaudi 2, процессоры Xeon, Intel GPU Max и Tecorigin SDAA поддерживаются усилиями сообщества.
Лучше всего протестировано на NVIDIA Pascal, Volta, Ampere и Hopper, а также AMD MI100/MI200; Huawei Ascend NPU, Intel Gaudi 2, процессоры Xeon, Intel GPU Max и Tecorigin SDAA поддерживаются усилиями сообщества.Что такое ZeRO?Это ключевая оптимизация памяти в DeepSpeed; вместе с ZeRO-Infinity, 3D-Parallelism, Ulysses Sequence Parallelism и DeepSpeed-MoE она образует ядро инноваций, стоящих за обучением экстремально больших моделей.
Это ключевая оптимизация памяти в DeepSpeed; вместе с ZeRO-Infinity, 3D-Parallelism, Ulysses Sequence Parallelism и DeepSpeed-MoE она образует ядро инноваций, стоящих за обучением экстремально больших моделей.Насколько большие модели обучают с его помощью?Сотни миллиардов параметров: Megatron-Turing NLG 530B, Jurassic-1 178B, BLOOM 176B, GLM 130B, YaLM 100B — и DeepSpeed ориентируется на диапазон в триллион параметров.
Сотни миллиардов параметров: Megatron-Turing NLG 530B, Jurassic-1 178B, BLOOM 176B, GLM 130B, YaLM 100B — и DeepSpeed ориентируется на диапазон в триллион параметров.Работает ли он с Hugging Face Transformers?Да — он интегрируется с Transformers и Accelerate, а также с Lightning, MosaicML, Determined и MMEngine, так что часто его можно добавить в существующий стек.
Да — он интегрируется с Transformers и Accelerate, а также с Lightning, MosaicML, Determined и MMEngine, так что часто его можно добавить в существующий стек.Справится ли он с очень длинными входными последовательностями?Да — работа проекта над Arctic Long Sequence Training (ALST) в DeepSpeed нацелена на масштабируемое и эффективное обучение на последовательностях в миллионы токенов.
Да — работа проекта над Arctic Long Sequence Training (ALST) в DeepSpeed нацелена на масштабируемое и эффективное обучение на последовательностях в миллионы токенов.What are similar projects?ColossalAI, verl, mamba, ktransformers, LMCache, petals, DeepGEMM, vllm
ColossalAI, verl, mamba, ktransformers, LMCache, petals, DeepGEMM, vllmWhich topics is it in?intel, rocm, mixture-of-experts, compression, amd, training, microsoft, gpu-acceleration, large-language-models, distributed-systems, inference, nvidia
intel, rocm, mixture-of-experts, compression, amd, training, microsoft, gpu-acceleration, large-language-models, distributed-systems, inference, nvidia