Что это такое?
Коллекция реализаций на PyTorch современных архитектур LLM (GPT-2, Llama 3/3.2, Llama 4, OLMo 2, Phi-4, DeepSeek v3, Gemma 3, xLSTM, Mistral 3.1), написанных с нуля, чтобы понять, как они устроены внутри.
Коллекция реализаций на PyTorch современных архитектур LLM (GPT-2, Llama 3/3.2, Llama 4, OLMo 2, Phi-4, DeepSeek v3, Gemma 3, xLSTM, Mistral 3.1), написанных с нуля, чтобы понять, как они устроены внутри.Это рабочая библиотека или скорее репозиторий для изучения?Это учебный/справочный код, а не готовая библиотека или API: каждая модель заново реализована на PyTorch исключительно ради изучения её внутреннего устройства, а не для продакшн-инференса.
Это учебный/справочный код, а не готовая библиотека или API: каждая модель заново реализована на PyTorch исключительно ради изучения её внутреннего устройства, а не для продакшн-инференса.Как этим пользоваться?Склонируйте репозиторий и читайте/запускайте код реализации на PyTorch для той архитектуры, которую хотите изучить, — каждая строка таблицы это отдельная самостоятельная реализация.
Склонируйте репозиторий и читайте/запускайте код реализации на PyTorch для той архитектуры, которую хотите изучить, — каждая строка таблицы это отдельная самостоятельная реализация.Нужен ли PyTorch, чтобы это запускать?Да, все архитектуры реализованы на PyTorch, так что потребуется рабочее окружение с PyTorch.
Да, все архитектуры реализованы на PyTorch, так что потребуется рабочее окружение с PyTorch.А могу ли я реально запустить большие модели вроде DeepSeek v3 или Llama 4 Maverick локально?Это переосмысления архитектур, а не скачивание предобученных весов, и такие модели, как DeepSeek v3 (671B) и Llama 4 Maverick (400B), слишком велики, чтобы обучать или запускать их на обычном железе; код нужен для понимания архитектуры, а не для практического развёртывания.
Это переосмысления архитектур, а не скачивание предобученных весов, и такие модели, как DeepSeek v3 (671B) и Llama 4 Maverick (400B), слишком велики, чтобы обучать или запускать их на обычном железе; код нужен для понимания архитектуры, а не для практического развёртывания.Для кого этот репозиторий?Для разработчиков и исследователей, которые хотят разобраться, как на самом деле устроены современные LLM изнутри (варианты внимания, MoE, нормализация, позиционное кодирование), читая и запуская реализации с нуля.
Для разработчиков и исследователей, которые хотят разобраться, как на самом деле устроены современные LLM изнутри (варианты внимания, MoE, нормализация, позиционное кодирование), читая и запуская реализации с нуля.Какие архитектуры моделей уже реализованы?GPT-2 XL, Llama3-8B, Llama 3.2-3B, OLMo 2 7B, Phi-4, DeepSeek v3, Gemma 3, xLSTM, Mistral 3.1 Small и Llama 4 Maverick; Qwen3 (32B и 235B-A22B) помечена как в разработке.
GPT-2 XL, Llama3-8B, Llama 3.2-3B, OLMo 2 7B, Phi-4, DeepSeek v3, Gemma 3, xLSTM, Mistral 3.1 Small и Llama 4 Maverick; Qwen3 (32B и 235B-A22B) помечена как в разработке.Есть ли в репозитории модели Mixture-of-Experts?Да, DeepSeek v3 и Llama 4 Maverick реализованы с включённым Mixture of Experts, остальные модели в таблице — плотные (dense).
Да, DeepSeek v3 и Llama 4 Maverick реализованы с включённым Mixture of Experts, остальные модели в таблице — плотные (dense).Есть ли среди реализованных моделей мультимодальные?Gemma 3 и Mistral 3.1 Small реализованы как модели «текст + изображение», остальные архитектуры работают только с текстом.
Gemma 3 и Mistral 3.1 Small реализованы как модели «текст + изображение», остальные архитектуры работают только с текстом.Какие техники внимания и позиционного кодирования здесь разобраны?В таблице представлены каузальное multi-head self-attention, grouped-query attention и sliding-window + GQA attention в сочетании либо с обучаемыми абсолютными позициями, либо с RoPE — в зависимости от модели.
В таблице представлены каузальное multi-head self-attention, grouped-query attention и sliding-window + GQA attention в сочетании либо с обучаемыми абсолютными позициями, либо с RoPE — в зависимости от модели.What are similar projects?OpenArch, llama3-from-scratch, how-to-train-your-gpt, train-llm-from-scratch, LLMs-from-scratch, vllm, minGPT, Engram
OpenArch, llama3-from-scratch, how-to-train-your-gpt, train-llm-from-scratch, LLMs-from-scratch, vllm, minGPT, EngramWhich topics is it in?from-scratch, qwen3, mixture-of-experts, attention-mechanism, moe, transformers, neural-network, multimodal, transformer, large-language-models, deepseek, learning-resources
from-scratch, qwen3, mixture-of-experts, attention-mechanism, moe, transformers, neural-network, multimodal, transformer, large-language-models, deepseek, learning-resources