Что это такое?
Набор написанных вручную реализаций на PyTorch современных open-source архитектур LLM (Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi и другие), созданных с нуля для читаемости и обучения.
Набор написанных вручную реализаций на PyTorch современных open-source архитектур LLM (Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Kimi и другие), созданных с нуля для читаемости и обучения.Это библиотека, на основе которой можно строить своё, или коллекция кода для чтения?Учебный материал, а не production-библиотека: одна читаемая папка на архитектуру, где решения по дизайну — тип внимания, нормализация и роутинг в MoE — явно показаны и легко сравниваются бок о бок.
Учебный материал, а не production-библиотека: одна читаемая папка на архитектуру, где решения по дизайну — тип внимания, нормализация и роутинг в MoE — явно показаны и легко сравниваются бок о бок.Как получить код и начать изучать модель?Склонируйте репозиторий и откройте папку модели: каждая архитектура лежит в своей папке с файлом model.py и коротким README, где описаны принятые решения и ссылки на источники.
Склонируйте репозиторий и откройте папку модели: каждая архитектура лежит в своей папке с файлом model.py и коротким README, где описаны принятые решения и ссылки на источники.Что нужно установить, чтобы запустить одну из этих моделей?Python и PyTorch: каждая архитектура — это один написанный вручную файл модели на PyTorch, который можно открыть и запустить; других зависимостей в репозитории не указано.
Python и PyTorch: каждая архитектура — это один написанный вручную файл модели на PyTorch, который можно открыть и запустить; других зависимостей в репозитории не указано.Можно ли с её помощью обучать модели или только запускать их?Это материал для чтения и запуска, а не production-код: записи с пометкой ✅ поддерживают forward-проход, записи с пометкой 🚧 ещё в разработке, а в README production-пользователей направляют к официальным реализациям или transformers.
Это материал для чтения и запуска, а не production-код: записи с пометкой ✅ поддерживают forward-проход, записи с пометкой 🚧 ещё в разработке, а в README production-пользователей направляют к официальным реализациям или transformers.Могу ли я свободно использовать код в своих проектах?Open source — в README указана Apache License 2.0 (в метаданных GitHub значится MIT), а отдельные реализации моделей подчиняются лицензиям оригинальных моделей, где это применимо.
Open source — в README указана Apache License 2.0 (в метаданных GitHub значится MIT), а отдельные реализации моделей подчиняются лицензиям оригинальных моделей, где это применимо.Зачем переопределять эти модели, вместо того чтобы читать официальный код моделей?Production-репозитории оптимизированы под скорость, шардирование и обратную совместимость, из-за чего их трудно читать. OpenArch оптимизирован под чтение, поэтому ключевые архитектурные решения наглядны и их удобно сравнивать бок о бок.
Production-репозитории оптимизированы под скорость, шардирование и обратную совместимость, из-за чего их трудно читать. OpenArch оптимизирован под чтение, поэтому ключевые архитектурные решения наглядны и их удобно сравнивать бок о бок.Насколько большие модели здесь рассматриваются?От GPT-2 XL на 1,5 млрд параметров до Kimi K2 на 1 трлн, включая DeepSeek R1 (671B) и Llama 4 Maverick (400B). Репозиторий реализует архитектуры, но не содержит весов.
От GPT-2 XL на 1,5 млрд параметров до Kimi K2 на 1 трлн, включая DeepSeek R1 (671B) и Llama 4 Maverick (400B). Репозиторий реализует архитектуры, но не содержит весов.Проект завершён?Нет — из 103 архитектур в галерее Расчки реализовано пока 18, три записи всё ещё помечены как «в разработке», и автор активно ищет контрибьюторов.
Нет — из 103 архитектур в галерее Расчки реализовано пока 18, три записи всё ещё помечены как «в разработке», и автор активно ищет контрибьюторов.What are similar projects?llm-architecture-from-scratch, LLMs-from-scratch, LlamaFactory, llama3-from-scratch, minGPT, vllm, train-llm-from-scratch, ollama
llm-architecture-from-scratch, LLMs-from-scratch, LlamaFactory, llama3-from-scratch, minGPT, vllm, train-llm-from-scratch, ollamaWhich topics is it in?llama3, gemma, mistral, from-scratch, mixture-of-experts, attention-mechanism, language-model, moe, llms, grok, transformers, architecture
llama3, gemma, mistral, from-scratch, mixture-of-experts, attention-mechanism, language-model, moe, llms, grok, transformers, architecture