Что это такое?
Grok-1 — открытая xAI языковая модель с 314 млрд параметров на архитектуре Mixture-of-Experts; в этом репозитории лежит пример кода на JAX для её загрузки и запуска.
Grok-1 — открытая xAI языковая модель с 314 млрд параметров на архитектуре Mixture-of-Experts; в этом репозитории лежит пример кода на JAX для её загрузки и запуска.Веса модели тут есть или только код?Только код — открытые веса скачиваются отдельно: их можно получить через торрент-клиент по магнит-ссылке или напрямую с HuggingFace Hub.
Только код — открытые веса скачиваются отдельно: их можно получить через торрент-клиент по магнит-ссылке или напрямую с HuggingFace Hub.Как запустить, когда веса уже скачаны?Положите скачанный каталог ckpt-0 внутрь checkpoints, затем запустите тестовый скрипт: он загрузит чекпоинт и сгенерирует ответ модели на тестовый запрос.
Положите скачанный каталог ckpt-0 внутрь checkpoints, затем запустите тестовый скрипт: он загрузит чекпоинт и сгенерирует ответ модели на тестовый запрос.Приложенный код эффективный?Нет — слой MoE намеренно сделан неэффективно: без кастомных ядер, чтобы корректность работы модели было легко проверить.
Нет — слой MoE намеренно сделан неэффективно: без кастомных ядер, чтобы корректность работы модели было легко проверить.Лицензия Apache 2.0 покрывает и код, и веса?Да — и код, и веса Grok-1 распространяются под Apache 2.0: она действует и на исходники этого репозитория, и на веса модели Grok-1.
Да — и код, и веса Grok-1 распространяются под Apache 2.0: она действует и на исходники этого репозитория, и на веса модели Grok-1.Это запустится на обычной видеокарте?Практически нет — при 314 млрд параметров README требует машину с достаточным объёмом видеопамяти, даже чтобы просто протестировать модель на примере кода.
Практически нет — при 314 млрд параметров README требует машину с достаточным объёмом видеопамяти, даже чтобы просто протестировать модель на примере кода.Насколько большая эта модель?314 млрд параметров в архитектуре Mixture-of-8-Experts: на каждый токен используются 2 эксперта, 64 слоя, 48 голов внимания для запросов (8 для ключей/значений) и размер эмбеддинга 6 144.
314 млрд параметров в архитектуре Mixture-of-8-Experts: на каждый токен используются 2 эксперта, 64 слоя, 48 голов внимания для запросов (8 для ключей/значений) и размер эмбеддинга 6 144.Какой длины контекст он выдерживает?До 8 192 токенов контекста; текст разбивается на токены токенизатором SentencePiece со словарём на 131 072 токена.
До 8 192 токенов контекста; текст разбивается на токены токенизатором SentencePiece со словарём на 131 072 токена.Есть ли поддержка квантизации или шардирования?Да — модель поддерживает шардирование активаций и 8-битную квантизацию, а для позиционной информации использует ротационные эмбеддинги (RoPE).
Да — модель поддерживает шардирование активаций и 8-битную квантизацию, а для позиционной информации использует ротационные эмбеддинги (RoPE).What are similar projects?DeepSeek-V3, Kimi-K3, OpenMythos, ktransformers, StartLux-Decision, Hy4-preview, LongCat-Next, Hy-MT2
DeepSeek-V3, Kimi-K3, OpenMythos, ktransformers, StartLux-Decision, Hy4-preview, LongCat-Next, Hy-MT2Which topics is it in?tokenizer, xai, jax, torrent, apache, open-weights, mixture-of-experts, moe, grok, quantization, transformer, large-language-models
tokenizer, xai, jax, torrent, apache, open-weights, mixture-of-experts, moe, grok, quantization, transformer, large-language-models