Что это?
gemma4.c — это рантайм инференса на CPU для модели Google Gemma 4 E2B, написанный примерно на 700 строках чистого C и созданный, чтобы показать, как инференс LLM на самом деле устроен под капотом.
gemma4.c — это рантайм инференса на CPU для модели Google Gemma 4 E2B, написанный примерно на 700 строках чистого C и созданный, чтобы показать, как инференс LLM на самом деле устроен под капотом.Это библиотека для линковки с моим кодом или отдельная программа?Это отдельная консольная программа: вы собираете исполняемый файл с помощью make и запускаете его напрямую с путём к модели и опциями промпта.
Это отдельная консольная программа: вы собираете исполняемый файл с помощью make и запускаете его напрямую с путём к модели и опциями промпта.Как его запустить?Склонируйте репозиторий, выполните make (или make win64 на Windows), скачайте готовый экспортированный файл модели (около 5,0 ГБ) и запустите получившийся бинарник, указав эту модель через -m.
Склонируйте репозиторий, выполните make (или make win64 на Windows), скачайте готовый экспортированный файл модели (около 5,0 ГБ) и запустите получившийся бинарник, указав эту модель через -m.Что должно быть установлено для сборки и запуска?Нужны процессор с поддержкой AVX2, C-компилятор с OpenMP и make; Python требуется, только если хотите сами экспортировать модель или запустить числовую валидацию.
Нужны процессор с поддержкой AVX2, C-компилятор с OpenMP и make; Python требуется, только если хотите сами экспортировать модель или запустить числовую валидацию.Работает ли он на любом процессоре и сколько нужно диска/ОЗУ?Требуется AVX2, работает только на Linux и Windows (про macOS/ARM не упоминается); модель занимает около 5,0 ГБ на диске, рекомендуется 8 ГБ ОЗУ, а валидация достигает пика около 10 ГиБ.
Требуется AVX2, работает только на Linux и Windows (про macOS/ARM не упоминается); модель занимает около 5,0 ГБ на диске, рекомендуется 8 ГБ ОЗУ, а валидация достигает пика около 10 ГиБ.Какие операционные системы он поддерживает?Linux и Windows (второй — через тулчейн MinGW-w64 с небольшим слоем совместимости для маппинга памяти).
Linux и Windows (второй — через тулчейн MinGW-w64 с небольшим слоем совместимости для маппинга памяти).Насколько он быстрый по сравнению с llama.cpp?На AMD Ryzen 7 7700 int8-сборка gemma4.c обгоняет сборку llama.cpp Q8_0 по большинству длин prefill и скоростям декодирования, например 25,16 против 22,67 tok/s декодирования при контексте 512 токенов.
На AMD Ryzen 7 7700 int8-сборка gemma4.c обгоняет сборку llama.cpp Q8_0 по большинству длин prefill и скоростям декодирования, например 25,16 против 22,67 tok/s декодирования при контексте 512 токенов.Насколько точен int8-инференс по сравнению с настоящей моделью?Против Hugging Face Transformers с неквантованным чекпойнтом BF16 на пассаже WikiText-103 gemma4.c совпадает по top-1 токену в 96,5% случаев со средней KL-дивергенцией 0,005207.
Против Hugging Face Transformers с неквантованным чекпойнтом BF16 на пассаже WikiText-103 gemma4.c совпадает по top-1 токену в 96,5% случаев со средней KL-дивергенцией 0,005207.Как перевести веса модели в формат, который нужен этому рантайму?exporter.py конвертирует выпущенный Google неквантованный QAT-чекпойнт (google/gemma-4-E2B-it-qat-q40-unquantized) в бинарный формат int8 со масштабами FP16, который C-рантайм читает напрямую.
exporter.py конвертирует выпущенный Google неквантованный QAT-чекпойнт (google/gemma-4-E2B-it-qat-q40-unquantized) в бинарный формат int8 со масштабами FP16, который C-рантайм читает напрямую.Что есть в репозитории помимо кода инференса?gemma4.c содержит токенизатор, модель, кернелы и цикл генерации; exporter.py конвертирует чекпойнты; validation.py и validation.txt проверяют числовую точность против Transformers; win.c/win.h добавляют поддержку маппинга памяти в Windows; Makefile собирает обе платформы.
gemma4.c содержит токенизатор, модель, кернелы и цикл генерации; exporter.py конвертирует чекпойнты; validation.py и validation.txt проверяют числовую точность против Transformers; win.c/win.h добавляют поддержку маппинга памяти в Windows; Makefile собирает обе платформы.What are similar projects?Strata, jeeves, v100-skinny, turbo-fieldfare, llama.cpp, openTPU, deltafin, StartLux-Decision
Strata, jeeves, v100-skinny, turbo-fieldfare, llama.cpp, openTPU, deltafin, StartLux-DecisionWhich topics is it in?gemma, model, cpu, llama-cpp, inference-engine, llm-inference, quantization, openai-compatible, c, inference, benchmark, command-line-tool
gemma, model, cpu, llama-cpp, inference-engine, llm-inference, quantization, openai-compatible, c, inference, benchmark, command-line-tool