llamafile README

The project's README from github.com/mozilla-ai/llamafile. As one markdown file: README.md.

llamafile

[line drawing of llama animal head in front of slightly open manilla folder filled with files]

License ci status Based on llama.cpp Based on whisper.cpp Discord Mozilla Builders

llamafile lets you distribute and run LLMs with a single file.

llamafile is a Mozilla Builders project (see its announcement blog post), now revamped by Mozilla.ai.

Our goal is to make open LLMs much more accessible to both developers and end users. We're doing that by combining llama.cpp with Cosmopolitan Libc into one framework that collapses all the complexity of LLMs down to a single-file executable (called a "llamafile") that runs locally on most operating systems and CPU architectures, with no installation.

llamafile also includes whisperfile, a single-file speech-to-text tool built on whisper.cpp and the same Cosmopolitan packaging. It supports transcription and translation of audio files across all the same platforms, with no installation required.

v0.10.*

llamafile versions starting from 0.10.0 use a new build system, aimed at keeping our code more easily aligned with the latest versions of llama.cpp. This means they support more recent models and functionalities, but at the same time they might be missing some of the features you were accustomed to (check out this doc for a high-level description of what has been done). If you liked the "classic experience" more, you will always be able to access the previous versions from our releases page. Our pre-built llamafiles always show which version of the server they have been bundled with (0.9.* example, 0.10.* example), so you will always know which version of the software you are downloading.

We want to hear from you! Whether you are a new user or a long-time fan, please share what you find most valuable about llamafile and what would make it more useful for you. Read more via the blog and add your voice to the discussion here.

Quick Start

Download and run your first llamafile in minutes:

# Download an example model (Qwen3.5 0.8B)
curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile

# Make it executable (macOS/Linux/BSD)
chmod +x Qwen3.5-0.8B-Q8_0.llamafile

# Run it
./Qwen3.5-0.8B-Q8_0.llamafile

We chose this model because that's the smallest one we have built a llamafile for, so most likely to work out-of-the-box for you. If you have powerful hardware and/or GPUs, feel free to choose larger and more expressive models which should provide more accurate responses.

Windows users: Rename the file to add .exe extension before running.

Note - Only executables under 4GB can run on Windows, so any llamafile above 4GB won't work. Download the llamafile binary and run it with any external weights/models(GGUF).

Documentation

Check the full documentation at docs.mozilla.ai/llamafile, or directly jump into one of the following subsections:

Licensing

While the llamafile project is Apache 2.0-licensed, our changes to llama.cpp and whisper.cpp are licensed under MIT (just like the projects themselves) so as to remain compatible and upstreamable in the future, should that be desired.

The llamafile logo on this page was generated with the assistance of DALL·E 3.

Star History Chart

llamafile (mozilla-ai/llamafile)

Searching Database…

26.4K ·GitHub
Llamafile
Что это такое?llamafile превращает открытые LLM в исполняемые файлы из одного файла: один файл, который запускает чат-модель локально на большинстве операционных систем и архитектур процессоров, без установки. Это проект Mozilla Builders, который сейчас переделывает Mozilla.ai.
Это фреймворк, на котором я буду что-то собирать, или готовая программа, которую я скачиваю?И то и другое: внутри это llama.cpp в связке с Cosmopolitan Libc, но как пользователь вы просто скачиваете готовый llamafile и запускаете его. Тот же бинарник умеет работать и с внешними весами GGUF, которые у вас уже есть.
Как мне его запустить?Скачайте готовый llamafile и просто запустите его — этапа установки нет. В Windows сначала переименуйте файл, добавив расширение .exe. Начните с их самой маленькой модели — она вероятнее всего заработает сразу, без настройки.
Есть ли подводные камни, о которых стоит знать?Да: в Windows могут работать только исполняемые файлы меньше 4 ГБ, так что более крупные llamafile там не запустятся. Кроме того, начиная с v0.10 система сборки была переписана, чтобы не отставать от свежего llama.cpp, поэтому некоторые возможности классических версий могут отсутствовать.
Он обращается к облачному API или всё работает на моём компьютере?Всё выполняется локально на вашем железе — в README ни на одном этапе работы не упоминается облачный сервис или аккаунт.
Что именно здесь делает Cosmopolitan Libc?Это та часть, благодаря которой один файл работает везде: llama.cpp компонуется с ней, и получившийся исполняемый файл запускается нативно на большинстве операционных систем и архитектур процессоров — именно поэтому нечего устанавливать.
А старые версии ещё доступны, если в v0.10 убрали нужную мне функцию?Да — предыдущие версии остаются на странице релизов. К тому же готовые llamafile показывают, какая версия сервера внутри (0.9.x или 0.10.x), так что вы знаете, что скачиваете.
Зачем всё в одном файле, если можно просто запустить llama.cpp?Заявленная цель — доступность: свести всю сложность LLM к одному исполняемому файлу, чтобы открытые модели разработчикам и обычным пользователям стало намного проще запускать и делиться ими.
What are similar projects?project-maya, Strata, jev, Janus, ODS, rizzo-flow, gpt4all, mlx-serve
Which topics is it in?llamacpp, llama-cpp, gguf, local-ai, whisper, speech-to-text, llm-inference, local-llm, inference, cpp, c++, gpu
Creator
mozilla-ai
Size
27.5 MB
Stars
26.4K
Updated
CommitOct 08Release0.10.6Sep 15
Age
3y
Commits · 90 Days