OmniInfer README

README проекта с github.com/omnimind-ai/OmniInfer. Одним файлом markdown: README.md.

OmniInfer logo

OmniInfer

English | 简体中文

Easy, fast, and private LLM & VLM inference for every device.

Main Platform CI Latest Release License

Quick Start · Documentation · Releases

Quick Start

Install OmniInfer

Linux x64 macOS arm64 Windows x64 PowerShell
curl -fsSL https://raw.githubusercontent.com/omnimind-ai/OmniInfer/main/scripts/install.sh | bash curl -fsSL https://raw.githubusercontent.com/omnimind-ai/OmniInfer/main/scripts/install.sh | bash irm https://raw.githubusercontent.com/omnimind-ai/OmniInfer/main/scripts/install.ps1 | iex

The installers download the latest CLI-only GitHub Release, verify its SHA-256 checksum, and install it for the current user. For fixed versions, custom paths, manual installation, source setup, and removal, see Installation.

Start in three steps

  1. Run omniinfer in a terminal.
  2. Choose a compatible backend. The TUI can install an available prebuilt runtime for you.
  3. Select a local model and start chatting.

To run the local OpenAI- and Anthropic-compatible service, start omniinfer serve and follow the CLI Guide or API Reference. Source builds and mobile embedding are documented separately.

News

Demo

Short, focused recordings of the main entry points. Each demo covers one capability.

Terminal UI — choose a backend, load a model, chat locally

Running omniinfer opens a terminal UI that recommends a compatible backend, loads a local model, and starts a fully local chat session.

Terminal UI selecting a backend, loading a model, and chatting locally

Static preview: terminal UI screenshot

Browser VLA demo — SmolVLA on LIBERO

The optional vla-libero example runs a SmolVLA policy through a managed vla.cpp runtime in the LIBERO simulator, showing live camera views, the predicted action, and latency in a browser dashboard.

SmolVLA LIBERO browser dashboard showing camera views, predicted actions, latency, and a successful rollout

Static preview: SmolVLA LIBERO dashboard screenshot

About

OmniInfer is a high-performance, cross-platform inference engine for running Large Language Models (LLM) and Vision-Language Models (VLM) locally. It abstracts away model compilation, hardware adaptation, and deployment complexity, enabling efficient local inference with minimal configuration.

OmniInfer powers the inference layer of Omni Studio, a unified model orchestration platform.

OmniInfer is fast with:

OmniInfer is flexible and easy to use with:

OmniInfer runs everywhere:

Platform Support

Platform Distribution Representative runtimes
Linux x64 Release CLI and source checkout llama.cpp, stable-diffusion.cpp, ik_llama.cpp, vLLM, vla.cpp
macOS arm64 Release CLI and source checkout llama.cpp, MLX, TurboQuant
Windows x64 Release CLI and source checkout llama.cpp, stable-diffusion.cpp, vLLM through WSL2
Android Gradle module llama.cpp, MNN, LiteRT-LM, ExecuTorch QNN
iOS Swift package Embedded native inference service

Runtime availability depends on the device and accelerator. Use omniinfer backend list for the current machine; backend names explains selectors and legacy compatibility and see the Build Guide for the full platform matrix.

Documentation

Start here

Operate and integrate

Build and embed

Architecture

OmniInfer architecture: entry points, Rust control plane, platform abstraction, inference engines, and supported models

Contributing

We welcome contributions and collaborations. See Contributing to OmniInfer to get involved.

Citation

If you use OmniInfer in research, cite this repository. GitHub can generate additional formats from CITATION.cff.

@software{omniinfer,
  author = {{Omnimind AI}},
  title = {OmniInfer},
  url = {https://github.com/omnimind-ai/OmniInfer}
}

License

OmniInfer is licensed under the Apache License 2.0. See LICENSE.

OmniInfer (omnimind-ai/OmniInfer)

Ищем в базе…

Что это такое?OmniInfer — кроссплатформенный движок инференса для локального запуска больших языковых моделей (LLM) и визуально-языковых моделей (VLM) на устройстве. Он служит слоем инференса для платформы оркестрации моделей Omni Studio.
Это приложение с графическим интерфейсом или инструмент командной строки?Это CLI со встроенным терминальным интерфейсом (TUI). Команда omniinfer открывает TUI, в котором выбирается бэкенд и загружается модель для чата, а omniinfer serve открывает HTTP API, совместимый с OpenAI и Anthropic.
Как установить и начать пользоваться?Установите через скрипт для своей платформы (curl -fsSL ... | bash на Linux/macOS, irm ... | iex в PowerShell на Windows), затем запустите omniinfer, дайте ему выбрать совместимый бэкенд, выберите локальную модель и начните общение.
Нужно ли самому устанавливать бэкенды инференса?Обычно нет: TUI может сам установить подходящую готовую среду выполнения из движков вроде llama.cpp, MNN, MLX или TurboQuant. Самые новые модели могут требовать бэкенда, собранного вручную из исходного кода, пока не выйдет подходящая готовая сборка.
Работает ли каждый бэкенд и среда выполнения на любом устройстве?Нет: доступность среды выполнения зависит от устройства и ускорителя, поэтому проверяйте её командой omniinfer backend list. Поддержка моделей в день выхода иногда работает только через бэкенд, собранный из исходного кода, до того как появится подходящая готовая среда выполнения.
Можно ли встроить это в мобильное приложение?Да: помимо десктопного и серверного CLI для Linux, macOS и Windows, OmniInfer включает модуль Android Gradle и пакет Swift для iOS, чтобы встраивать нативный локальный инференс прямо в мобильные приложения.
Мои данные когда-нибудь покидают устройство?Нет: OmniInfer создан для приватного, полностью локального инференса LLM и VLM. На самом устройстве он открывает только локальный API, совместимый с OpenAI и Anthropic.
Зачем нужен API, совместимый с OpenAI и Anthropic?Команда omniinfer serve открывает локальную HTTP-конечную точку, имитирующую API OpenAI и Anthropic. Поэтому существующие инструменты и SDK, созданные для этих сервисов, могут обращаться к вашим локальным моделям.
Что такое демо vla-libero?Это необязательный пример, который запускает политику vision-language-action SmolVLA через среду выполнения vla.cpp OmniInfer внутри симулятора LIBERO. Он показывает виды с камер, предсказанные действия и задержку на панели мониторинга в браузере.
Зачем OmniInfer поддерживает так много движков бэкенда?Разные сочетания оборудования и ОС подходят для разных сред выполнения (llama.cpp, MLX, MNN, TurboQuant и других), поэтому OmniInfer автоматически переключается на тот движок, который лучше всего работает на конкретном устройстве.
Что такое Omni Studio?Это единая платформа оркестрации моделей, упомянутая в README. OmniInfer служит её базовым слоем инференса и отвечает за непосредственный запуск моделей на устройстве.
Автор
omnimind-ai
Размер
105.8 MB
Звёзды
1.9K
Возраст
7 мес
Коммиты · 90 дней