hyperflare-inference README

README проекта с github.com/NVIDIA/hyperflare-inference. Одним файлом markdown: README.md.

Flare — ASCII wordmark above a supermassive solar flare

Coding agents: skip this README and read AGENTS.md directly.

Hyperflare is a local inference server for NVIDIA SM120/SM121 GPUs, built for long conversations, coding agents, and repeated tool use. Its goal is to make the memory, bandwidth, and compute in workstations and compact systems such as DGX Spark go further, while keeping generation responsive.

This is a research prototype, and is made available via open-source to enable technical collaboration and collect early feedback.

The design rests on a few principles:

vLLM covers a much broader range of models, hardware, and deployment patterns. Hyperflare trades that breadth for a focused serving contract around selected models and local workloads. Hyperflare is not, and will never be, a replacement for production inference engines like vLLM.

Think of Hyperflare as a specialized option when its hardware and model coverage fit your machine.

Start with model preparation and serving. For native Windows development and serving prebuilt model cores, follow Windows serving. See the CLI guide for configuration and the core design for the architectural reasoning.

Licensing and contributions

Hyperflare's project code is licensed under Apache 2.0. Contributions require the sign-off described in CONTRIBUTING.md. Third-party attributions are listed in NOTICE; upstream terms remain applicable to third-party code and assets.

The PyTorch-derived image resizing implementation in helios/ retains the PyTorch BSD-style license, also distributed with Heliopause. The DeepSeek recipe assets retain their MIT license. The heliopause/LICENSE and heliopause/NOTICE symlinks refer to the root files for Python package distribution.

Upstream chat templates are fetched with the model checkpoints and annotated locally using bundled insertion patches. Gemma uses pinned Google sources. The custom Kimi segmented renderer is included as project code. Downloaded model assets and exported model cores retain their upstream terms; see frontend preparation.

hyperflare-inference (NVIDIA/hyperflare-inference)

Ищем в базе…

Что это такое?Flare — это локальный сервер инференса, созданный специально для GPU NVIDIA SM120/SM121 и рассчитанный на долгие диалоги, агентов для написания кода и многократное использование инструментов. Это исследовательский прототип с открытым исходным кодом, выпущенный, чтобы собрать ранние отзывы и открыть возможности для совместной работы.
Это полная замена чему-то вроде vLLM?Нет. vLLM поддерживает гораздо более широкий набор моделей, оборудования и схем развертывания. Flare намеренно жертвует этой широтой ради сфокусированного контракта на обслуживание выбранных моделей и локальных задач на одной машине.
Как это запустить?Начните с подготовки и запуска модели, а настройку смотрите в руководстве по CLI. Если хотите разобраться глубже, в документе о базовом дизайне объясняются архитектурные решения.
Нужно ли специальное GPU-оборудование?Да. Flare рассчитан на GPU NVIDIA SM120/SM121, которые встречаются в рабочих станциях и компактных системах, таких как DGX Spark. Это не универсальный сервер инференса для оборудования разных производителей.
Можно ли это использовать в продакшене?Нет. Проект прямо называет себя исследовательским прототипом, открытым для сбора ранних отзывов и технического сотрудничества, а не системой обслуживания моделей промышленного уровня.
Может ли агент для написания кода просто прочитать этот README, чтобы использовать Flare?Напрямую нет. README предписывает агентам для написания кода пропустить его и вместо этого читать AGENTS.md, где есть инструкции по настройке и использованию.
Зачем не использовать vLLM для локального обслуживания моделей?Flare нацелен на то, чтобы максимально эффективно использовать память, пропускную способность и вычислительные ресурсы одной рабочей станции в долгих сессиях с многократным использованием инструментов. Состояние диалога, включая рекуррентное состояние и KV-кэши, рассматривается как то, что можно повторно использовать, ветвить и возобновлять. Это более узкая цель, чем широкая поддержка производственных сценариев, которую обеспечивает vLLM.
Что такое Ignition и Helios?Ignition — это этап сборки на Python/PyTorch, который компилирует модели и фиксирует графы CUDA в готовый пакет для выполнения. Helios — небольшая среда выполнения на Rust, которая обслуживает этот пакет и отвечает за планирование, хранение кэшей и обработку запросов без Python.
Какие есть похожие проекты?LMCache, TensorFold, twinspark, pd-bridge, v100-skinny, qwen3.8-Flash-DGX, ds4, InstinctFlash
Автор
NVIDIA
Размер
36 MB
Звёзды
817
Возраст
29 д
Коммиты · 90 дней