DeepInfer README

README проекта с github.com/deepseek-ai/DeepInfer. Одним файлом markdown: README.md.

DeepInfer

DeepInfer is the high-performance inference framework that powers DeepSeek's large-scale production services. This open-source release provides offline inference with the core features needed for serving at scale.

Supported models:

Supported features:

Feature details and configuration
  • Optimized kernels: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, and custom TileLang kernels.
  • DSpark and confidence-scheduled verification: accelerate decoding with draft tokens and use confidence estimates to schedule verification. Set DEEPINFER_ENABLE_MTP_VARLEN=1; DEEPINFER_USE_NEXTN_DECODE controls the maximum draft length (default: 5).
  • Decoder SWA bounded replay: reduce decoder prefill work by replaying only a bounded suffix. Set DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact and DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 for the default V4.1 settings; the retained suffix must cover the SWA window plus the maximum backtracking length.
  • Asynchronous scheduling: overlap CPU batch scheduling with device execution. Enabled by default.
  • Batch-invariant inference: keep model results identical across different batch compositions. Enable with DEEPINFER_BATCH_INVARIANT=1 (NVIDIA only).
  • Deterministic sampling: produce identical outputs for identical input tokens and sampling parameters. Set DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0 and pass a fixed seq_seed to SamplingParams (NVIDIA only).
  • Structured outputs: constrain generation to a regex, JSON schema, or EBNF grammar. Pass so_args={"schema_type": ..., "schema": ...} to SamplingParams; see examples.

Supported hardware:

Required for a complete inference service (not included in this release):

Getting started

Prerequisites

Build from source

Before building DeepInfer, please create and activate an empty Python 3.12 environment.

# Use `ascend` instead for the Ascend platform
# Keep it exported in the environment where you run DeepInfer
export DEEPINFER_ACCELERATOR=nvidia
./build.sh

Offline inference

The default checkpoint, deepseek-ai/DeepSeek-V4.1-Flash-1017, is downloaded into the Hugging Face cache on the first run; set DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 to run from a local copy instead.

python examples/offline_inference.py

See examples for details.

Performance benchmarks

Prefill Decode
Prefill: non-cached input throughput vs. latency Decode: output throughput vs. per-user speed

Measured on 4 SM100 GPUs for prefill and 64 for decode — each within one scale-up domain. To reproduce the benchmarks, see run_sweep.sh.

Evaluation benchmarks

See eval/README.md.

License

DeepInfer is released under the Apache License 2.0. See LICENSE for details.

Acknowledgments

DeepInfer was originally built primarily on vLLM, with additional inspiration from SGLang and TensorRT-LLM. We thank their developers.

Citation

@misc{deepinfer2026,
  title = {DeepInfer: High-performance, large-scale inference framework for DeepSeek models},
  author = {DeepSeek-AI},
  year = {2026},
  publisher = {GitHub},
  howpublished = {\url{https://github.com/deepseek-ai/DeepInfer}},
}

DeepInfer (deepseek-ai/DeepInfer)

Ищем в базе…

26.2K ·GitHub
Что это такое?DeepInfer — это открытый релиз высокопроизводительного фреймворка для инференса, который DeepSeek использует для запуска собственного крупномасштабного продакшен-инференса. Сейчас поддерживается модель DeepSeek-V4.1-Flash.
DeepInfer — это полноценный стек для обслуживания или только движок инференса?Это сам движок оффлайн-инференса, а не готовый под ключ сервис. Для полноценного продакшен-развёртывания всё ещё нужны компоненты вроде системы KV-кэша и балансировки нагрузки, которых в этом релизе нет.
Как мне его запустить?Создайте и активируйте пустое окружение Python 3.12, соберите DeepInfer из исходного кода, затем запустите оффлайн-инференс. Контрольная точка по умолчанию (DeepSeek-V4.1-Flash-1017) загружается из кэша Hugging Face при первом запуске.
Что нужно установить перед сборкой?Нужны Linux с GCC 13 или новее и Python 3.12, а также CUDA 13, если у вас видеокарты NVIDIA, или CANN 9.2, если у вас NPU Huawei Ascend.
Чего не хватает, чтобы превратить это в полноценный сервис для продакшена?Релиз включает движок, но не включает систему KV-кэша, разделение этапов prefill и decode и балансировку нагрузки между data-parallel репликами. Всё это придётся построить или добавить самостоятельно.
На каком железе это на самом деле работает?DeepInfer работает только на двух конкретных семействах чипов: GPU NVIDIA класса SM100 и NPU Huawei Ascend 950. Поддержки любых GPU здесь нет.
Какие модели я реально могу запустить с DeepInfer сегодня?Сейчас официально поддерживается только DeepSeek-V4.1-Flash, которая по умолчанию загружается как контрольная точка deepseek-ai/DeepSeek-V4.1-Flash-1017.
Что такое DSpark и зачем мне это нужно?DSpark — это схема спекулятивного декодирования: она генерирует черновые токены и использует оценки уверенности, чтобы планировать момент их проверки, что ускоряет декодирование. Максимальная длина черновика настраивается через переменную окружения.
Зачем мне нужен инференс, инвариантный к батчингу, или детерминированное сэмплирование?Эти режимы, доступные только на NVIDIA, делают результаты одинаковыми независимо от того, как объединяются запросы в батчи, или при повторном запуске с тем же seed. Это важно для отладки, тестирования и воспроизводимых оценок.
На основе чего создан DeepInfer?Он создан в основном на базе vLLM, с дополнительными идеями проектирования, заимствованными у SGLang и TensorRT-LLM.
Какие есть похожие проекты?tokenspeed, MemT-1.0, twinspark, EAGLE-4, qwen3.8-Flash-DGX, LMCache, StartLux-Decision, ktransformers
Автор
deepseek-ai
Размер
3.1 MB
Звёзды
26.2K
Обновлён
КоммитNov 03
Возраст
1 мес
Коммиты · 90 дней