tokenspeed README

README проекта с github.com/lightseekorg/tokenspeed. Одним файлом markdown: README.md.

TokenSpeed: Tokens at the speed of light

TokenSpeed is a speed-of-light LLM inference engine designed for agentic workloads, with TensorRT-LLM-level performance and vLLM-level usability. The goal is to be the most performant inference engine for production agentic workloads.

Core components:

Differentiation

TokenSpeed takes a fundamentally different architectural approach from existing LLM inference engines. The PyTorch Foundation highlighted these architectural differentiators when welcoming TokenSpeed to the PyTorch Ecosystem Landscape:

TokenSpeed is an open source LLM inference engine and the first to separate the control plane from the execution plane. The control plane is implemented in C++ as a finite-state machine, using the type system to enforce safe resource management, including request lifecycles and KV cache state, at compile time rather than runtime. The execution plane is implemented in Python, enabling fast iteration and lowering the cognitive load for researchers and engineers. This architecture combines strong correctness guarantees in the core scheduling system with the development velocity of a high-level execution layer.

TokenSpeed also treats kernels as a first-class, modular subsystem, separating them from the core engine through a portable public API, centralized registry and selection model, and an extensible plugin mechanism for heterogeneous accelerators.

More importantly, TokenSpeed is the Switzerland of open-source LLM inference engines: neutral because it's backed by the non-profit LightSeek Foundation rather than a commercial company, with serious hardware and engineering support from vendors such as NVIDIA and AMD.

News

Blogs and talks

For technical blogs, conference talks, and engineering articles from the LightSeek Foundation, visit the LightSeek Blog.

Sponsors and partners

LightSeek's work is advanced by the support of sponsors and partners across the AI ecosystem.

Performance comparison

TokenSpeed vs. TensorRT-LLM Pareto curves on agentic workloads (Kimi K2.5, B200)

TokenSpeed vs. TensorRT-LLM Pareto curves on agentic workloads (Kimi K2.5, B200)

Documentation

Start here:

Citation

@misc{tokenspeed2026,
  author       = {{TokenSpeed Team}},
  title        = {{TokenSpeed}: A Speed-of-Light {LLM} Inference Engine},
  year         = {2026},
  howpublished = {\url{https://github.com/lightseekorg/tokenspeed}}
}

tokenspeed (lightseekorg/tokenspeed)

Ищем в базе…

Что это такое?TokenSpeed — движок для инференса LLM со скоростью на уровне предела возможного, созданный для агентных нагрузок. Цель проекта — достичь производительности уровня TensorRT-LLM при удобстве использования уровня vLLM.
Это библиотека, которую я импортирую, или сервер, который я запускаю?Это сервер, который запускается через точку входа AsyncLLM и обслуживает модели. Это не простая библиотека для инференса, которую можно установить через pip и импортировать.
Как запустить модель в TokenSpeed?В документации есть руководство «Getting Started» и страница «Launching a Server», которые шаг за шагом показывают, как развернуть сервер инференса с конкретными рецептами для моделей.
Нужно ли специальное железо, чтобы это запустить?Да. Движок рассчитан на мощные ускорители: видеокарты NVIDIA Blackwell/Rubin (B200/B300/GB200/GB300) и AMD Instinct (MI355X/MI455X). Обычное потребительское железо для него не подходит.
Работает ли это хорошо на любой видеокарте или только на самых новых чипах?Основные бенчмарки и оптимизации (585–685 токенов/с на пользователя, инференс в FP4) показаны на новейших серверных GPU NVIDIA и AMD. Производительность на старых или потребительских видеокартах в README не описана.
Для кого создан этот движок?Он рассчитан на исследователей и инженеров в области ML-систем, которые запускают агентные LLM-нагрузки в промышленном масштабе и нуждаются как в высокой пропускной способности, так и в гибкости для быстрых итераций.
Чем архитектура TokenSpeed отличается от таких движков, как vLLM?Система разделена на управляющую плоскость (конечный автомат на C++, который на этапе компиляции обеспечивает безопасное управление KV-кэшем и жизненным циклом запросов) и плоскость исполнения (Python, для быстрых итераций). Кроме того, ядра вычислений организованы как подключаемая подсистема с централизованной регистрацией.
Что такое MLA и зачем это здесь нужно?MLA расшифровывается как Multi-head Latent Attention. TokenSpeed включает одну из самых быстрых реализаций ядер MLA на NVIDIA Blackwell, оптимизированную специально для агентных нагрузок.
Какие модели TokenSpeed поддерживает из коробки?В README отмечены поддержка в день выхода (Day-0) и оптимизация для таких моделей, как Kimi K3/K2.5, Qwen3.5/3.8, GLM 5.3, DeepSeek, GPT-OSS и MiniMax.
Почему проект называет себя «Швейцарией» среди движков инференса?Проект ведёт некоммерческий фонд LightSeek Foundation, а не одна компания. При этом техническую и инженерную поддержку оказывают и NVIDIA, и AMD, поэтому проект остаётся независимым от конкретного производителя.
Какие есть похожие проекты?sglang, vllm, resin, EAGLE-4, qwen3.8-Flash-DGX, project-maya, LMCache, v100-skinny
Автор
lightseekorg
Размер
63.6 MB
Звёзды
2.9K
Возраст
6 мес
Коммиты · 90 дней