semantic-router README

README проекта с github.com/vllm-project/semantic-router. Одним файлом markdown: README.md.

vLLM Semantic Router

An open, programmable decision layer for models and compute.

Documentation | System Duo | Blog | Publications | Hugging Face | Slack

vllm-project%2Fsemantic-router | Trendshift Decision 3.0 — #1 on Hugging Face Trending Collections, October 14, 2026

Main GitHub Release Go Ask DeepWiki


About

Intelligence beyond any one model.

Give your agent harness one API for many models. vLLM Semantic Router selects or combines models for each call, guided by your policy.

Your harness keeps the agent loop, tools, and task state. The Router chooses among configured backends across local, private, and cloud compute.

Dimension Fragmented today With vLLM SR
Models Different models excel at different tasks. Select or combine models.
Compute Hardware varies in speed and capacity. Choose among configured backends.
Location Edge, private, and cloud. Keep calls within approved locations.
Preference Priorities change by task. Set quality, latency, and cost priorities.

Explore how it works →

Getting Started

Install

curl -fsSL https://vllm-sr.ai/install.sh | bash -s -- --channel stable

For pip, uv, or agent-driven installation, see the Installation Guide.

Try it online

Try System Duo: pick an example and it runs live in your browser, with a free key on first run.

Latest News

Earlier announcements

More announcements are available on the Blog and Publications pages.

Community

For questions, feedback, or to contribute, please join the #semantic-router channel in vLLM Slack. Track contributors, workgroups, and weekly activity at community.vllm-sr.ai.

Community Meetings

We host two monthly community meetings across APAC and the Americas:

Contributing

If you want to contribute, start with CONTRIBUTING.md.

For repository-native development workflow and validation commands, use AGENTS.md as the entrypoint and tools/agent/docs/README.md as the canonical index.

Citation

If you find Semantic Router helpful in your research or projects, please consider citing it:

@misc{semanticrouter2025,
  title={vLLM Semantic Router},
  author={vLLM Semantic Router Team},
  year={2025},
  howpublished={\url{https://github.com/vllm-project/semantic-router}},
}

Ecosystem & partnerships

An open ecosystem spanning research, infrastructure, and enterprise adoption.

vLLM Semantic Router's growing ecosystem: AMD, Hugging Face, Microsoft, Intel, NVIDIA, Red Hat, IBM, Liquid, DaoCloud, Delta, MBZUAI, McGill, KR Labs, University of Chicago, UC Berkeley, UMass Boston, University of Illinois Chicago, National Taiwan University, New York University, UBS, AI21, Bayer, Dell, and Nutanix.

semantic-router (vllm-project/semantic-router)

Ищем в базе…

Что это такое?Открытый программируемый слой принятия решений, который для каждого вызова выбирает или комбинирует LLM по вашей собственной политике, так что один API может объединять множество моделей на локальных, приватных и облачных вычислительных ресурсах.
Это модель, библиотека или сервис, который мне нужно запускать?Это серверный сервис маршрутизации: вы разворачиваете его и направляете обвязку агента на его эндпоинт инференса, после чего он выбирает между настроенными бэкендами.
Как это запустить?Установите его через pip или uv (или поручите установку агенту), следуя Installation Guide, затем направьте обвязку агента на эндпоинт роутера и используйте публичный идентификатор модели 'vllm-sr/auto'.
Нужно ли сначала установить Python или Kubernetes?Установка выполняется через pip или uv, поэтому нужен Python; в темах также упоминаются Kubernetes и развёртывание на базе Docker, но README не описывает обязательную настройку кластера.
Для кого это сделано?Для команд, которые используют несколько LLM или бэкендов, включая локальные, приватные и облачные вычислительные ресурсы, и хотят единый API и выбор моделей на основе политик.
Это рассчитано на работу в роли сервера?Да, он стоит перед вашими бэкендами моделей как эндпоинт, к которому обращается обвязка агента, что подходит для self-hosted или развёртывания на Kubernetes.
Могу ли я держать запросы внутри разрешённых мест?Да, в README сказано, что можно оставлять вызовы в разрешённых местах, задавая политику для edge-, приватных и облачных бэкендов.
Что такое смесь моделей в этой схеме?Вместо отправки каждого вызова одной модели роутер может выбирать или комбинировать несколько моделей для каждого запроса, руководствуясь приоритетами качества, задержки и стоимости, которые вы задаёте.
Можно ли попробовать до установки?Да, в README есть ссылка на онлайн-плейграунд, где можно посмотреть, как работает маршрутизация.
Что такое идентификатор модели 'vllm-sr/auto'?Это публичный идентификатор модели, который вы отправляете в запросах, чтобы роутер сам выбирал бэкенд, вместо того чтобы вы указывали конкретную модель.
Что изменилось в последних релизах?В changelog перечислены v0.3 Themis для маршрутизации с сохранением состояния в продакшене и v0.2 Athena, а также исследовательские статьи о маршрутизации на основе сигналов и о семантическом кэшировании с учётом категорий.
Автор
vllm-project
Размер
573 MB
Звёзды
6.5K
Возраст
1 г
Коммиты · 90 дней