Что это такое?
Nano-vLLM это облегчённая переработка движка инференса vLLM, написанная с нуля для запуска больших языковых моделей. Её код занимает около 1 200 строк понятного Python.
Nano-vLLM это облегчённая переработка движка инференса vLLM, написанная с нуля для запуска больших языковых моделей. Её код занимает около 1 200 строк понятного Python.Это отдельный сервер или библиотека, которую я вызываю из своего кода?Это библиотека на Python: вы создаёте объект LLM и вызываете generate() в своём скрипте, почти полностью повторяя интерфейс vLLM.
Это библиотека на Python: вы создаёте объект LLM и вызываете generate() в своём скрипте, почти полностью повторяя интерфейс vLLM.Как мне его запустить?Установите пакет по инструкции из раздела Installation в README, вручную скачайте веса модели командой из раздела Model Download, затем запустите example.py, чтобы увидеть работающий вызов generate().
Установите пакет по инструкции из раздела Installation в README, вручную скачайте веса модели командой из раздела Model Download, затем запустите example.py, чтобы увидеть работающий вызов generate().Мне нужна видеокарта с CUDA, чтобы это запустить?Да. Для скорости проект использует тензорный параллелизм и захват графов CUDA, а свой бенчмарк он прогонял на ноутбучной видеокарте NVIDIA RTX 4070 Laptop GPU.
Да. Для скорости проект использует тензорный параллелизм и захват графов CUDA, а свой бенчмарк он прогонял на ноутбучной видеокарте NVIDIA RTX 4070 Laptop GPU.Как он на самом деле сравнивается с полным vLLM?В собственном бенчмарке проекта на модели Qwen3-0.6B и 256 запросах Nano-vLLM выдал 1434 токена в секунду против 1362 у vLLM. То есть он не уступает vLLM, а немного его опережает, хотя кода в нём лишь малая доля.
В собственном бенчмарке проекта на модели Qwen3-0.6B и 256 запросах Nano-vLLM выдал 1434 токена в секунду против 1362 у vLLM. То есть он не уступает vLLM, а немного его опережает, хотя кода в нём лишь малая доля.Какие оптимизации Nano-vLLM включает из коробки?Он использует префиксное кэширование, тензорный параллелизм, компиляцию через torch и захват графов CUDA, чтобы ускорить инференс.
Он использует префиксное кэширование, тензорный параллелизм, компиляцию через torch и захват графов CUDA, чтобы ускорить инференс.Зачем выбирать Nano-vLLM вместо обычного vLLM?Он даёт сопоставимую или немного большую пропускную способность и при этом его легко читать и менять: в нём около 1 200 строк Python, а кодовая база vLLM намного больше.
Он даёт сопоставимую или немного большую пропускную способность и при этом его легко читать и менять: в нём около 1 200 строк Python, а кодовая база vLLM намного больше.На какой модели и конфигурации проводился бенчмарк?В README бенчмарк проведён на модели Qwen3-0.6B с видеокартой RTX 4070 Laptop GPU (8GB). Запускались 256 запросов, длины входа и выхода случайно выбирались от 100 до 1024 токенов.
В README бенчмарк проведён на модели Qwen3-0.6B с видеокартой RTX 4070 Laptop GPU (8GB). Запускались 256 запросов, длины входа и выхода случайно выбирались от 100 до 1024 токенов.What are similar projects?jeeves, DMI, StartLux-Decision, Model-Optimizer, airllm, DeepGEMM, TypeLLM, tokenspeed
jeeves, DMI, StartLux-Decision, Model-Optimizer, airllm, DeepGEMM, TypeLLM, tokenspeedWhich topics is it in?inference-engine, llm-inference, vllm, transformer, nlp, large-language-models, artificial-intelligence, offline, inference, nvidia, cuda, pytorch
inference-engine, llm-inference, vllm, transformer, nlp, large-language-models, artificial-intelligence, offline, inference, nvidia, cuda, pytorch