Что это такое?
vLLM — это библиотека для быстрого инференса и развёртывания LLM, построенная на PagedAttention для эффективного управления памятью под ключи и значения внимания.
vLLM — это библиотека для быстрого инференса и развёртывания LLM, построенная на PagedAttention для эффективного управления памятью под ключи и значения внимания.Это библиотека, которую я импортирую, или отдельный сервер?И то, и другое: это Python-библиотека, которую можно использовать напрямую для инференса, а также есть API-сервер, совместимый с OpenAI, и поддержка Anthropic Messages API и gRPC для развёртывания моделей.
И то, и другое: это Python-библиотека, которую можно использовать напрямую для инференса, а также есть API-сервер, совместимый с OpenAI, и поддержка Anthropic Messages API и gRPC для развёртывания моделей.Как установить и запустить?Установите vLLM через uv или pip либо соберите из исходников для разработки; в документации есть полное руководство Quickstart.
Установите vLLM через uv или pip либо соберите из исходников для разработки; в документации есть полное руководство Quickstart.Какое железо нужно для запуска?Нужен поддерживаемый ускоритель: GPU от NVIDIA, AMD или Intel, процессоры x86/ARM/PowerPC либо специализированные плагины для оборудования, например Google TPU, Intel Gaudi, Huawei Ascend или Apple Silicon.
Нужен поддерживаемый ускоритель: GPU от NVIDIA, AMD или Intel, процессоры x86/ARM/PowerPC либо специализированные плагины для оборудования, например Google TPU, Intel Gaudi, Huawei Ascend или Apple Silicon.Поддерживает ли он любую модель, которую я ему дам?Он поддерживает более 200 архитектур моделей из Hugging Face, но модели вне этого списка (или очень новые архитектуры) могут не работать, пока не появится поддержка.
Он поддерживает более 200 архитектур моделей из Hugging Face, но модели вне этого списка (или очень новые архитектуры) могут не работать, пока не появится поддержка.Какие модели кроме обычных текстовых LLM может запускать vLLM?Поддерживаются модели Mixture-of-Experts (DeepSeek-V3, Mixtral, GPT-OSS), гибридные модели с attention и state-space (Mamba, Qwen3.5), мультимодальные модели (LLaVA, Qwen-VL, Pixtral), а также модели для эмбеддингов и поиска, а также reward- и классификационные модели.
Поддерживаются модели Mixture-of-Experts (DeepSeek-V3, Mixtral, GPT-OSS), гибридные модели с attention и state-space (Mamba, Qwen3.5), мультимодальные модели (LLaVA, Qwen-VL, Pixtral), а также модели для эмбеддингов и поиска, а также reward- и классификационные модели.Какие форматы квантизации поддерживаются?FP8, MXFP8/MXFP4, NVFP4, INT8, INT4, GPTQ/AWQ, GGUF, compressed-tensors, ModelOpt, TorchAO и другие.
FP8, MXFP8/MXFP4, NVFP4, INT8, INT4, GPTQ/AWQ, GGUF, compressed-tensors, ModelOpt, TorchAO и другие.Почему vLLM обеспечивает такую высокую пропускную способность?Он сочетает PagedAttention для эффективной памяти KV-кэша, continuous batching, chunked prefill, prefix caching, CUDA/HIP graphs, оптимизированные ядра для attention и GEMM/MoE, speculative decoding и генерацию ядер на основе torch.compile.
Он сочетает PagedAttention для эффективной памяти KV-кэша, continuous batching, chunked prefill, prefix caching, CUDA/HIP graphs, оптимизированные ядра для attention и GEMM/MoE, speculative decoding и генерацию ядер на основе torch.compile.Могу ли я запускать несколько LoRA-адаптеров одновременно?Да, в vLLM есть эффективная поддержка multi-LoRA как для обычных (dense), так и для MoE-слоёв модели.
Да, в vLLM есть эффективная поддержка multi-LoRA как для обычных (dense), так и для MoE-слоёв модели.What are similar projects?sglang, text-generation-inference, Qwen3.8-Flash-Next, ktransformers, TensorRT-LLM, jeeves, project-maya, verl
sglang, text-generation-inference, Qwen3.8-Flash-Next, ktransformers, TensorRT-LLM, jeeves, project-maya, verlWhich topics is it in?blackwell, tpu, gpt-oss, qwen3, llm-serving, model, rocm, kimi, speculative-decoding, mixture-of-experts, model-serving, amd
blackwell, tpu, gpt-oss, qwen3, llm-serving, model, rocm, kimi, speculative-decoding, mixture-of-experts, model-serving, amd