14.8K ·GitHub
Что это такое?
TensorRT LLM — это фреймворк NVIDIA на Python для описания больших языковых моделей (а теперь и моделей генерации визуального контента). Он компилирует их в высокооптимизированные движки инференса, которые работают на видеокартах NVIDIA. В состав входят специальные вычислительные ядра и среды выполнения на Python и C++.
TensorRT LLM — это фреймворк NVIDIA на Python для описания больших языковых моделей (а теперь и моделей генерации визуального контента). Он компилирует их в высокооптимизированные движки инференса, которые работают на видеокартах NVIDIA. В состав входят специальные вычислительные ядра и среды выполнения на Python и C++.Это готовое приложение или библиотека, на основе которой я сам что-то строю?Это фреймворк/библиотека: вы описываете модель через его Python API, а он предоставляет среды выполнения (на Python и C++), которые запускают скомпилированный движок инференса. Готового приложения для конечного пользователя здесь нет.
Это фреймворк/библиотека: вы описываете модель через его Python API, а он предоставляет среды выполнения (на Python и C++), которые запускают скомпилированный движок инференса. Готового приложения для конечного пользователя здесь нет.Нужна ли мне видеокарта NVIDIA и CUDA, чтобы этим пользоваться?Да. TensorRT LLM создан специально для архитектур видеокарт NVIDIA (например, Hopper, Blackwell) и использует оптимизации на базе CUDA, такие как CUDA graphs и связь через NVLink.
Да. TensorRT LLM создан специально для архитектур видеокарт NVIDIA (например, Hopper, Blackwell) и использует оптимизации на базе CUDA, такие как CUDA graphs и связь через NVLink.Прирост производительности одинаков для любой видеокарты NVIDIA или только для самых новых?Многие ключевые оптимизации (разреженное внимание, настройка под DeepSeek-V4, более 1 000 TPS на пользователя) относятся к новейшим видеокартам Blackwell, например B200. Более старые поколения GPU поддерживаются, но таких показателей на них не будет.
Многие ключевые оптимизации (разреженное внимание, настройка под DeepSeek-V4, более 1 000 TPS на пользователя) относятся к новейшим видеокартам Blackwell, например B200. Более старые поколения GPU поддерживаются, но таких показателей на них не будет.Поддерживает ли оно генерацию изображений и видео, а не только текстовые LLM?Да. С апреля 2026 года TensorRT LLM поддерживает диффузионные модели, которые используются для генерации визуального контента (изображений и видео), помимо основного направления — языковых моделей.
Да. С апреля 2026 года TensorRT LLM поддерживает диффузионные модели, которые используются для генерации визуального контента (изображений и видео), помимо основного направления — языковых моделей.Насколько быстрее работает инференс с этим по сравнению с обычными настройками?NVIDIA сообщает о серьёзном ускорении: например, Llama 4 работает со скоростью более 40 000 токенов в секунду на GPU B200, а спекулятивное декодирование даёт до 3-кратного прироста пропускной способности.
NVIDIA сообщает о серьёзном ускорении: например, Llama 4 работает со скоростью более 40 000 токенов в секунду на GPU B200, а спекулятивное декодирование даёт до 3-кратного прироста пропускной способности.Теперь TensorRT LLM действительно открытый проект?Да. С марта 2026 года разработка полностью перенесена в этот публичный репозиторий на GitHub, то есть проект полностью открытый.
Да. С марта 2026 года разработка полностью перенесена в этот публичный репозиторий на GitHub, то есть проект полностью открытый.Поддерживает ли оно Mixture-of-Experts и спекулятивное декодирование?Да. В него входят оптимизации обмена данными для Mixture-of-Experts (например, односторонний AllToAll через NVLink) и несколько методов спекулятивного декодирования, включая декодирование на основе N-Gram.
Да. В него входят оптимизации обмена данными для Mixture-of-Experts (например, односторонний AllToAll через NVLink) и несколько методов спекулятивного декодирования, включая декодирование на основе N-Gram.Which topics is it in?blackwell, llm-serving, speculative-decoding, moe, llama, diffusion-models, high-performance, gpu-acceleration, quantization, transformer, large-language-models, artificial-intelligence
blackwell, llm-serving, speculative-decoding, moe, llama, diffusion-models, high-performance, gpu-acceleration, quantization, transformer, large-language-models, artificial-intelligence