Что это такое?
Triton Inference Server — это систему с открытым исходным кодом для развёртывания обученных моделей ИИ из фреймворков TensorRT, PyTorch, ONNX, OpenVINO, Python и RAPIDS FIL; она обрабатывает запросы на инференс по HTTP/REST или gRPC.
Triton Inference Server — это систему с открытым исходным кодом для развёртывания обученных моделей ИИ из фреймворков TensorRT, PyTorch, ONNX, OpenVINO, Python и RAPIDS FIL; она обрабатывает запросы на инференс по HTTP/REST или gRPC.Это библиотека, которую я импортирую, или отдельный сервер?Это отдельный серверный процесс: вы помещаете модели в репозиторий моделей, а Triton отдаёт их по HTTP/REST или gRPC; дополнительно есть API на C и Java для подключения внутри процесса.
Это отдельный серверный процесс: вы помещаете модели в репозиторий моделей, а Triton отдаёт их по HTTP/REST или gRPC; дополнительно есть API на C и Java для подключения внутри процесса.Как это запустить?Рекомендуемый способ — запустить через Docker-образы из NGC, следуя руководству Quick Start: поместите модели в репозиторий моделей, затем запустите контейнер Triton, указав этот репозиторий.
Рекомендуемый способ — запустить через Docker-образы из NGC, следуя руководству Quick Start: поместите модели в репозиторий моделей, затем запустите контейнер Triton, указав этот репозиторий.Нужна ли видеокарта NVIDIA для запуска?Нет, Triton поддерживает как развёртывание на GPU, так и на CPU; в руководстве quickstart есть пример запуска Triton на системах только с CPU, также поддерживаются процессоры x86/ARM и AWS Inferentia.
Нет, Triton поддерживает как развёртывание на GPU, так и на CPU; в руководстве quickstart есть пример запуска Triton на системах только с CPU, также поддерживаются процессоры x86/ARM и AWS Inferentia.Работают ли все бэкенды на любой платформе?Нет, не каждый бэкенд поддерживается на каждой целевой платформе; чтобы узнать, какие бэкенды (TensorRT, PyTorch, ONNX, OpenVINO и др.) доступны для вашей конфигурации, проверьте таблицу совместимости Backend-Platform Support Matrix.
Нет, не каждый бэкенд поддерживается на каждой целевой платформе; чтобы узнать, какие бэкенды (TensorRT, PyTorch, ONNX, OpenVINO и др.) доступны для вашей конфигурации, проверьте таблицу совместимости Backend-Platform Support Matrix.Для кого это предназначено?Это для команд ML/AI, которым нужно масштабно развёртывать боевые модели в облаке, дата-центрах, на периферийных и встраиваемых устройствах; также продукт предлагается коммерчески в составе NVIDIA AI Enterprise с корпоративной поддержкой.
Это для команд ML/AI, которым нужно масштабно развёртывать боевые модели в облаке, дата-центрах, на периферийных и встраиваемых устройствах; также продукт предлагается коммерчески в составе NVIDIA AI Enterprise с корпоративной поддержкой.Может ли он запускать несколько моделей или этапов моделей вместе?Да, Triton поддерживает конвейеры моделей через Ensembling и Business Logic Scripting (BLS), позволяя объединять несколько моделей и шаги предобработки и постобработки в один поток обработки запроса.
Да, Triton поддерживает конвейеры моделей через Ensembling и Business Logic Scripting (BLS), позволяя объединять несколько моделей и шаги предобработки и постобработки в один поток обработки запроса.Могу ли я добавить свой бэкенд для инференса?Да, Triton позволяет создавать собственные бэкенды на C/C++ или Python, включая decoupled-бэкенды, которые могут отправлять на один запрос несколько ответов или ни одного.
Да, Triton позволяет создавать собственные бэкенды на C/C++ или Python, включая decoupled-бэкенды, которые могут отправлять на один запрос несколько ответов или ни одного.Как он эффективно обрабатывает много одновременных запросов?Он использует одновременное выполнение моделей, динамическое батчирование и секвенциальное батчирование с неявным управлением состоянием для моделей с состоянием, чтобы максимизировать пропускную способность и загрузку GPU.
Он использует одновременное выполнение моделей, динамическое батчирование и секвенциальное батчирование с неявным управлением состоянием для моделей с состоянием, чтобы максимизировать пропускную способность и загрузку GPU.Можно ли следить за производительностью сервера?Да, Triton отдаёт метрики загрузки GPU, пропускной способности и задержки сервера, а также включает инструменты Performance Analyzer и Model Analyzer для профилирования и оптимизации.
Да, Triton отдаёт метрики загрузки GPU, пропускной способности и задержки сервера, а также включает инструменты Performance Analyzer и Model Analyzer для профилирования и оптимизации.What are similar projects?yolov5, InstinctFlash, ComfyUI-H3VAE_TRT, onnxruntime, GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold, text-generation-inference, TensorRT, openvino
yolov5, InstinctFlash, ComfyUI-H3VAE_TRT, onnxruntime, GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold, text-generation-inference, TensorRT, openvinoWhich topics is it in?tensorrt, edge, inference-engine, model-serving, grpc, onnx, inference, nvidia, pytorch, rest-api, cloud, performance
tensorrt, edge, inference-engine, model-serving, grpc, onnx, inference, nvidia, pytorch, rest-api, cloud, performance