22.1K ·GitHub
Что это такое?
ONNX Runtime — это кроссплатформенный высокопроизводительный ускоритель машинного обучения для инференса и обучения. Он запускает модели из PyTorch, TensorFlow/Keras и классических ML-библиотек вроде scikit-learn, LightGBM и XGBoost.
ONNX Runtime — это кроссплатформенный высокопроизводительный ускоритель машинного обучения для инференса и обучения. Он запускает модели из PyTorch, TensorFlow/Keras и классических ML-библиотек вроде scikit-learn, LightGBM и XGBoost.Это библиотека, которую я встраиваю в своё приложение, или отдельный инструмент?Это рантайм, который вы встраиваете в своё приложение или скрипт обучения, а не самостоятельный инструмент с интерфейсом. Вы приносите обученную модель, а ONNX Runtime выполняет её с оптимизацией под ваше железо.
Это рантайм, который вы встраиваете в своё приложение или скрипт обучения, а не самостоятельный инструмент с интерфейсом. Вы приносите обученную модель, а ONNX Runtime выполняет её с оптимизацией под ваше железо.С чего начать работу с ним?Документация и туториалы находятся на onnxruntime.ai/docs, есть также видеоуроки на YouTube. В репозиториях microsoft/onnxruntime-inference-examples и microsoft/onnxruntime-training-examples лежат рабочие примеры.
Документация и туториалы находятся на onnxruntime.ai/docs, есть также видеоуроки на YouTube. В репозиториях microsoft/onnxruntime-inference-examples и microsoft/onnxruntime-training-examples лежат рабочие примеры.Модели каких фреймворков он умеет запускать?Модели глубокого обучения из PyTorch и TensorFlow/Keras, а также классический ML из scikit-learn, LightGBM, XGBoost и похожих библиотек.
Модели глубокого обучения из PyTorch и TensorFlow/Keras, а также классический ML из scikit-learn, LightGBM, XGBoost и похожих библиотек.Отправляет ли он телеметрию в Microsoft?Он может собирать данные об использовании и отправлять их в Microsoft для улучшения продуктов и сервисов; подробности описаны в заявлении о конфиденциальности Microsoft.
Он может собирать данные об использовании и отправлять их в Microsoft для улучшения продуктов и сервисов; подробности описаны в заявлении о конфиденциальности Microsoft.Какая у него лицензия — могу ли я использовать его в своих продуктах?Он распространяется по лицензии MIT, так что его можно свободно использовать, в том числе в коммерческих продуктах.
Он распространяется по лицензии MIT, так что его можно свободно использовать, в том числе в коммерческих продуктах.Нужна ли мощная видеокарта, чтобы от него был смысл?Особые требования к железу отсутствуют — он работает на разном оборудовании, драйверах и операционных системах, задействуя аппаратные ускорители там, где они есть, а также оптимизации графа и преобразования.
Особые требования к железу отсутствуют — он работает на разном оборудовании, драйверах и операционных системах, задействуя аппаратные ускорители там, где они есть, а также оптимизации графа и преобразования.Может ли он снизить мои расходы на инференс?Это заявленная цель: в README сказано, что инференс может ускорить работу с клиентами и снизить затраты — за счёт оптимизаций графа и использования аппаратных ускорителей там, где они доступны.
Это заявленная цель: в README сказано, что инференс может ускорить работу с клиентами и снизить затраты — за счёт оптимизаций графа и использования аппаратных ускорителей там, где они доступны.Есть ли плагин для ускорителя QNN от Qualcomm?Да. Плагин QNN Plugin EP поддерживается в отдельном репозитории onnxruntime/onnxruntime-qnn, рядом с репозиториями примеров инференса и обучения.
Да. Плагин QNN Plugin EP поддерживается в отдельном репозитории onnxruntime/onnxruntime-qnn, рядом с репозиториями примеров инференса и обучения.What are similar projects?deeplearning4j, CNTK, TensorRT-LLM, openvino, FlashMLA, spaCy, jeeves, DeepGEMM
deeplearning4j, CNTK, TensorRT-LLM, openvino, FlashMLA, spaCy, jeeves, DeepGEMMWhich topics is it in?ai-framework, keras, scikit-learn, inference-engine, neural-networks, onnx, tensorflow, training, high-performance, transformer, inference, nvidia
ai-framework, keras, scikit-learn, inference-engine, neural-networks, onnx, tensorflow, training, high-performance, transformer, inference, nvidia