Что это такое?
OpenVINO — это открытый набор инструментов от Intel для оптимизации и развёртывания AI-инференса: он берёт обученные модели глубокого обучения для компьютерного зрения, речи, обработки текста и генеративного AI и запускает их быстрее — от устройств на краю сети до облачных серверов.
OpenVINO — это открытый набор инструментов от Intel для оптимизации и развёртывания AI-инференса: он берёт обученные модели глубокого обучения для компьютерного зрения, речи, обработки текста и генеративного AI и запускает их быстрее — от устройств на краю сети до облачных серверов.Это библиотека, к которой я пишу код, или рантайм, который я запускаю?Это рантайм, к которому вы пишете код: есть API для C++, Python, C и NodeJS, плюс GenAI API с оптимизированными пайплайнами для LLM и диффузионных моделей. Модели конвертируются на входе, поэтому исходный фреймворк во время работы не нужен.
Это рантайм, к которому вы пишете код: есть API для C++, Python, C и NodeJS, плюс GenAI API с оптимизированными пайплайнами для LLM и диффузионных моделей. Модели конвертируются на входе, поэтому исходный фреймворк во время работы не нужен.Как его установить?В README показана установка одной командой через pip (pip install openvino), в документации есть другие готовые сборки, а также шаг проверки, что всё работает. Пример Quickstart затем проводит вас через развёртывание первой модели.
В README показана установка одной командой через pip (pip install openvino), в документации есть другие готовые сборки, а также шаг проверки, что всё работает. Пример Quickstart затем проводит вас через развёртывание первой модели.Он возьмёт мою модель PyTorch или нужен какой-то особый формат?Он работает с моделями из PyTorch, TensorFlow, ONNX, TensorFlow Lite, Keras, PaddlePaddle и JAX/Flax, а Hugging Face transformers и diffusers подключаются напрямую через Optimum Intel. Модели конвертируются, поэтому исходный фреймворк во время работы не нужен.
Он работает с моделями из PyTorch, TensorFlow, ONNX, TensorFlow Lite, Keras, PaddlePaddle и JAX/Flax, а Hugging Face transformers и diffusers подключаются напрямую через Optimum Intel. Модели конвертируются, поэтому исходный фреймворк во время работы не нужен.Мне нужна видеокарта Intel или обычного процессора хватит?Обычного процессора вполне достаточно — поддерживаются и x86, и ARM. Аппаратное ускорение сверх CPU — только от Intel: встроенные или дискретные видеокарты Intel и Intel NPU, причём развёртывание одинаково масштабируется от устройств на краю сети до облака.
Обычного процессора вполне достаточно — поддерживаются и x86, и ARM. Аппаратное ускорение сверх CPU — только от Intel: встроенные или дискретные видеокарты Intel и Intel NPU, причём развёртывание одинаково масштабируется от устройств на краю сети до облака.Он может запускать LLM и Stable Diffusion локально?Да — GenAI API предоставляет оптимизированные пайплайны для LLM и диффузионных моделей, а в ноутбуках показаны чат-бот на основе LLM, следование инструкциям, распознавание речи Whisper, генерация картинок из текста и мультимодальный ассистент LLaVa — и всё это работает через OpenVINO.
Да — GenAI API предоставляет оптимизированные пайплайны для LLM и диффузионных моделей, а в ноутбуках показаны чат-бот на основе LLM, следование инструкциям, распознавание речи Whisper, генерация картинок из текста и мультимодальный ассистент LLaVa — и всё это работает через OpenVINO.Можно отдавать модели по сети, а не встраивать инференс в своё приложение?Да — OpenVINO Model Server (OVMS) — это масштабируемое и производительное решение для раздачи моделей, оптимизированных под архитектуры Intel, а vLLM тоже может использовать OpenVINO как бэкенд для обслуживания LLM.
Да — OpenVINO Model Server (OVMS) — это масштабируемое и производительное решение для раздачи моделей, оптимизированных под архитектуры Intel, а vLLM тоже может использовать OpenVINO как бэкенд для обслуживания LLM.Он работает с инструментами вроде LangChain или Hugging Face?Да: Optimum Intel даёт доступ через Hugging Face API к моделям, оптимизированным под OpenVINO, а ещё есть интеграции с LlamaIndex, LangChain, Keras 3, ExecuTorch, torch.compile и execution provider для ONNX Runtime.
Да: Optimum Intel даёт доступ через Hugging Face API к моделям, оптимизированным под OpenVINO, а ещё есть интеграции с LlamaIndex, LangChain, Keras 3, ExecuTorch, torch.compile и execution provider для ONNX Runtime.Чем можно сжать модели перед развёртыванием?Neural Network Compression Framework (NNCF) покрывает продвинутые техники оптимизации вроде квантизации и разреженности, а Intel публикует тесты производительности, чтобы помочь выбрать железо под развёртывание.
Neural Network Compression Framework (NNCF) покрывает продвинутые техники оптимизации вроде квантизации и разреженности, а Intel публикует тесты производительности, чтобы помочь выбрать железо под развёртывание.What are similar projects?jeeves, transformers.js, airllm, petals, transformers, candle, Qwen, Model-Optimizer
jeeves, transformers.js, airllm, petals, transformers, candle, Qwen, Model-OptimizerWhich topics is it in?openvino, recommendation-system, good-first-issue, yolo, inference-engine, model-serving, stable-diffusion, onnx, diffusion-models, tensorflow, natural-language-processing, transformers
openvino, recommendation-system, good-first-issue, yolo, inference-engine, model-serving, stable-diffusion, onnx, diffusion-models, tensorflow, natural-language-processing, transformers