Что это такое?
MNN — это легковесный высокопроизводительный движок для инференса (и обучения) моделей глубокого обучения, созданный Alibaba. Он используется для эффективного запуска таких моделей, как LLM, диффузионные модели и CNN, на мобильных, встраиваемых и периферийных устройствах.
MNN — это легковесный высокопроизводительный движок для инференса (и обучения) моделей глубокого обучения, созданный Alibaba. Он используется для эффективного запуска таких моделей, как LLM, диффузионные модели и CNN, на мобильных, встраиваемых и периферийных устройствах.Это фреймворк, на котором я могу создавать приложения, или просто формат файлов моделей?Это полноценный фреймворк и набор инструментов для инференса и обучения: в него входят конвертер, сам вычислительный движок, инструменты сжатия и библиотека для компьютерного зрения в духе OpenCV, а также готовые рантайм-слои для LLM и диффузионных моделей поверх него.
Это полноценный фреймворк и набор инструментов для инференса и обучения: в него входят конвертер, сам вычислительный движок, инструменты сжатия и библиотека для компьютерного зрения в духе OpenCV, а также готовые рантайм-слои для LLM и диффузионных моделей поверх него.Как запустить модель с помощью MNN?Сначала вы конвертируете существующую модель (TensorFlow, Caffe, ONNX или TorchScript) в формат MNN с помощью MNN-Converter, а затем запускаете её движком MNN через его C++ или Python API на целевом устройстве.
Сначала вы конвертируете существующую модель (TensorFlow, Caffe, ONNX или TorchScript) в формат MNN с помощью MNN-Converter, а затем запускаете её движком MNN через его C++ или Python API на целевом устройстве.Нужны ли мне Python или набор инструментов для GPU, чтобы им пользоваться?Нет, MNN рассчитан на работу на устройстве без внешних зависимостей; при наличии он опционально использует Metal, OpenCL, Vulkan или CUDA для ускорения на GPU, а также предлагает Python API для более простого использования.
Нет, MNN рассчитан на работу на устройстве без внешних зависимостей; при наличии он опционально использует Metal, OpenCL, Vulkan или CUDA для ускорения на GPU, а также предлагает Python API для более простого использования.Одинаково ли хорошо работают все бэкенды?Нет, качество поддержки сильно зависит от бэкенда и точности: некоторые комбинации (например, CPU Native FP16 или NNAPI) помечены как содержащие ошибки или неоптимизированные ('B') либо вовсе не поддерживаются ('C'), тогда как другие, например ARM/AVX512, полностью оптимизированы ('S').
Нет, качество поддержки сильно зависит от бэкенда и точности: некоторые комбинации (например, CPU Native FP16 или NNAPI) помечены как содержащие ошибки или неоптимизированные ('B') либо вовсе не поддерживаются ('C'), тогда как другие, например ARM/AVX512, полностью оптимизированы ('S').Кто уже использует MNN в продакшене?MNN интегрирован в более чем 30 приложений Alibaba (Taobao, Tmall, Youku, DingTalk, Xianyu) в более чем 70 сценариях, а также используется в IoT и других встраиваемых устройствах.
MNN интегрирован в более чем 30 приложений Alibaba (Taobao, Tmall, Youku, DingTalk, Xianyu) в более чем 70 сценариях, а также используется в IoT и других встраиваемых устройствах.На каких платформах и устройствах он работает?MNN поддерживает iOS 8.0+, Android 4.3+ и другие встраиваемые устройства с интерфейсом POSIX, работая на CPU (x86/ARM) и GPU-бэкендах.
MNN поддерживает iOS 8.0+, Android 4.3+ и другие встраиваемые устройства с интерфейсом POSIX, работая на CPU (x86/ARM) и GPU-бэкендах.Не указано в READMEЛицензия Apache 2.0 — никаких заявленных ограничений сверх стандартных разрешительных условий.
Лицензия Apache 2.0 — никаких заявленных ограничений сверх стандартных разрешительных условий.Что такое MNN-LLM и какие модели он поддерживает?MNN-LLM — это рантайм на основе MNN для локального развёртывания больших языковых моделей на телефонах, ПК или IoT-устройствах. Поддерживаются модели Qianwen (Qwen), Baichuan, Zhipu, LLaMA, DeepSeek-R1 и Qwen3.
MNN-LLM — это рантайм на основе MNN для локального развёртывания больших языковых моделей на телефонах, ПК или IoT-устройствах. Поддерживаются модели Qianwen (Qwen), Baichuan, Zhipu, LLaMA, DeepSeek-R1 и Qwen3.Есть ли готовое приложение, которое я могу попробовать, не собирая всё из исходников?Да, MNN выпустил приложения-чаты для Android и iOS (MNN-LLM-Android, MNN LLM iOS) с генерацией текста, работой с изображениями, преобразованием аудио в текст и созданием изображений по тексту, а также приложение MNN TaoAvatar для офлайн-разговоров с 3D-аватаром.
Да, MNN выпустил приложения-чаты для Android и iOS (MNN-LLM-Android, MNN LLM iOS) с генерацией текста, работой с изображениями, преобразованием аудио в текст и созданием изображений по тексту, а также приложение MNN TaoAvatar для офлайн-разговоров с 3D-аватаром.Насколько MNN компактнее других фреймворков?Он очень компактен: статическая библиотека для iOS весит около 12 МБ, а основная динамическая библиотека для Android — всего около 800 КБ. Необязательная минимальная сборка (MNNBUILDMINI) уменьшает размер пакета ещё примерно на 25%.
Он очень компактен: статическая библиотека для iOS весит около 12 МБ, а основная динамическая библиотека для Android — всего около 800 КБ. Необязательная минимальная сборка (MNNBUILDMINI) уменьшает размер пакета ещё примерно на 25%.Зачем создали MNN, если можно было использовать TensorFlow Lite или PyTorch Mobile?MNN создан для собственных производственных задач Alibaba в связке «устройство — облако» и был протестирован в сравнении с TensorFlow, TensorFlow Lite, PyTorch, PyTorch Mobile и TVM; заявляется лидирующая в отрасли производительность на устройствах, что описано в статье OSDI'22.
MNN создан для собственных производственных задач Alibaba в связке «устройство — облако» и был протестирован в сравнении с TensorFlow, TensorFlow Lite, PyTorch, PyTorch Mobile и TVM; заявляется лидирующая в отрасли производительность на устройствах, что описано в статье OSDI'22.What are similar projects?ncnn, llama.cpp, onnxruntime, tvm, Model-Optimizer, openvino, qxotic, BitNet
ncnn, llama.cpp, onnxruntime, tvm, Model-Optimizer, openvino, qxotic, BitNetWhich topics is it in?opencl, ml, arm, edge-ai, inference-engine, onnx, vulkan, quantization, transformer, inference, cpp, cuda
opencl, ml, arm, edge-ai, inference-engine, onnx, vulkan, quantization, transformer, inference, cpp, cuda