Что это такое?
Семейство компактных мультимодальных ИИ-моделей от OpenBMB (MiniCPM-V и MiniCPM-o), созданных для работы на локальных устройствах, даже на телефонах: они понимают изображения, видео и текст, а в серии o — ещё и речь.
Семейство компактных мультимодальных ИИ-моделей от OpenBMB (MiniCPM-V и MiniCPM-o), созданных для работы на локальных устройствах, даже на телефонах: они понимают изображения, видео и текст, а в серии o — ещё и речь.Это приложение, модель или сервис?Это открытые модели плюс код для запуска на Python, а не готовое приложение для пользователя: их можно запускать через Ollama, llama.cpp, vLLM или Transformers либо обращаться к облачному API. Есть также открытые iOS-приложение и веб-демо с работой в реальном времени.
Это открытые модели плюс код для запуска на Python, а не готовое приложение для пользователя: их можно запускать через Ollama, llama.cpp, vLLM или Transformers либо обращаться к облачному API. Есть также открытые iOS-приложение и веб-демо с работой в реальном времени.Как его запустить?Быстрее всего — скачать MiniCPM-V 4.6 из официального каталога моделей Ollama. Иначе можно загрузить её через Transformers, запускать GGUF-сборки в llama.cpp или использовать API; типовые сценарии разобраны в Cookbook и на сайте документации.
Быстрее всего — скачать MiniCPM-V 4.6 из официального каталога моделей Ollama. Иначе можно загрузить её через Transformers, запускать GGUF-сборки в llama.cpp или использовать API; типовые сценарии разобраны в Cookbook и на сайте документации.Есть ли подводные камни при установке, о которых стоит знать?Декодирование видео через torchcodec конфликтует с некоторыми версиями CUDA (torch>=2.11 несёт CUDA 13.1); замените его на PyAV или зафиксируйте свою версию CUDA. Веб-демо в реальном времени может также подтормаживать при плохой сети.
Декодирование видео через torchcodec конфликтует с некоторыми версиями CUDA (torch>=2.11 несёт CUDA 13.1); замените его на PyAV или зафиксируйте свою версию CUDA. Веб-демо в реальном времени может также подтормаживать при плохой сети.На каких устройствах и в каких системах он реально работает?На всех трёх массовых мобильных ОС — iOS, Android и HarmonyOS — причём код адаптации для мобильных устройств открыт, плюс есть открытое iOS-приложение для iPhone и iPad. На компьютерах модель запускается через Ollama или llama.cpp.
На всех трёх массовых мобильных ОС — iOS, Android и HarmonyOS — причём код адаптации для мобильных устройств открыт, плюс есть открытое iOS-приложение для iPhone и iPad. На компьютерах модель запускается через Ollama или llama.cpp.Если он работает на моём устройстве, мои данные остаются на нём?Да — развёртывание локальное, поэтому изображения, видео и звук, которые вы подаёте на вход, остаются на вашем телефоне или компьютере. Как альтернатива есть облачный API-сервис, если не хочется ничего запускать у себя.
Да — развёртывание локальное, поэтому изображения, видео и звук, которые вы подаёте на вход, остаются на вашем телефоне или компьютере. Как альтернатива есть облачный API-сервис, если не хочется ничего запускать у себя.Мой ноутбук или телефон это потянет или нужен мощный GPU?Для MiniCPM-V 4.6 мощный не нужен: при 1,3 млрд параметров она рассчитана на телефоны и мобильные устройства, а дообучение работает на обычных потребительских видеокартах. 9B-версия MiniCPM-o 4.5 заметно тяжелее, а демо в реальном времени требует Mac или GPU.
Для MiniCPM-V 4.6 мощный не нужен: при 1,3 млрд параметров она рассчитана на телефоны и мобильные устройства, а дообучение работает на обычных потребительских видеокартах. 9B-версия MiniCPM-o 4.5 заметно тяжелее, а демо в реальном времени требует Mac или GPU.Чем MiniCPM-o отличается от MiniCPM-V?MiniCPM-V эффективно понимает изображения, видео и текст. MiniCPM-o идёт дальше: она принимает видео и аудио потоком в реальном времени и выдаёт текст и речь, поддерживая полнодуплексный живой разговор — модель может одновременно видеть, слышать и говорить.
MiniCPM-V эффективно понимает изображения, видео и текст. MiniCPM-o идёт дальше: она принимает видео и аудио потоком в реальном времени и выдаёт текст и речь, поддерживая полнодуплексный живой разговор — модель может одновременно видеть, слышать и говорить.Насколько хороша может быть модель на 1,3B параметров?MiniCPM-V 4.6 набирает 13 баллов в Artificial Analysis Intelligence Index против 10 у Qwen3.5-0.8B, тратя заметно меньше токенов на ответ, и обходит более крупную Ministral 3 3B. MiniCPM-o 4.5 приближается к Gemini 2.5 Flash по зрению и речи.
MiniCPM-V 4.6 набирает 13 баллов в Artificial Analysis Intelligence Index против 10 у Qwen3.5-0.8B, тратя заметно меньше токенов на ответ, и обходит более крупную Ministral 3 3B. MiniCPM-o 4.5 приближается к Gemini 2.5 Flash по зрению и речи.Что полнодуплексность означает на практике?Исходящие потоки (речь и текст) и входящие потоки в реальном времени (видео и аудио) не блокируют друг друга, поэтому модель может одновременно смотреть, слушать и говорить, а также действовать по своей инициативе — например, сама напомнить вам о чём-то.
Исходящие потоки (речь и текст) и входящие потоки в реальном времени (видео и аудио) не блокируют друг друга, поэтому модель может одновременно смотреть, слушать и говорить, а также действовать по своей инициативе — например, сама напомнить вам о чём-то.Можно ли дообучить её на своих данных?Да — она встраивается в экосистемы дообучения вроде SWIFT и LLaMA-Factory, а Align-Anything поддерживает DPO и SFT как по изображениям, так и по аудио. Квантизованные варианты поставляются в форматах GGUF, BNB, AWQ и GPTQ.
Да — она встраивается в экосистемы дообучения вроде SWIFT и LLaMA-Factory, а Align-Anything поддерживает DPO и SFT как по изображениям, так и по аудио. Квантизованные варианты поставляются в форматах GGUF, BNB, AWQ и GPTQ.Which topics is it in?harmonyos, video-understanding, llama-cpp, on-device, edge-ai, vision-language-model, gguf, transformers, vllm, text-to-speech, quantization, fine-tuning
harmonyos, video-understanding, llama-cpp, on-device, edge-ai, vision-language-model, gguf, transformers, vllm, text-to-speech, quantization, fine-tuning