这是什么?
OpenBMB 推出的一系列可装进口袋的多模态 AI 模型(MiniCPM-V 和 MiniCPM-o),专为在本地设备甚至手机上运行而设计——能理解图片、视频和文本,o 系列还能处理语音。
OpenBMB 推出的一系列可装进口袋的多模态 AI 模型(MiniCPM-V 和 MiniCPM-o),专为在本地设备甚至手机上运行而设计——能理解图片、视频和文本,o 系列还能处理语音。它是应用、模型还是服务?它不是面向普通用户的应用,而是开放权重的模型加 Python 推理代码:你可以通过 Ollama、llama.cpp、vLLM 或 Transformers 来运行,也可以调用托管 API。另外还有开源的 iOS 应用和实时网页演示。
它不是面向普通用户的应用,而是开放权重的模型加 Python 推理代码:你可以通过 Ollama、llama.cpp、vLLM 或 Transformers 来运行,也可以调用托管 API。另外还有开源的 iOS 应用和实时网页演示。我怎么把它跑起来?最快的办法:从 Ollama 官方模型库拉取 MiniCPM-V 4.6。也可以用 Transformers 加载,在 llama.cpp 里运行 GGUF 版本,或者直接用 API;常见场景在 Cookbook 和文档站点里都有说明。
最快的办法:从 Ollama 官方模型库拉取 MiniCPM-V 4.6。也可以用 Transformers 加载,在 llama.cpp 里运行 GGUF 版本,或者直接用 API;常见场景在 Cookbook 和文档站点里都有说明。安装时有什么坑需要提前知道?通过 torchcodec 解码视频会和某些 CUDA 版本冲突(torch>=2.11 自带 CUDA 13.1);可以换成 PyAV,或者固定 CUDA 版本。另外网络不好的话,实时网页演示也可能卡顿。
通过 torchcodec 解码视频会和某些 CUDA 版本冲突(torch>=2.11 自带 CUDA 13.1);可以换成 PyAV,或者固定 CUDA 版本。另外网络不好的话,实时网页演示也可能卡顿。它到底能在哪些设备和系统上运行?三大主流手机系统都支持——iOS、Android 和鸿蒙(HarmonyOS),端侧适配代码已经开源,还有开源的 iOS 应用可用于 iPhone 和 iPad。在电脑上则可以通过 Ollama 或 llama.cpp 运行。
三大主流手机系统都支持——iOS、Android 和鸿蒙(HarmonyOS),端侧适配代码已经开源,还有开源的 iOS 应用可用于 iPhone 和 iPad。在电脑上则可以通过 Ollama 或 llama.cpp 运行。如果它在我设备上运行,我的数据会留在本地吗?会——它是端侧部署,你输入的图片、视频和音频都留在你的手机或电脑上。如果不想在本地跑任何东西,也可以选择托管 API 服务。
会——它是端侧部署,你输入的图片、视频和音频都留在你的手机或电脑上。如果不想在本地跑任何东西,也可以选择托管 API 服务。我的笔记本或手机跑得动吗,还是需要大显卡?跑 MiniCPM-V 4.6 不需要大显卡:它只有 1.3B 参数,目标就是手机和边缘设备,在消费级显卡上也能微调。9B 的 MiniCPM-o 4.5 更吃资源,实时演示则需要 Mac 或显卡。
跑 MiniCPM-V 4.6 不需要大显卡:它只有 1.3B 参数,目标就是手机和边缘设备,在消费级显卡上也能微调。9B 的 MiniCPM-o 4.5 更吃资源,实时演示则需要 Mac 或显卡。MiniCPM-o 和 MiniCPM-V 有什么区别?MiniCPM-V 负责高效的图片、视频和文本理解。MiniCPM-o 更进一步:可以实时流式输入视频和音频,输出文本和语音,还支持全双工实时对话——它能同时看、听和说。
MiniCPM-V 负责高效的图片、视频和文本理解。MiniCPM-o 更进一步:可以实时流式输入视频和音频,输出文本和语音,还支持全双工实时对话——它能同时看、听和说。1.3B 的模型到底能有多强?在 Artificial Analysis Intelligence Index 上,MiniCPM-V 4.6 拿到 13 分,Qwen3.5-0.8B 只有 10 分,而且它每个回答消耗的 token 少得多,还超过了更大的 Ministral 3 3B。MiniCPM-o 4.5 在视觉和语音方面接近 Gemini 2.5 Flash。
在 Artificial Analysis Intelligence Index 上,MiniCPM-V 4.6 拿到 13 分,Qwen3.5-0.8B 只有 10 分,而且它每个回答消耗的 token 少得多,还超过了更大的 Ministral 3 3B。MiniCPM-o 4.5 在视觉和语音方面接近 Gemini 2.5 Flash。全双工实际用起来是什么意思?输出流(语音和文本)与实时输入流(视频和音频)互不阻塞,所以模型可以一边看、一边听、一边说话,还能主动行动,比如在没人提示的情况下主动提醒你某件事。
输出流(语音和文本)与实时输入流(视频和音频)互不阻塞,所以模型可以一边看、一边听、一边说话,还能主动行动,比如在没人提示的情况下主动提醒你某件事。我可以用自己的数据微调它吗?可以——它能接入 SWIFT 和 LLaMA-Factory 这类微调生态,Align-Anything 还支持在视觉和音频上做 DPO 和 SFT。量化版本提供 GGUF、BNB、AWQ 和 GPTQ 格式。
可以——它能接入 SWIFT 和 LLaMA-Factory 这类微调生态,Align-Anything 还支持在视觉和音频上做 DPO 和 SFT。量化版本提供 GGUF、BNB、AWQ 和 GPTQ 格式。Which topics is it in?harmonyos, video-understanding, llama-cpp, on-device, vision-language-model, edge-ai, gguf, transformers, vllm, text-to-speech, quantization, fine-tuning
harmonyos, video-understanding, llama-cpp, on-device, vision-language-model, edge-ai, gguf, transformers, vllm, text-to-speech, quantization, fine-tuning