Что это?
MiniCPM — семейство небольших LLM с открытым исходным кодом от OpenBMB, созданных для работы на устройствах и в условиях ограниченных ресурсов. Самый новый релиз, MiniCPM5-2B, — плотная модель с 2 миллиардами параметров, которая входит в число лучших открытых моделей своего класса и при этом не сильно уступает моделям класса 4B.
MiniCPM — семейство небольших LLM с открытым исходным кодом от OpenBMB, созданных для работы на устройствах и в условиях ограниченных ресурсов. Самый новый релиз, MiniCPM5-2B, — плотная модель с 2 миллиардами параметров, которая входит в число лучших открытых моделей своего класса и при этом не сильно уступает моделям класса 4B.Это готовое приложение или просто веса модели?Это набор контрольных точек моделей (BF16, GGUF, MLX, GPTQ), опубликованных на Hugging Face и ModelScope, а не самостоятельное приложение. Загружать их нужно через существующий фреймворк для инференса, например Transformers, vLLM, SGLang или llama.cpp.
Это набор контрольных точек моделей (BF16, GGUF, MLX, GPTQ), опубликованных на Hugging Face и ModelScope, а не самостоятельное приложение. Загружать их нужно через существующий фреймворк для инференса, например Transformers, vLLM, SGLang или llama.cpp.Как запустить MiniCPM5-2B?Самый простой путь — через Python: установите Transformers и вызовите AutoModelForCausalLM.from_pretrained('openbmb/MiniCPM5-2B'). Также можно скачать сборку GGUF для llama.cpp или развернуть веса BF16/GPTQ через vLLM или SGLang.
Самый простой путь — через Python: установите Transformers и вызовите AutoModelForCausalLM.from_pretrained('openbmb/MiniCPM5-2B'). Также можно скачать сборку GGUF для llama.cpp или развернуть веса BF16/GPTQ через vLLM или SGLang.Какие фреймворки для инференса поддерживаются?MiniCPM5-2B работает с Hugging Face Transformers, vLLM, SGLang (с опциональной черновой моделью DSpark для спекулятивного декодирования) и llama.cpp через сборку GGUF; сборки MLX предоставляются для Apple Silicon.
MiniCPM5-2B работает с Hugging Face Transformers, vLLM, SGLang (с опциональной черновой моделью DSpark для спекулятивного декодирования) и llama.cpp через сборку GGUF; сборки MLX предоставляются для Apple Silicon.Есть ли подводные камни в настройках сэмплирования?Рекомендуемые настройки генерации: temperature=1.0, top_p=0.95, min_p=0.0. Значение по умолчанию в llama.cpp, min_p=0.05, может приводить к повторяющемуся выводу, так как отфильтровывает нужные токены с низкой вероятностью, поэтому его нужно переопределить.
Рекомендуемые настройки генерации: temperature=1.0, top_p=0.95, min_p=0.0. Значение по умолчанию в llama.cpp, min_p=0.05, может приводить к повторяющемуся выводу, так как отфильтровывает нужные токены с низкой вероятностью, поэтому его нужно переопределить.Работает ли она только на GPU или я могу запустить её на Mac или CPU?Выпущено несколько квантованных форматов, поэтому модель можно запускать на разном оборудовании: GGUF для CPU и llama.cpp, MLX для Mac на Apple Silicon и GPTQ/AWQ для серверного запуска на GPU с ускорением.
Выпущено несколько квантованных форматов, поэтому модель можно запускать на разном оборудовании: GGUF для CPU и llama.cpp, MLX для Mac на Apple Silicon и GPTQ/AWQ для серверного запуска на GPU с ускорением.Что такое UltraData?UltraData — семейство качественных открытых наборов данных, выпущенных вместе с MiniCPM5, включая UltraX (предобучение на веб-текстах), UltraData-Code, UltraData-SFT-Agent-2609 (500 тыс. примеров для агентов) и UltraData-RL-2609 (более 80 тыс. примеров для RL по математике, коду и рассуждениям).
UltraData — семейство качественных открытых наборов данных, выпущенных вместе с MiniCPM5, включая UltraX (предобучение на веб-текстах), UltraData-Code, UltraData-SFT-Agent-2609 (500 тыс. примеров для агентов) и UltraData-RL-2609 (более 80 тыс. примеров для RL по математике, коду и рассуждениям).Что добавляет RL + OPD в модель?On-Policy Distillation объединяет 16 экспертных моделей, обученных с помощью RL (в том числе 5 агентных экспертов), в один чекпоинт, сопоставляя логиты ученика и учителя. Это повышает результаты по рассуждениям и общим задачам примерно на 11 пунктов, а агентные возможности — примерно на 7 пунктов.
On-Policy Distillation объединяет 16 экспертных моделей, обученных с помощью RL (в том числе 5 агентных экспертов), в один чекпоинт, сопоставляя логиты ученика и учителя. Это повышает результаты по рассуждениям и общим задачам примерно на 11 пунктов, а агентные возможности — примерно на 7 пунктов.Есть ли другие размеры модели, кроме 2B?Да, в линейке MiniCPM5 есть также модель на 1B, а проект сохраняет предыдущие поколения (MiniCPM4/4.1, MiniCPM3, MiniCPM-SALA), а также тернарно квантованные варианты BitCPM4 размером от 0,5B до 8B параметров.
Да, в линейке MiniCPM5 есть также модель на 1B, а проект сохраняет предыдущие поколения (MiniCPM4/4.1, MiniCPM3, MiniCPM-SALA), а также тернарно квантованные варианты BitCPM4 размером от 0,5B до 8B параметров.Зачем делать ещё одну небольшую LLM, а не использовать модель на 7B+?MiniCPM нацелен на локальных ассистентов, агентов для программирования и сценарии с вызовом инструментов, где важен компактный размер. MiniCPM5-2B не уступает или превосходит модели класса 4B в бенчмарках по программированию, математике, работе с длинным контекстом и агентным задачам, оставаясь достаточно компактной для развёртывания на устройстве.
MiniCPM нацелен на локальных ассистентов, агентов для программирования и сценарии с вызовом инструментов, где важен компактный размер. MiniCPM5-2B не уступает или превосходит модели класса 4B в бенчмарках по программированию, математике, работе с длинным контекстом и агентным задачам, оставаясь достаточно компактной для развёртывания на устройстве.What are similar projects?Model-Optimizer, Hy4-preview, decider, Hy-MT2, jeeves, DeepSeek-R1, DMI, NeoHorse
Model-Optimizer, Hy4-preview, decider, Hy-MT2, jeeves, DeepSeek-R1, DMI, NeoHorseWhich topics is it in?tool-use, knowledge-distillation, long-context, llamacpp, speculative-decoding, on-device, reasoning, edge-ai, language-model, gguf, vllm, reinforcement-learning
tool-use, knowledge-distillation, long-context, llamacpp, speculative-decoding, on-device, reasoning, edge-ai, language-model, gguf, vllm, reinforcement-learning