Что это такое?
Семейство открытых мультимодальных чат-моделей, которые понимают изображения, видео и текст и позиционируются как открытая альтернатива GPT-4o. InternVL2.5-78B стала первой открытой моделью, превысившей 70% на бенчмарке MMMU.
Семейство открытых мультимодальных чат-моделей, которые понимают изображения, видео и текст и позиционируются как открытая альтернатива GPT-4o. InternVL2.5-78B стала первой открытой моделью, превысившей 70% на бенчмарке MMMU.В этом репозитории сами модели или код вокруг них?Этот репозиторий — центральный хаб: код для обучения, оценки и развертывания плюс зоопарк моделей. Сами веса, от 1B до 241B параметров, скачиваются по ссылкам на HuggingFace или ModelScope из зоопарка.
Этот репозиторий — центральный хаб: код для обучения, оценки и развертывания плюс зоопарк моделей. Сами веса, от 1B до 241B параметров, скачиваются по ссылкам на HuggingFace или ModelScope из зоопарка.Как запустить это, чтобы первый раз поболтать с моделью?Установите Python-зависимости из requirements.txt по Installation Guide, скачайте чекпоинт с HuggingFace и используйте быстрый старт через transformers — или запустите встроенное демо на Streamlit, чтобы общаться локально.
Установите Python-зависимости из requirements.txt по Installation Guide, скачайте чекпоинт с HuggingFace и используйте быстрый старт через transformers — или запустите встроенное демо на Streamlit, чтобы общаться локально.Есть ли подводные камни перед скачиванием чекпоинта?Чекпоинты распространяются в двух форматах: устаревшем GitHub-формате и официальном формате, стандартном для transformers, на HuggingFace. Если загрузка не проходит, конвертируйте между ними скриптами custom2hf и hf2custom.
Чекпоинты распространяются в двух форматах: устаревшем GitHub-формате и официальном формате, стандартном для transformers, на HuggingFace. Если загрузка не проходит, конвертируйте между ними скриптами custom2hf и hf2custom.Всё работает локально или мои изображения отправляются на сервер?Вы скачиваете веса и запускаете их на своём железе — в репозитории даже есть локальное чат-демо на Streamlit, так что изображения могут вообще не покидать ваш компьютер.
Вы скачиваете веса и запускаете их на своём железе — в репозитории даже есть локальное чат-демо на Streamlit, так что изображения могут вообще не покидать ваш компьютер.Насколько большие эти модели — потянет ли моя видеокарта?Размеры — от 1.1B до MoE-модели 241B-A28B, есть и MoE-варианты среднего размера вроде 20B-A4B и 30B-A3B. Небольшие модели на 1B–8B подойдут для скромных видеокарт, а для тяжёлых существуют квантованные версии в 4 бита (AWQ).
Размеры — от 1.1B до MoE-модели 241B-A28B, есть и MoE-варианты среднего размера вроде 20B-A4B и 30B-A3B. Небольшие модели на 1B–8B подойдут для скромных видеокарт, а для тяжёлых существуют квантованные версии в 4 бита (AWQ).Что эта модель реально умеет делать с изображениями и видео?OCR и понимание документов и диаграмм (лучший результат среди открытых моделей на DocVQA и InfoVQA), ответы на вопросы по видео, классификация изображений, семантическая сегментация, поиск по паре изображение-текст, а в поколении 3.5 — ещё и агентные задачи.
OCR и понимание документов и диаграмм (лучший результат среди открытых моделей на DocVQA и InfoVQA), ответы на вопросы по видео, классификация изображений, семантическая сегментация, поиск по паре изображение-текст, а в поколении 3.5 — ещё и агентные задачи.Какая модель в семействе самая новая?InternVL3.5, вышедшая в августе 2025 года. Её старшая модель, InternVL3.5-241B-A28B, показывает результат уровня SOTA среди открытых MLLM на общих мультимодальных задачах, рассуждениях, тексте и агентных задачах; версия 20B-A4B построена на GPT-OSS-20B.
InternVL3.5, вышедшая в августе 2025 года. Её старшая модель, InternVL3.5-241B-A28B, показывает результат уровня SOTA среди открытых MLLM на общих мультимодальных задачах, рассуждениях, тексте и агентных задачах; версия 20B-A4B построена на GPT-OSS-20B.Кроме весов, что ещё выложено в открытый доступ?Код обучения CascadeRL (конвейер RL, сочетающий офлайн- и онлайн-этапы) с датасетами предпочтений MMPR-v1.2 и MMPR-Tiny, модель награды за процесс рассуждения VisualPRM 8B с датасетом VisualPRM400K, а также ShareGPT-4o: 200 тысяч изображений, 10 тысяч видео и 10 тысяч аудио с описаниями.
Код обучения CascadeRL (конвейер RL, сочетающий офлайн- и онлайн-этапы) с датасетами предпочтений MMPR-v1.2 и MMPR-Tiny, модель награды за процесс рассуждения VisualPRM 8B с датасетом VisualPRM400K, а также ShareGPT-4o: 200 тысяч изображений, 10 тысяч видео и 10 тысяч аудио с описаниями.Можно дообучить модель на своих данных?Да — для каждого поколения есть руководства по дообучению, включая туториал по LoRA для генерации подписей к COCO, а конвейер обучения MPO со скриптами для подготовки данных тоже опубликован.
Да — для каждого поколения есть руководства по дообучению, включая туториал по LoRA для генерации подписей к COCO, а конвейер обучения MPO со скриптами для подготовки данных тоже опубликован.What are similar projects?ZDTaichu5.0-9B, jeeves, MiniCPM-V, DeepSeek-OCR, halo, Transformers-Tutorials, UniVR, EvoVLM
ZDTaichu5.0-9B, jeeves, MiniCPM-V, DeepSeek-OCR, halo, Transformers-Tutorials, UniVR, EvoVLMWhich topics is it in?gpt-4o, semantic-segmentation, open-weights, vlm, vision-language-model, reasoning, image-classification, transformers, ocr, gpt, reinforcement-learning, quantization
gpt-4o, semantic-segmentation, open-weights, vlm, vision-language-model, reasoning, image-classification, transformers, ocr, gpt, reinforcement-learning, quantization