Что это такое?
Курируемый, постоянно обновляемый список статей, моделей, датасетов и бенчмарков, который отслеживает последние достижения в области мультимодальных больших языковых моделей (MLLM). Это модели вроде GPT-4o, Gemini и VITA, которые понимают изображения, видео и аудио наряду с текстом.
Курируемый, постоянно обновляемый список статей, моделей, датасетов и бенчмарков, который отслеживает последние достижения в области мультимодальных больших языковых моделей (MLLM). Это модели вроде GPT-4o, Gemini и VITA, которые понимают изображения, видео и аудио наряду с текстом.Это статья или работающий инструмент?Это справочный список (README), а не программа. Это просто упорядоченные ссылки на статьи, проекты, репозитории с кодом и демо, сгруппированные по темам: дообучение на инструкциях, обучение в контексте, цепочка рассуждений и бенчмарки.
Это справочный список (README), а не программа. Это просто упорядоченные ссылки на статьи, проекты, репозитории с кодом и демо, сгруппированные по темам: дообучение на инструкциях, обучение в контексте, цепочка рассуждений и бенчмарки.Как устроен список?Он разделен на «Awesome Papers» (дообучение на инструкциях, галлюцинации, обучение в контексте, цепочка рассуждений, визуальные рассуждения, базовые модели, оценка, RLHF) и «Awesome Datasets» (предобучение, дообучение на инструкциях, обучение в контексте, цепочка рассуждений, RLHF и бенчмарки для оценки). Каждый раздел оформлен в виде таблицы с названием, местом публикации, датой и ссылками на код и демо.
Он разделен на «Awesome Papers» (дообучение на инструкциях, галлюцинации, обучение в контексте, цепочка рассуждений, визуальные рассуждения, базовые модели, оценка, RLHF) и «Awesome Datasets» (предобучение, дообучение на инструкциях, обучение в контексте, цепочка рассуждений, RLHF и бенчмарки для оценки). Каждый раздел оформлен в виде таблицы с названием, местом публикации, датой и ссылками на код и демо.Нужно ли что-то для просмотра этого списка?Нет, это просто документ в формате Markdown, который читается на GitHub. Установка и аккаунты не требуются.
Нет, это просто документ в формате Markdown, который читается на GitHub. Установка и аккаунты не требуются.Записи проверяются и продолжают обновляться?Записи перечислены в хронологическом порядке с указанием места публикации и даты. В список входят как рецензируемые статьи, так и препринты arXiv и записи в блогах компаний, поэтому строгость зависит от источника. Список активно обновляется, записи датируются вплоть до 2026 года.
Записи перечислены в хронологическом порядке с указанием места публикации и даты. В список входят как рецензируемые статьи, так и препринты arXiv и записи в блогах компаний, поэтому строгость зависит от источника. Список активно обновляется, записи датируются вплоть до 2026 года.Для кого этот список?Для исследователей и инженеров, которые работают с мультимодальным ИИ или изучают его и хотят быстро отслеживать новейшие статьи, датасеты и бенчмарки по MLLM.
Для исследователей и инженеров, которые работают с мультимодальным ИИ или изучают его и хотят быстро отслеживать новейшие статьи, датасеты и бенчмарки по MLLM.С чего начать новичку?Начните с трех выделенных вверху обзорных статей: MME-Survey, обзора Unified Multimodal Understanding and Generation и обзора NSR 2024 о MLLM. Так вы получите общее представление, прежде чем переходить к конкретным категориям статей.
Начните с трех выделенных вверху обзорных статей: MME-Survey, обзора Unified Multimodal Understanding and Generation и обзора NSR 2024 о MLLM. Так вы получите общее представление, прежде чем переходить к конкретным категориям статей.Что такое серия VITA, упомянутая вверху?VITA — это серия открытых интерактивных омни-модальных LLM (VITA, VITA-1.5, VITA-Audio). Она предназначена для взаимодействия в реальном времени через зрение и речь, сопоставимого с GPT-4o. У нее есть собственное сообщество в WeChat.
VITA — это серия открытых интерактивных омни-модальных LLM (VITA, VITA-1.5, VITA-Audio). Она предназначена для взаимодействия в реальном времени через зрение и речь, сопоставимого с GPT-4o. У нее есть собственное сообщество в WeChat.Что такое MME и почему это важно здесь?MME — широко цитируемый комплексный бенчмарк для оценки MLLM (NeurIPS 2025, DB Highlight). Список также отслеживает связанные с ним бенчмарки Video-MME и Video-MME-v2 для оценки понимания видео.
MME — широко цитируемый комплексный бенчмарк для оценки MLLM (NeurIPS 2025, DB Highlight). Список также отслеживает связанные с ним бенчмарки Video-MME и Video-MME-v2 для оценки понимания видео.Есть ли вокруг этого списка сообщество?Да, в README есть ссылки на отдельные группы в WeChat: для обзоров MLLM и для серии моделей VITA.
Да, в README есть ссылки на отдельные группы в WeChat: для обзоров MLLM и для серии моделей VITA.What are similar projects?LLMsPracticalGuide, LLMSurvey, S-Space, AI-Papers-of-the-Week, Deep-Learning-Papers-Reading-Roadmap, GNNPapers, awesome-rsi, Awesome-LLM
LLMsPracticalGuide, LLMSurvey, S-Space, AI-Papers-of-the-Week, Deep-Learning-Papers-Reading-Roadmap, GNNPapers, awesome-rsi, Awesome-LLMWhich topics is it in?in-context-learning, chain-of-thought, multimodal-ai, instruction-tuning, papers, academic-research, large-language-models, nlp, computer-vision, benchmark, awesome-list, list
in-context-learning, chain-of-thought, multimodal-ai, instruction-tuning, papers, academic-research, large-language-models, nlp, computer-vision, benchmark, awesome-list, list