Что это такое?
Исследовательский центр Microsoft для масштабного самоконтролируемого (self-supervised) предобучения: семейство базовых моделей для задач NLP, компьютерного зрения, речи и мультимодальных задач на более чем 100 языках — включая BEiT, LayoutLM, Kosmos, MiniLM, TrOCR и WavLM.
Исследовательский центр Microsoft для масштабного самоконтролируемого (self-supervised) предобучения: семейство базовых моделей для задач NLP, компьютерного зрения, речи и мультимодальных задач на более чем 100 языках — включая BEiT, LayoutLM, Kosmos, MiniLM, TrOCR и WavLM.Это одна библиотека, которую можно установить, или набор отдельных моделей?Это репозиторий-оболочка, а не единый устанавливаемый пакет: каждая модель (BEiT, LayoutLM, Kosmos, TrOCR и так далее) — отдельный проект со своим кодом и README, и многие из них также опубликованы на HuggingFace.
Это репозиторий-оболочка, а не единый устанавливаемый пакет: каждая модель (BEiT, LayoutLM, Kosmos, TrOCR и так далее) — отдельный проект со своим кодом и README, и многие из них также опубликованы на HuggingFace.Как начать работать с одной из этих моделей?Единой инструкции для всего хаба нет — откройте README нужной модели и следуйте её указаниям. Многие модели есть и на HuggingFace, поэтому предобученный чекпоинт часто можно загрузить прямо оттуда.
Единой инструкции для всего хаба нет — откройте README нужной модели и следуйте её указаниям. Многие модели есть и на HuggingFace, поэтому предобученный чекпоинт часто можно загрузить прямо оттуда.Что нужно на компьютере, чтобы это запустить?Модели — это исследовательский код на Python, и каждый подпроект поставляет свои собственные требования (requirements); часть исходников построена на стеке HuggingFace transformers, поэтому базой является работающее окружение Python.
Модели — это исследовательский код на Python, и каждый подпроект поставляет свои собственные требования (requirements); часть исходников построена на стеке HuggingFace transformers, поэтому базой является работающее окружение Python.В чём подвох — есть ли единая точка входа для всего?Нет: корневой README — это по большей части указатель и лента новостей, а модели лежат в отдельных подрепозиториях со своими зависимостями и настройкой, так что рассчитывайте на документацию по каждой модели, а не на единый API.
Нет: корневой README — это по большей части указатель и лента новостей, а модели лежат в отдельных подрепозиториях со своими зависимостями и настройкой, так что рассчитывайте на документацию по каждой модели, а не на единый API.Что такое TrOCR?TrOCR — это подход к OCR на основе трансформеров, построенный на предобученных моделях BEiT и RoBERTa. Версии BASE и LARGE ориентированы на распознавание текста на сценах, а небольшие модели для рукописного и печатного текста дают трёхкратное ускорение инференса; TrOCR также доступен на HuggingFace.
TrOCR — это подход к OCR на основе трансформеров, построенный на предобученных моделях BEiT и RoBERTa. Версии BASE и LARGE ориентированы на распознавание текста на сценах, а небольшие модели для рукописного и печатного текста дают трёхкратное ускорение инференса; TrOCR также доступен на HuggingFace.Что такое Kosmos?Семейство мультимодальных LLM: Kosmos-1 воспринимает общие модальности, учится в контексте (few-shot) и следует инструкциям (zero-shot); Kosmos-2 связывает MLLM с реальным миром; Kosmos-2.5 — мультимодальная «грамотная» модель для машинного чтения изображений с плотным текстом.
Семейство мультимодальных LLM: Kosmos-1 воспринимает общие модальности, учится в контексте (few-shot) и следует инструкциям (zero-shot); Kosmos-2 связывает MLLM с реальным миром; Kosmos-2.5 — мультимодальная «грамотная» модель для машинного чтения изображений с плотным текстом.Что такое BEiT-3?Мультимодальная базовая модель общего назначения и важная веха «Большой конвергенции» (Big Convergence) между задачами, языками и модальностями; по данным README, она показывает передовые результаты переноса (state-of-the-art) как на задачах компьютерного зрения, так и на визуально-языковых задачах. Предобученные модели и код были выпущены в марте 2023 года.
Мультимодальная базовая модель общего назначения и важная веха «Большой конвергенции» (Big Convergence) между задачами, языками и модальностями; по данным README, она показывает передовые результаты переноса (state-of-the-art) как на задачах компьютерного зрения, так и на визуально-языковых задачах. Предобученные модели и код были выпущены в марте 2023 года.Этот репозиторий ещё обновляется?Да — последняя новость датирована декабрём 2024 года (RedStone, курируемые обучающие данные для LLM), а релизы идут непрерывно с 2019 года, включая Kosmos-2.5, TextDiffuser-2 и LongNet в 2023 году.
Да — последняя новость датирована декабрём 2024 года (RedStone, курируемые обучающие данные для LLM), а релизы идут непрерывно с 2019 года, включая Kosmos-2.5, TextDiffuser-2 и LongNet в 2023 году.What are similar projects?Transformers-Tutorials, dinov3, LongCat-Next, seamless_communication, datasets, DeepSeek-OCR, StartLux-Decision, transformers
Transformers-Tutorials, dinov3, LongCat-Next, seamless_communication, datasets, DeepSeek-OCR, StartLux-Decision, transformersWhich topics is it in?self-supervised-learning, foundation-models, natural-language-processing, text-to-speech, ocr, embeddings, multimodal, nlp, artificial-intelligence, huggingface, computer-vision, pytorch
self-supervised-learning, foundation-models, natural-language-processing, text-to-speech, ocr, embeddings, multimodal, nlp, artificial-intelligence, huggingface, computer-vision, pytorch