34K ·GitHub
Что это такое?
TaskMatrix (также известный как Visual ChatGPT) подключает ChatGPT к набору визуальных фундаментальных моделей, чтобы во время переписки можно было отправлять и получать изображения, а языковая модель (LLM) могла рисовать, редактировать и анализировать картинки.
TaskMatrix (также известный как Visual ChatGPT) подключает ChatGPT к набору визуальных фундаментальных моделей, чтобы во время переписки можно было отправлять и получать изображения, а языковая модель (LLM) могла рисовать, редактировать и анализировать картинки.Это готовое приложение-чат-бот или код, который я запускаю сам?Это исследовательская кодовая база на Python, а не готовое приложение. Вы запускаете её из командной строки, выбирая, какие фундаментальные модели (Stable Diffusion, Inpainting, GroundingDINO и др.) загрузить.
Это исследовательская кодовая база на Python, а не готовое приложение. Вы запускаете её из командной строки, выбирая, какие фундаментальные модели (Stable Diffusion, Inpainting, GroundingDINO и др.) загрузить.Как это запустить?Запустите основной скрипт с флагом --load, в котором перечислены фундаментальные модели и устройства GPU, которые нужно включить, например, одновременно модели для детекции, сегментации, инпейнтинга и описания изображений.
Запустите основной скрипт с флагом --load, в котором перечислены фундаментальные модели и устройства GPU, которые нужно включить, например, одновременно модели для детекции, сегментации, инпейнтинга и описания изображений.Это готово к промышленной эксплуатации или всего лишь исследовательская демонстрация?Авторы прямо называют включённые модели примерами для исследования автоматизации задач, а не готовым продуктом, и предупреждают, что нужно соблюдать лицензию каждой базовой модели.
Авторы прямо называют включённые модели примерами для исследования автоматизации задач, а не готовым продуктом, и предупреждают, что нужно соблюдать лицензию каждой базовой модели.Для кого это предназначено?Для исследователей и разработчиков, которых интересует объединение LLM с моделями компьютерного зрения, а не для конечных пользователей, которым нужно готовое приложение для чата.
Для исследователей и разработчиков, которых интересует объединение LLM с моделями компьютерного зрения, а не для конечных пользователей, которым нужно готовое приложение для чата.Что такое «шаблон» (template) в TaskMatrix?Шаблон — это заранее заданный сценарий выполнения (класс Python с templatemodel = True), который связывает несколько фундаментальных моделей или даже запускает новую сессию ChatGPT, чтобы решить сложную задачу, например, InfinityOutPainting, то есть расширение изображения до любого размера.
Шаблон — это заранее заданный сценарий выполнения (класс Python с templatemodel = True), который связывает несколько фундаментальных моделей или даже запускает новую сессию ChatGPT, чтобы решить сложную задачу, например, InfinityOutPainting, то есть расширение изображения до любого размера.Какие фундаментальные модели объединяет TaskMatrix?Он связывает GroundingDINO для ограничивающих рамок по текстовому запросу, segment-anything для масок, варианты Stable Diffusion для инпейнтинга и ControlNet для редактирования, а также InstructPix2Pix, CLIPSeg и BLIP для описания изображений и ответов на вопросы по картинкам (VQA).
Он связывает GroundingDINO для ограничивающих рамок по текстовому запросу, segment-anything для масок, варианты Stable Diffusion для инпейнтинга и ControlNet для редактирования, а также InstructPix2Pix, CLIPSeg и BLIP для описания изображений и ответов на вопросы по картинкам (VQA).Поддерживает ли он языки, кроме английского?Да, помимо английского, в TaskMatrix добавлена поддержка китайского языка.
Да, помимо английского, в TaskMatrix добавлена поддержка китайского языка.Зачем сочетать ChatGPT с визуальными моделями, а не использовать только ChatGPT?ChatGPT сам по себе понимает только общие знания в виде текста; в связке с узкоспециализированными фундаментальными моделями система может действительно видеть, создавать и редактировать изображения, а не только описывать их.
ChatGPT сам по себе понимает только общие знания в виде текста; в связке с узкоспециализированными фундаментальными моделями система может действительно видеть, создавать и редактировать изображения, а не только описывать их.What are similar projects?ControlNet, Grounded-Segment-Anything, InstantID, PhotoMaker, CodeVideoModel, flux, krita-ai-diffusion, AutoFigure-Edit
ControlNet, Grounded-Segment-Anything, InstantID, PhotoMaker, CodeVideoModel, flux, krita-ai-diffusion, AutoFigure-EditWhich topics is it in?vision-language, controlnet, inpainting, segmentation, stable-diffusion, object-detection, text-to-image, langchain, multimodal, chatgpt, image-generation, image-processing
vision-language, controlnet, inpainting, segmentation, stable-diffusion, object-detection, text-to-image, langchain, multimodal, chatgpt, image-generation, image-processing