14.6K ·GitHub
Что это такое?
AR Cut & Paste — исследовательский прототип. Вы наводите камеру телефона на реальный предмет, вырезаете его с помощью AR и машинного обучения и вставляете прямо в Photoshop как новый слой.
AR Cut & Paste — исследовательский прототип. Вы наводите камеру телефона на реальный предмет, вырезаете его с помощью AR и машинного обучения и вставляете прямо в Photoshop как новый слой.Это одно приложение или несколько частей, которые нужно запускать вместе?Это три независимых модуля, которые работают вместе: мобильное AR-приложение, локальный сервер-мост и отдельный сервис распознавания объектов и удаления фона.
Это три независимых модуля, которые работают вместе: мобильное AR-приложение, локальный сервер-мост и отдельный сервис распознавания объектов и удаления фона.Как запустить всю цепочку?Включите Remote Connection в настройках плагинов Photoshop, настройте сервис определения заметности (собственный или эндпоинт сообщества), затем следуйте инструкциям по установке в папках /server и /app.
Включите Remote Connection в настройках плагинов Photoshop, настройте сервис определения заметности (собственный или эндпоинт сообщества), затем следуйте инструкциям по установке в папках /server и /app.Нужно ли мне особое железо, чтобы запустить это самостоятельно?Чтобы развернуть модель определения заметности BASNet у себя, нужна машина с видеокартой CUDA. Если её нет, можно пропустить этот шаг и использовать публичный эндпоинт сообщества.
Чтобы развернуть модель определения заметности BASNet у себя, нужна машина с видеокартой CUDA. Если её нет, можно пропустить этот шаг и использовать публичный эндпоинт сообщества.Можно ли использовать это как повседневный инструмент для Photoshop?Нет. Автор прямо указывает, что это исследовательский прототип, а не отполированный инструмент для обычных пользователей. Результат зависит от того, достаточно ли фоновых деталей в документе Photoshop, чтобы сопоставление признаков SIFT работало корректно.
Нет. Автор прямо указывает, что это исследовательский прототип, а не отполированный инструмент для обычных пользователей. Результат зависит от того, достаточно ли фоновых деталей в документе Photoshop, чтобы сопоставление признаков SIFT работало корректно.Могу ли я запустить сервис удаления фона без собственной видеокарты?Да. Для собственного сервиса BASNet нужна видеокарта CUDA, но если её нет, можно указать локальному серверу публичный эндпоинт сообщества.
Да. Для собственного сервиса BASNet нужна видеокарта CUDA, но если её нет, можно указать локальному серверу публичный эндпоинт сообщества.Что делает BASNet в этой цепочке?BASNet (CVPR 2019) — модель глубокого обучения, которая определяет заметность и удаляет фон. Она выделяет объект, на который направлена камера, чтобы его можно было вырезать.
BASNet (CVPR 2019) — модель глубокого обучения, которая определяет заметность и удаляет фон. Она выделяет объект, на который направлена камера, чтобы его можно было вырезать.Откуда локальный сервер знает, куда вставить объект в Photoshop?Он использует сопоставление признаков на основе SIFT (через screenpoint), чтобы понять, куда направлена камера относительно открытого документа Photoshop, и затем вставляет вырезанный объект туда как новый слой.
Он использует сопоставление признаков на основе SIFT (через screenpoint), чтобы понять, куда направлена камера относительно открытого документа Photoshop, и затем вставляет вырезанный объект туда как новый слой.Есть ли более простая версия этой идеи для тех, кто не занимается разработкой?В README сказано, что существует отдельное приложение, основанное на этом исследовании. Оно проще в использовании, и автор направляет читателей к нему для менее технической настройки.
В README сказано, что существует отдельное приложение, основанное на этом исследовании. Оно проще в использовании, и автор направляет читателей к нему для менее технической настройки.What are similar projects?VisionHOPE, Detectron, X-AnyLabeling, detectron2, Grounded-Segment-Anything, opencv, albumentations, TaskMatrix
VisionHOPE, Detectron, X-AnyLabeling, detectron2, Grounded-Segment-Anything, opencv, albumentations, TaskMatrixWhich topics is it in?prototype, augmented-reality, image-segmentation, ml, segmentation, image-editing, object-detection, gpu-acceleration, image-processing, mobile-app, computer-vision, cuda
prototype, augmented-reality, image-segmentation, ml, segmentation, image-editing, object-detection, gpu-acceleration, image-processing, mobile-app, computer-vision, cuda