14.6K ·GitHub
这是什么？
AR Cut & Paste 是一个研究原型，可以让你用手机摄像头对准现实中的物体，借助 AR 和机器学习将其抠出，并直接作为新图层粘贴到 Photoshop 中。
AR Cut & Paste 是一个研究原型，可以让你用手机摄像头对准现实中的物体，借助 AR 和机器学习将其抠出，并直接作为新图层粘贴到 Photoshop 中。这是一个应用，还是需要我一起运行的几个部分？它由三个相互独立、协同工作的模块组成：一个移动端 AR 应用、一个本地桥接服务器，以及一个独立的物体检测/背景去除服务。
它由三个相互独立、协同工作的模块组成：一个移动端 AR 应用、一个本地桥接服务器，以及一个独立的物体检测/背景去除服务。整个流程怎么跑起来？在 Photoshop 的插件偏好设置中启用“远程连接”，配置显著性检测服务（自建或使用社区接口），然后按照 /server 和 /app 文件夹中的安装说明操作。
在 Photoshop 的插件偏好设置中启用“远程连接”，配置显著性检测服务（自建或使用社区接口），然后按照 /server 和 /app 文件夹中的安装说明操作。我自己运行这个需要特殊硬件吗？要自建 BASNet 显著性检测模型，你需要一台带 CUDA GPU 的机器；否则可以跳过这一步，改用公共的社区托管接口。
要自建 BASNet 显著性检测模型，你需要一台带 CUDA GPU 的机器；否则可以跳过这一步，改用公共的社区托管接口。这能当日常用的 Photoshop 工具吗？不能。作者明确表示，这是一个研究原型，而不是打磨过的消费级工具，结果取决于 Photoshop 文档是否有足够的背景细节，以便 SIFT 特征匹配正常工作。
不能。作者明确表示，这是一个研究原型，而不是打磨过的消费级工具，结果取决于 Photoshop 文档是否有足够的背景细节，以便 SIFT 特征匹配正常工作。没有 GPU 也能运行背景去除服务吗？可以。运行自己的 BASNet 模型服务需要 CUDA GPU；如果没有，可以让本地服务器改用公共的社区托管接口。
可以。运行自己的 BASNet 模型服务需要 CUDA GPU；如果没有，可以让本地服务器改用公共的社区托管接口。BASNet 在这个流程里起什么作用？BASNet（CVPR 2019）是用于显著性检测和背景去除的深度学习模型，它会把摄像头对准的物体分离出来，以便将其抠出。
BASNet（CVPR 2019）是用于显著性检测和背景去除的深度学习模型，它会把摄像头对准的物体分离出来，以便将其抠出。本地服务器怎么知道该把物体粘贴到 Photoshop 的哪个位置？它通过基于 SIFT 的特征匹配（借助 screenpoint）判断摄像头相对于已打开的 Photoshop 文档指向哪里，然后把抠出的物体作为新图层粘贴到那个位置。
它通过基于 SIFT 的特征匹配（借助 screenpoint）判断摄像头相对于已打开的 Photoshop 文档指向哪里，然后把抠出的物体作为新图层粘贴到那个位置。有没有不需要开发经验的简化版？README 提到，基于同一研究还有一个更容易上手的独立应用，并建议想要更简单设置的读者使用它。
README 提到，基于同一研究还有一个更容易上手的独立应用，并建议想要更简单设置的读者使用它。What are similar projects?VisionHOPE, Detectron, X-AnyLabeling, detectron2, Grounded-Segment-Anything, opencv, albumentations, TaskMatrix
VisionHOPE, Detectron, X-AnyLabeling, detectron2, Grounded-Segment-Anything, opencv, albumentations, TaskMatrixWhich topics is it in?prototype, augmented-reality, image-segmentation, ml, segmentation, image-editing, object-detection, gpu-acceleration, image-processing, mobile-app, computer-vision, cuda
prototype, augmented-reality, image-segmentation, ml, segmentation, image-editing, object-detection, gpu-acceleration, image-processing, mobile-app, computer-vision, cuda