1.1K ·GitHub
这是什么东西？
RelateAnything 是一个实时、开放词表的关系预测模型：给它一张图片、若干物体区域和想查的关系，它就会返回带分数的（主体， 关系， 客体）三元组，比如 人 → 骑 → 马。
RelateAnything 是一个实时、开放词表的关系预测模型：给它一张图片、若干物体区域和想查的关系，它就会返回带分数的（主体， 关系， 客体）三元组，比如 人 → 骑 → 马。那我实际拿到手的是什么——Python 库、网页应用，还是一项服务？它是某篇研究论文配套开源的代码：一个带预训练权重的 PyTorch API，外加训练和评估工具、可用于 TensorRT 和 OpenVINO 部署的 ONNX 图，还有一个无需安装的浏览器演示。
它是某篇研究论文配套开源的代码：一个带预训练权重的 PyTorch API，外加训练和评估工具、可用于 TensorRT 和 OpenVINO 部署的 ONNX 图，还有一个无需安装的浏览器演示。怎么用它跑我自己的照片？在仓库根目录运行快速上手示例：里面自带一张示例照片和两个示例检测框（人和马），换成你自己的图片和检测框即可。也支持掩码（mask）和更大的内置关系词表。
在仓库根目录运行快速上手示例：里面自带一张示例照片和两个示例检测框（人和马），换成你自己的图片和检测框即可。也支持掩码（mask）和更大的内置关系词表。运行之前需要装什么特别的东西吗？需要 Python 3.12+ 和 PyTorch——想在 NVIDIA GPU 上推理就装支持 CUDA 的版本，也可以用 device='cpu' 在 CPU 上运行。发布的权重已经打包了骨干网络和文本编码器，推理时不需要登录获取受限的 DINOv3。
需要 Python 3.12+ 和 PyTorch——想在 NVIDIA GPU 上推理就装支持 CUDA 的版本，也可以用 device='cpu' 在 CPU 上运行。发布的权重已经打包了骨干网络和文本编码器，推理时不需要登录获取受限的 DINOv3。有什么限制——它能自己在照片里找到物体吗？不能——它本身不做目标检测：物体区域需要你用检测器、分割器提供，或者手动框出来，掩码是可选的。演示用的检测器需要在本地单独构建，并且有各自独立的许可证。
不能——它本身不做目标检测：物体区域需要你用检测器、分割器提供，或者手动框出来，掩码是可选的。演示用的检测器需要在本地单独构建，并且有各自独立的许可证。如果我用浏览器演示，我的图片会被传到服务器上吗？不会——演示通过 WebGPU 或 WASM 完全在你的设备上运行推理，图片不会离开你的设备。
不会——演示通过 WebGPU 或 WASM 完全在你的设备上运行推理，图片不会离开你的设备。代码和模型可以免费使用吗？可以免费使用，但有几个限制：代码采用 Apache-2.0 协议，但权重是 Meta DINOv3 的衍生品，RA-4M 标注数据受 Gemma 使用条款约束，演示用的检测器为 AGPL-3.0，且不包含在发布产物中。
可以免费使用，但有几个限制：代码采用 Apache-2.0 协议，但权重是 Meta DINOv3 的衍生品，RA-4M 标注数据受 Gemma 使用条款约束，演示用的检测器为 AGPL-3.0，且不包含在发布产物中。必须要有 NVIDIA GPU 吗？不必须。CPU 推理开箱即用，笔记本可以本地跑 ONNX 或 OpenVINO 演示，支持图片或摄像头输入；浏览器演示则什么都不用装——走 NVIDIA GPU 加 TensorRT 这条路只是最快而已。
不必须。CPU 推理开箱即用，笔记本可以本地跑 ONNX 或 OpenVINO 演示，支持图片或摄像头输入；浏览器演示则什么都不用装——走 NVIDIA GPU 加 TensorRT 这条路只是最快而已。这里的“开放词表”是什么意思——我能搜索自己想查的关系吗？可以——关系短语由你在推理时提供，不需要重新训练。一个小型文本编码器会把它们各嵌入一次，逐帧推理时并不运行语言模型；另外还有一个更大的内置关系词表可用。
可以——关系短语由你在推理时提供，不需要重新训练。一个小型文本编码器会把它们各嵌入一次，逐帧推理时并不运行语言模型；另外还有一个更大的内置关系词表可用。它实际跑起来有多快？在 RTX 3080 Laptop GPU 上，推荐的 ViT-S+ 模型用 TensorRT FP32 处理一张图只需 17.2 毫秒（含预处理）；再加上 YOLO26m 检测后，整条流水线每张图约 36.5 毫秒。
在 RTX 3080 Laptop GPU 上，推荐的 ViT-S+ 模型用 TensorRT FP32 处理一张图只需 17.2 毫秒（含预处理）；再加上 YOLO26m 检测后，整条流水线每张图约 36.5 毫秒。有三个权重文件——我该选哪一个？从 relsgg-vits16plus（5320 万参数）开始，它是质量和速度的推荐平衡之选。relsgg-vits16（4610 万）和 relsgg-vitb16（1.138 亿）采用相同的训练配方，区别只在 DINOv3 ViT 骨干网络的大小。
从 relsgg-vits16plus（5320 万参数）开始，它是质量和速度的推荐平衡之选。relsgg-vits16（4610 万）和 relsgg-vitb16（1.138 亿）采用相同的训练配方，区别只在 DINOv3 ViT 骨干网络的大小。和之前的开放词表关系模型相比怎么样？大幅领先：在 VG150 上 F1@50 达到 36.9，而 OvSGTR 只有 16.5；在 PSG 上是 34.7 对 13.5，在 IndoorVG 上是 37.8 对 20.2，且使用的是同一个评估器——而且与 OvSGTR 不同，RelateAnything 不接收任何物体标签。
大幅领先：在 VG150 上 F1@50 达到 36.9，而 OvSGTR 只有 16.5；在 PSG 上是 34.7 对 13.5，在 IndoorVG 上是 37.8 对 20.2，且使用的是同一个评估器——而且与 OvSGTR 不同，RelateAnything 不接收任何物体标签。What are similar projects?YOLOX, High-Angle_Robust_Fast_FaceAlignment, yolov3, SolarWM, NanoJev, pointdit, yolov5, segment-anything
YOLOX, High-Angle_Robust_Fast_FaceAlignment, yolov3, SolarWM, NanoJev, pointdit, yolov5, segment-anythingWhich topics is it in?tensorrt, pretrained-models, onnx, training, deployment, dataset, evaluation, transformer, real-time, inference, computer-vision, cuda
tensorrt, pretrained-models, onnx, training, deployment, dataset, evaluation, transformer, real-time, inference, computer-vision, cuda