mmdetection README

The project's README from github.com/open-mmlab/mmdetection. As one markdown file: README.md.

 
OpenMMLab website HOT      OpenMMLab platform TRY IT OUT
 

PyPI docs badge codecov license open issues issue resolution Open in OpenXLab

📘Documentation | 🛠️Installation | 👀Model Zoo | 🆕Update News | 🚀Ongoing Projects | 🤔Reporting Issues

English | 简体中文

Introduction

MMDetection is an open source object detection toolbox based on PyTorch. It is a part of the OpenMMLab project.

The main branch works with PyTorch 1.8+.

Major features
  • Modular Design

    We decompose the detection framework into different components and one can easily construct a customized object detection framework by combining different modules.

  • Support of multiple tasks out of box

    The toolbox directly supports multiple detection tasks such as object detection, instance segmentation, panoptic segmentation, and semi-supervised object detection.

  • High efficiency

    All basic bbox and mask operations run on GPUs. The training speed is faster than or comparable to other codebases, including Detectron2, maskrcnn-benchmark and SimpleDet.

  • State of the art

    The toolbox stems from the codebase developed by the MMDet team, who won COCO Detection Challenge in 2018, and we keep pushing it forward. The newly released RTMDet also obtains new state-of-the-art results on real-time instance segmentation and rotated object detection tasks and the best parameter-accuracy trade-off on object detection.

Apart from MMDetection, we also released MMEngine for model training and MMCV for computer vision research, which are heavily depended on by this toolbox.

What's New

💎 We have released the pre-trained weights for MM-Grounding-DINO Swin-B and Swin-L, welcome to try and give feedback.

Highlight

v3.3.0 was released in 5/1/2024:

MM-Grounding-DINO: An Open and Comprehensive Pipeline for Unified Object Grounding and Detection

Grounding DINO is a grounding pre-training model that unifies 2d open vocabulary object detection and phrase grounding, with wide applications. However, its training part has not been open sourced. Therefore, we propose MM-Grounding-DINO, which not only serves as an open source replication version of Grounding DINO, but also achieves significant performance improvement based on reconstructed data types, exploring different dataset combinations and initialization strategies. Moreover, we conduct evaluations from multiple dimensions, including OOD, REC, Phrase Grounding, OVD, and Fine-tune, to fully excavate the advantages and disadvantages of Grounding pre-training, hoping to provide inspiration for future work.

code: mm_grounding_dino/README.md

We are excited to announce our latest work on real-time object recognition tasks, RTMDet, a family of fully convolutional single-stage detectors. RTMDet not only achieves the best parameter-accuracy trade-off on object detection from tiny to extra-large model sizes but also obtains new state-of-the-art performance on instance segmentation and rotated object detection tasks. Details can be found in the technical report. Pre-trained models are here.

PWC PWC PWC

Task Dataset AP FPS(TRT FP16 BS1 3090)
Object Detection COCO 52.8 322
Instance Segmentation COCO 44.6 188
Rotated Object Detection DOTA 78.9(single-scale)/81.3(multi-scale) 121

Installation

Please refer to Installation for installation instructions.

Getting Started

Please see Overview for the general introduction of MMDetection.

For detailed user guides and advanced guides, please refer to our documentation:

We also provide object detection colab tutorial Open in Colab and instance segmentation colab tutorial Open in Colab.

To migrate from MMDetection 2.x, please refer to migration.

Overview of Benchmark and Model Zoo

Results and models are available in the model zoo.

Architectures
Object Detection Instance Segmentation Panoptic Segmentation Other
  • Contrastive Learning
  • Distillation
  • Semi-Supervised Object Detection
  • Components
    Backbones Necks Loss Common

    mmdetection (open-mmlab/mmdetection)

    Searching Database…

    Что это?MMDetection — это инструмент с открытым исходным кодом для обнаружения объектов, построенный на PyTorch и входящий в проект OpenMMLab. Он поддерживает обнаружение объектов, сегментацию экземпляров, панорамную сегментацию и обнаружение с частично размеченными данными.
    Это фреймворк, на основе которого я строю свои решения, или готовое приложение?Это модульный исследовательский фреймворк (библиотека): он разбивает конвейер обнаружения на компоненты (бэкбоны, неки, головы), так что из этих модулей можно собрать собственные детекторы.
    Как мне это запустить?Следуйте официальному руководству по установке. После установки используйте пользовательские руководства по обучению и тестированию, запуску инференса на готовых моделях и подготовке датасетов.
    Что нужно установить, чтобы это заработало?Нужен PyTorch версии 1.8 и выше, а также две связанные библиотеки OpenMMLab: MMEngine (для обучения) и MMCV (базовые операции компьютерного зрения), от которых проект сильно зависит.
    Это всё ещё активно поддерживаемая версия или стоит посмотреть что-то новее?Проект активно обновляется новыми релизами (например, v3.3.0 и MM-Grounding-DINO в 2024 году). Но пользователям, переходящим со старой серии 2.x, нужно следовать отдельному руководству по миграции, так как API изменились.
    Насколько велик зоопарк моделей?Очень велик: он включает десятки архитектур, в том числе Faster R-CNN, Mask R-CNN, RetinaNet, варианты DETR, Swin Transformer, YOLOX, RTMDet, Grounding DINO и многие другие для обнаружения, сегментации экземпляров и панорамной сегментации.
    Что такое RTMDet и почему его выделяют?RTMDet — это семейство одноэтапных полностью свёрточных детекторов реального времени, выпущенных проектом. Они дают передовой баланс между числом параметров и точностью при обнаружении объектов, а также лидируют в сегментации экземпляров и обнаружении повёрнутых объектов, например, 52.8 AP при 322 FPS на COCO.
    Что такое MM-Grounding-DINO?Это открытое воспроизведение и улучшение Grounding DINO командой проекта. Grounding DINO объединяет обнаружение объектов с открытым словарём и привязку фраз к изображению. Опубликованы предобученные веса Swin-B и Swin-L, а также результаты оценок в сценариях OOD, REC, phrase grounding, OVD и дообучения.
    Насколько быстро MMDetection обучается по сравнению с другими инструментами?Авторы утверждают, что скорость обучения выше или сопоставима с другими кодовыми базами, такими как Detectron2, maskrcnn-benchmark и SimpleDet.
    Creator
    open-mmlab
    Size
    63.3 MB
    Stars
    33K
    Age
    8y
    Commits · 90 Days