Что это такое?
Официальная реализация от Microsoft статьи про Swin Transformer и её продолжений: иерархический vision Transformer, который вычисляет внимание через сдвигаемые окна и служит универсальной основой (backbone) для задач компьютерного зрения.
Официальная реализация от Microsoft статьи про Swin Transformer и её продолжений: иерархический vision Transformer, который вычисляет внимание через сдвигаемые окна и служит универсальной основой (backbone) для задач компьютерного зрения.Это готовое приложение или код и модели для исследователей?Это исследовательская кодовая база, а не приложение: код для обучения и оценки плюс MODELHUB с предобученными чекпоинтами (Swin-T/S/B/L, SwinV2, Swin MLP), которые вы скачиваете и дообучаете под свою задачу.
Это исследовательская кодовая база, а не приложение: код для обучения и оценки плюс MODELHUB с предобученными чекпоинтами (Swin-T/S/B/L, SwinV2, Swin MLP), которые вы скачиваете и дообучаете под свою задачу.С чего начать работу с ним?Начните с быстрого старта в getstarted.md для классификации изображений, затем перейдите по ссылкам на репозитории для детекции, сегментации и остальных задач; предобученные модели ImageNet-1K/22K скачиваются по ссылкам на GitHub или Baidu из таблиц с результатами.
Начните с быстрого старта в getstarted.md для классификации изображений, затем перейдите по ссылкам на репозитории для детекции, сегментации и остальных задач; предобученные модели ImageNet-1K/22K скачиваются по ссылкам на GitHub или Baidu из таблиц с результатами.Проект ещё активно развивается?Нет. Репозиторий заархивирован и доступен только для чтения, а его changelog заканчивается декабрём 2022 года — относитесь к нему как к исследовательскому артефакту, сопровождающему статьи, а не как к поддерживаемому инструменту.
Нет. Репозиторий заархивирован и доступен только для чтения, а его changelog заканчивается декабрём 2022 года — относитесь к нему как к исследовательскому артефакту, сопровождающему статьи, а не как к поддерживаемому инструменту.Какое железо нужно, чтобы запускать или обучать эти модели?GPU от Nvidia: заявленные показатели FPS предполагают инференс на GPU, обучение можно запускать в чистом FP16 через Nvidia Apex O2, а FasterTransformer даёт значительное ускорение инференса на GPU T4 и A100. Размер моделей — от 28 млн до примерно 3 млрд параметров, так что выбирайте под свои задачи.
GPU от Nvidia: заявленные показатели FPS предполагают инференс на GPU, обучение можно запускать в чистом FP16 через Nvidia Apex O2, а FasterTransformer даёт значительное ускорение инференса на GPU T4 и A100. Размер моделей — от 28 млн до примерно 3 млрд параметров, так что выбирайте под свои задачи.В чём идея сдвигаемых окон и почему она важна?Swin вычисляет self-attention внутри непересекающихся локальных окон и сдвигает разбиение на окна между слоями, ограничивая объём вычислений, но сохраняя связи между окнами. Именно эта эффективность позволяет масштабировать его как универсальную основу для детекции и сегментации, а не только для классификации.
Swin вычисляет self-attention внутри непересекающихся локальных окон и сдвигает разбиение на окна между слоями, ограничивая объём вычислений, но сохраняя связи между окнами. Именно эта эффективность позволяет масштабировать его как универсальную основу для детекции и сегментации, а не только для классификации.Какие задачи и продолжения охватывает репозиторий?Помимо классификации на ImageNet, он содержит ссылки на код и модели для детекции объектов и сегментации экземпляров на COCO, семантической сегментации на ADE20K, распознавания действий в видео (Video Swin), полуконтролируемой детекции (Soft Teacher), самоконтролируемого предобучения (SimMIM, Transformer-SSL), Swin-MoE и дистилляции признаков.
Помимо классификации на ImageNet, он содержит ссылки на код и модели для детекции объектов и сегментации экземпляров на COCO, семантической сегментации на ADE20K, распознавания действий в видео (Video Swin), полуконтролируемой детекции (Soft Teacher), самоконтролируемого предобучения (SimMIM, Transformer-SSL), Swin-MoE и дистилляции признаков.Насколько точны предобученные модели?Swin-L на 384px достигает 87.3% top-1 на ImageNet-1K после предобучения на ImageNet-22K, 58.7 box AP на COCO и 53.5 mIoU на ADE20K. SwinV2-G доводит ADE20K до рекордных 61.4 mIoU, а линейка масштабируется от Swin-T (28 млн параметров) до SwinV2-G с 3 млрд параметров.
Swin-L на 384px достигает 87.3% top-1 на ImageNet-1K после предобучения на ImageNet-22K, 58.7 box AP на COCO и 53.5 mIoU на ADE20K. SwinV2-G доводит ADE20K до рекордных 61.4 mIoU, а линейка масштабируется от Swin-T (28 млн параметров) до SwinV2-G с 3 млрд параметров.Можно попробовать без установки чего-либо?Да — модель интегрирована в Huggingface Spaces с веб-демо на Gradio, так что вы можете попробовать её в браузере, прежде чем настраивать окружение с GPU.
Да — модель интегрирована в Huggingface Spaces с веб-демо на Gradio, так что вы можете попробовать её в браузере, прежде чем настраивать окружение с GPU.What are similar projects?deep-learning-for-image-processing, dinov2, VisionHOPE, mmdetection, pytorch-image-models, dinov3, ultralytics, detectron2
deep-learning-for-image-processing, dinov2, VisionHOPE, mmdetection, pytorch-image-models, dinov3, ultralytics, detectron2