MatAnyone-E README

README проекта с github.com/Shuyun-Wang/MatAnyone-E. Одним файлом markdown: README.md.

MatAnyone-E Logo

Sparse Memory Propagation for Efficient High-Resolution Video Matting

Shuyun Wang1,2  Shangchen Zhou2†  Peiqing Yang2  Yuekun Dai2  Xin Yu3*  Chen Change Loy2*
1The University of Queensland  2S-Lab, Nanyang Technological University  3University of Adelaide
†Project lead *Corresponding authors

4K speed race: MatAnyone 2 at 2.3 FPS vs MatAnyone-E at 28.6 FPS on one H200

MatAnyone-E mattes native 4K video at 28.6 FPS on a single H200 (with torch.compile), 12× faster than MatAnyone 2, using 3.1 GB of GPU memory, while keeping fine details such as hair strands.

:movie_camera: More results on the project page.


📮 Update

🏄🏻‍♀️ TODO

🔎 Overview

overview

MatAnyone-E keeps the architecture of MatAnyone 2 and replaces the two parts whose cost grows fastest with resolution:

⚡ Efficiency

FPS and peak GPU memory on one NVIDIA A800-SXM4-80GB (fp16); (C.) = with torch.compile.

Resolution MatAnyone 2 Ours Ours (C.) MatAnyone 2 memory Ours memory Ours (C.) memory
1024×1024 29.5 41.3 47.3 1.60 GB 0.92 GB 0.61 GB
1920×1080 13.6 26.6 37.6 5.47 GB 1.66 GB 1.07 GB
2560×1440 5.6 16.5 25.1 16.20 GB 3.04 GB 2.02 GB
3840×2160 ~1.1 8.1 13.6 ~79.69 GB 6.08 GB 3.89 GB

~ extrapolated (a full memory bank does not fit in 80 GB). On one H200 with torch.compile: 73.07 FPS at 1080p, 28.62 FPS at 4K.

📑 Citation

If you find our repo useful for your research, please consider citing our paper:

@article{wang2026matanyonee,
  title   = {{MatAnyone-E}: Sparse Memory Propagation for Efficient High-Resolution Video Matting},
  author  = {Shuyun Wang and Shangchen Zhou and Peiqing Yang and Yuekun Dai and Xin Yu and Chen Change Loy},
  journal = {arXiv preprint arXiv:2610.35724},
  year    = {2026}
}

📝 License

This project is licensed under NTU S-Lab License 1.0. Redistribution and use should follow this license.

👏 Acknowledgement

This project is built upon MatAnyone 2 and MatAnyone. Thanks for their awesome works!

📧 Contact

If you have any questions, please feel free to reach us at [email protected].

MatAnyone-E (Shuyun-Wang/MatAnyone-E)

Ищем в базе…

Что это такое?MatAnyone-E — исследовательская модель для матирования видео в высоком разрешении (разделения видео на передний план и фон с помощью альфа-маски), которая работает значительно быстрее и требует гораздо меньше памяти GPU, чем оригинальная MatAnyone 2, при этом сохраняя мелкие детали, например отдельные волоски.
Это совершенно новая модель или изменённая версия чего-то другого?Она сохраняет архитектуру MatAnyone 2, но заменяет две части, стоимость которых быстрее всего растёт с разрешением: модуль разреженного распространения памяти, который выполняет сопоставление в высоком разрешении только для отсечённых пар запрос/память, и облегчённый декодер, обученный методом дистилляции на основе оригинального.
Могу ли я запустить это сам прямо сейчас?Пока нет. Опубликованы только статья и страница проекта; код инференса и чекпоинты, демо на Hugging Face и узел для ComfyUI пока значатся как TODO.
Какое железо понадобится, когда код выйдет?GPU с поддержкой CUDA, подобранный под нужное разрешение: в статье замеры проведены на NVIDIA A800-80GB и H200, а даже с оптимизациями torch.compile матирование в нативном 4K требует минимум около 3,9 ГБ видеопамяти.
Работает ли она быстро и легко при любом разрешении?Потребление памяти всё равно растёт с разрешением. В 4K авторы не смогли напрямую измерить расход памяти MatAnyone 2 и были вынуждены его экстраполировать, потому что полный банк памяти не помещается в 80 ГБ видеопамяти GPU.
Почему это называется «Sparse Memory Propagation»?Сначала дешёвый проход в низком разрешении определяет, в каких местах запроса результат неопределён и какие сохранённые кадры памяти для них действительно важны, а затем дорогое сопоставление в высоком разрешении выполняется только для этого небольшого отсечённого набора пар, а не для всего подряд.
Насколько она быстрее оригинальной MatAnyone 2?В нативном 4K на H200 с torch.compile она выдаёт 28,6 FPS против примерно 1,1 FPS у MatAnyone 2 (примерно в 12 раз быстрее), при этом используя 3,1 ГБ видеопамяти вместо экстраполированных ~80 ГБ.
Какие есть похожие проекты?OraRL, VisionHOPE, video-prediction-policy-2, wuji-ego-mint, tapnet, idol-sdk, vggt, pointdit
Автор
Shuyun-Wang
Размер
3.2 MB
Звёзды
196
Обновлён
КоммитNov 05
Возраст
27 д
Коммиты · 90 дней