10.9K ·GitHub
Что это такое?
Это официальный код проекта 'MagicAnimate' (CVPR 2024) — метод на основе диффузионных моделей, который анимирует изображение человека-референса по последовательности движений и создаёт видео с согласованностью во времени.
Это официальный код проекта 'MagicAnimate' (CVPR 2024) — метод на основе диффузионных моделей, который анимирует изображение человека-референса по последовательности движений и создаёт видео с согласованностью во времени.Это готовое приложение или просто исследовательский код?Это официальный релиз исследования к статье: скрипты для инференса и демо на Gradio, построенное на Stable Diffusion V1.5. Это не упакованная библиотека и не установщик.
Это официальный релиз исследования к статье: скрипты для инференса и демо на Gradio, построенное на Stable Diffusion V1.5. Это не упакованная библиотека и не установщик.Как это запустить?Скачайте базовую модель Stable Diffusion V1.5, VAE, дообученный на MSE, и чекпоинты MagicAnimate с Hugging Face, разложите их в нужной структуре папок, а затем запустите предусмотренный скрипт инференса.
Скачайте базовую модель Stable Diffusion V1.5, VAE, дообученный на MSE, и чекпоинты MagicAnimate с Hugging Face, разложите их в нужной структуре папок, а затем запустите предусмотренный скрипт инференса.Что нужно установить перед запуском?Python 3.8+, CUDA 11.3+ и ffmpeg; git-lfs рекомендуется для загрузки больших предобученных чекпоинтов.
Python 3.8+, CUDA 11.3+ и ffmpeg; git-lfs рекомендуется для загрузки больших предобученных чекпоинтов.Есть ли подводные камни при установке, о которых стоит знать?Нужно вручную скачать несколько больших предобученных чекпоинтов (базовую модель SD, VAE, веса MagicAnimate) и разложить их в точной структуре папок, прежде чем что-либо запустится.
Нужно вручную скачать несколько больших предобученных чекпоинтов (базовую модель SD, VAE, веса MagicAnimate) и разложить их в точной структуре папок, прежде чем что-либо запустится.Чем MagicAnimate отличается от простых методов переноса позы?Он специально нацелен на согласованность во времени между кадрами: использует диффузионную модель, управляемую позой, и уменьшает мерцание и дрейф внешности, характерные для покадровых подходов к анимации.
Он специально нацелен на согласованность во времени между кадрами: использует диффузионную модель, управляемую позой, и уменьшает мерцание и дрейф внешности, характерные для покадровых подходов к анимации.Можно попробовать без установки?Да, есть онлайн-демо на Gradio (созданное при участии команды Hugging Face), которым можно пользоваться прямо в браузере без локальной настройки.
Да, есть онлайн-демо на Gradio (созданное при участии команды Hugging Face), которым можно пользоваться прямо в браузере без локальной настройки.Это бесплатно, в том числе для коммерческого использования?Да, код распространяется по лицензии BSD-3-Clause, которая является разрешительной и допускает коммерческое использование.
Да, код распространяется по лицензии BSD-3-Clause, которая является разрешительной и допускает коммерческое использование.What are similar projects?FramePack, ControlNet, generative-models, wuji-ego-mint, Open-Sora, HunyuanVideo-1.5, SolarWM, DreamX-Creator
FramePack, ControlNet, generative-models, wuji-ego-mint, Open-Sora, HunyuanVideo-1.5, SolarWM, DreamX-CreatorWhich topics is it in?pose-estimation, diffusion, image-to-video, stable-diffusion, gradio, paper, academic, video-generation, bsd, video, animation, huggingface
pose-estimation, diffusion, image-to-video, stable-diffusion, gradio, paper, academic, video-generation, bsd, video, animation, huggingface