AnimateDiff README

The project's README from github.com/guoyww/AnimateDiff. As one markdown file: README.md.

AnimateDiff

This repository is the official implementation of AnimateDiff [ICLR2024 Spotlight]. It is a plug-and-play module turning most community text-to-image models into animation generators, without the need of additional training.

AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning
Yuwei Guo, Ceyuan Yang✝, Anyi Rao, Zhengyang Liang, Yaohui Wang, Yu Qiao, Maneesh Agrawala, Dahua Lin, Bo Dai (✝Corresponding Author)
arXiv Project Page Open in OpenXLab Hugging Face Spaces

Note: The main branch is for Stable Diffusion V1.5; for Stable Diffusion XL, please refer sdxl-beta branch.

Quick Demos

More results can be found in the Gallery. Some of them are contributed by the community.

Model：ToonYou

Model：Realistic Vision V2.0

Quick Start

Note: AnimateDiff is also offically supported by Diffusers. Visit AnimateDiff Diffusers Tutorial for more details. Following instructions is for working with this repository.

Note: For all scripts, checkpoint downloading will be automatically handled, so the script running may take longer time when first executed.

1. Setup repository and environment

git clone https://github.com/guoyww/AnimateDiff.git
cd AnimateDiff

pip install -r requirements.txt

2. Launch the sampling script!

The generated samples can be found in samples/ folder.

2.1 Generate animations with comunity models

python -m scripts.animate --config configs/prompts/1_animate/1_1_animate_RealisticVision.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_2_animate_FilmVelvia.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_3_animate_ToonYou.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_4_animate_MajicMix.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_5_animate_RcnzCartoon.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_6_animate_Lyriel.yaml
python -m scripts.animate --config configs/prompts/1_animate/1_7_animate_Tusun.yaml

2.2 Generate animation with MotionLoRA control

python -m scripts.animate --config configs/prompts/2_motionlora/2_motionlora_RealisticVision.yaml

2.3 More control with SparseCtrl RGB and sketch

python -m scripts.animate --config configs/prompts/3_sparsectrl/3_1_sparsectrl_i2v.yaml
python -m scripts.animate --config configs/prompts/3_sparsectrl/3_2_sparsectrl_rgb_RealisticVision.yaml
python -m scripts.animate --config configs/prompts/3_sparsectrl/3_3_sparsectrl_sketch_RealisticVision.yaml

2.4 Gradio app

We created a Gradio demo to make AnimateDiff easier to use. By default, the demo will run at localhost:7860.

python -u app.py

Technical Explanation

Technical Explanation

AnimateDiff

AnimateDiff aims to learn transferable motion priors that can be applied to other variants of Stable Diffusion family. To this end, we design the following training pipeline consisting of three stages.

  • In 1. Alleviate Negative Effects stage, we train the domain adapter, e.g., v3_sd15_adapter.ckpt, to fit defective visual aritfacts (e.g., watermarks) in the training dataset. This can also benefit the distangled learning of motion and spatial appearance. By default, the adapter can be removed at inference. It can also be integrated into the model and its effects can be adjusted by a lora scaler.

  • In 2. Learn Motion Priors stage, we train the motion module, e.g., v3_sd15_mm.ckpt, to learn the real-world motion patterns from videos.

  • In 3. (optional) Adapt to New Patterns stage, we train MotionLoRA, e.g., v2_lora_ZoomIn.ckpt, to efficiently adapt motion module for specific motion patterns (camera zooming, rolling, etc.).

SparseCtrl

SparseCtrl aims to add more control to text-to-video models by adopting some sparse inputs (e.g., few RGB images or sketch inputs). Its technicall details can be found in the following paper:

SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models
Yuwei Guo, Ceyuan Yang✝, Anyi Rao, Maneesh Agrawala, Dahua Lin, Bo Dai (✝Corresponding Author)
arXiv Project Page

Model Versions

Model Versions

AnimateDiff v3 and SparseCtrl (2023.12)

In this version, we use Domain Adapter LoRA for image model finetuning, which provides more flexiblity at inference. We also implement two (RGB image/scribble) SparseCtrl encoders, which can take abitary number of condition maps to control the animation contents.

AnimateDiff v3 Model Zoo
Name HuggingFace Type Storage Description
v3_adapter_sd_v15.ckpt Link Domain Adapter 97.4 MB
v3_sd15_mm.ckpt.ckpt Link Motion Module 1.56 GB
v3_sd15_sparsectrl_scribble.ckpt Link SparseCtrl Encoder 1.86 GB scribble condition
v3_sd15_sparsectrl_rgb.ckpt Link SparseCtrl Encoder 1.85 GB RGB image condition

Limitations

  1. Small fickering is noticable;
  2. To stay compatible with comunity models, there is no specific optimizations for general T2V, leading to limited visual quality under this setting;
  3. (Style Alignment) For usage such as image animation/interpolation, it's recommanded to use images generated by the same community model.

Demos

Input (by RealisticVision) Animation Input Animation
Input Scribble Output Input Scribbles Output

AnimateDiff SDXL-Beta (2023.11)

Release the Motion Module (beta version) on SDXL, available at Google Drive / HuggingFace / CivitAI. High resolution videos (i.e., 1024x1024x16 frames with various aspect ratios) could be produced with/without personalized models. Inference usually requires ~13GB VRAM and tuned hyperparameters (e.g., sampling steps), depending on the chosen personalized models.
Checkout to the branch sdxl for more details of the inference.

AnimateDiff SDXL-Beta Model Zoo
Name HuggingFace Type Storage Space
mm_sdxl_v10_beta.ckpt Link Motion Module 950 MB

Demos

Original SDXL Community SDXL Community SDXL

AnimateDiff v2 (2023.09)

In this version, the motion module mm_sd_v15_v2.ckpt (Google Drive / HuggingFace / CivitAI) is trained upon larger resolution and batch size. We found that the scale-up training significantly helps improve the motion quality and diversity.
We also support MotionLoRA of eight basic camera movements. MotionLoRA checkpoints take up only 77 MB storage per model, and are available at Google Drive / HuggingFace / CivitAI.

AnimateDiff v2 Model Zoo
Name HuggingFace Type Parameter Storage
mm_sd_v15_v2.ckpt Link Motion Module 453 M 1.7 GB
v2_lora_ZoomIn.ckpt Link MotionLoRA 19 M 74 MB
v2_lora_ZoomOut.ckpt Link MotionLoRA 19 M 74 MB
v2_lora_PanLeft.ckpt Link MotionLoRA 19 M 74 MB
v2_lora_PanRight.ckpt Link MotionLoRA 19 M 74 MB
v2_lora_TiltUp.ckpt Link MotionLoRA 19 M 74 MB
v2_lora_TiltDown.ckpt Link MotionLoRA 19 M 74 MB
v2_lora_RollingClockwise.ckpt Link MotionLoRA 19 M 74 MB
v2_lora_RollingAnticlockwise.ckpt Link MotionLoRA 19 M 74 MB

Demos (MotionLoRA)

Zoom In Zoom Out Zoom Pan Left Zoom Pan Right
Tilt Up Tilt Down Rolling Anti-Clockwise Rolling Clockwise

Demos (Improved Motions)

Here's a comparison between mm_sd_v15.ckpt (left) and improved mm_sd_v15_v2.ckpt (right).

AnimateDiff v1 (2023.07)

The first version of AnimateDiff!

AnimateDiff v1 Model Zoo
Name HuggingFace Parameter Storage Space
mm_sd_v14.ckpt Link 417 M 1.6 GB
mm_sd_v15.ckpt Link 417 M 1.6 GB

Training

Please check Steps for Training for details.

AnimateDiff for Stable Diffusion WebUI: sd-webui-animatediff (by @continue-revolution)
AnimateDiff for ComfyUI: ComfyUI-AnimateDiff-Evolved (by @Kosinkadink)
Google Colab: Colab (by @camenduru)

Disclaimer

This project is released for academic use. We disclaim responsibility for user-generated content. Also, please be advised that our only official website are https://github.com/guoyww/AnimateDiff and https://animatediff.github.io, and all the other websites are NOT associated with us at AnimateDiff.

Contact Us

Yuwei Guo: [email protected]
Ceyuan Yang: [email protected]
Bo Dai: [email protected]

BibTeX

@article{guo2023animatediff,
  title={AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning},
  author={Guo, Yuwei and Yang, Ceyuan and Rao, Anyi and Liang, Zhengyang and Wang, Yaohui and Qiao, Yu and Agrawala, Maneesh and Lin, Dahua and Dai, Bo},
  journal={International Conference on Learning Representations},
  year={2024}
}

@article{guo2023sparsectrl,
  title={SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models},
  author={Guo, Yuwei and Yang, Ceyuan and Rao, Anyi and Agrawala, Maneesh and Lin, Dahua and Dai, Bo},
  journal={arXiv preprint arXiv:2311.16933},
  year={2023}
}

Acknowledgements

Codebase built upon Tune-a-Video.

AnimateDiff (guoyww/AnimateDiff)

Searching Database…

12.3K ·GitHub
AnimateDiff
Что это такое?AnimateDiff — официальная реализация научного метода, который превращает персонализированные модели Stable Diffusion для генерации изображений по тексту в генераторы анимации (текст-в-видео) без дополнительного дообучения этих моделей.
Это отдельное приложение или то, что подключается к уже существующим моделям Stable Diffusion?Это готовый к подключению модуль движения и набор чекпоинтов, которые присоединяются к существующей модели Stable Diffusion от сообщества (v1.5 или SDXL). Использовать его отдельно как модель нельзя.
Как это запустить?Клонируйте репозиторий и настройте окружение Python, затем запустите готовые скрипты генерации (чекпоинты скачиваются автоматически). Есть также приложение на Gradio, которое работает по адресу localhost:7860 и предлагает более удобный интерфейс.
Нужны ли мне чекпоинт Stable Diffusion и видеокарта, чтобы этим пользоваться?Да: нужен чекпоинт Stable Diffusion от сообщества (по умолчанию SD1.5, SDXL — в отдельной ветке) и мощная видеокарта. Для вывода SDXL требуется примерно 13 ГБ видеопамяти (VRAM).
Идеально ли качество выходного видео или есть известные проблемы?Авторы отмечают, что заметно небольшое мерцание. Визуальное качество для общей генерации видео по тексту ограничено, потому что модель ставит совместимость с моделями сообщества выше специальной оптимизации. А для анимации изображений лучше использовать картинки из той же модели сообщества, чтобы стиль совпадал.
Это для обычных пользователей или скорее инструмент для исследователей и опытных пользователей?Это исследовательский проект, выпущенный для академического использования. Он рассчитан на тех, кто уверенно запускает скрипты на Python и работает с чекпоинтами диффузионных моделей, хотя версии от сообщества (WebUI, ComfyUI) делают его доступнее.
Нужна ли особая конфигурация видеокарты для запуска?Подразумевается видеокарта CUDA с большим объемом видеопамяти, особенно для SDXL (около 13 ГБ). Точный минимум для SD1.5 не указан.
Для чего нужны MotionLoRA?Чекпоинты MotionLoRA (всего около 74–77 МБ каждый) подстраивают модуль движения под конкретные движения камеры: приближение и отдаление, панорамирование влево и вправо, наклон вверх и вниз, а также вращение (крен). При этом весь модуль движения заново обучать не нужно.
Что такое SparseCtrl и чем он отличается от MotionLoRA?SparseCtrl — отдельный метод, который добавляет дополнительное управление генерацией видео по тексту. Он принимает разреженные входные данные, например несколько RGB-изображений или эскизов, и даёт более точный контроль над содержанием анимации, а не только над движением камеры.
Можно ли использовать это внутри Stable Diffusion WebUI или ComfyUI вместо этого репозитория напрямую?Да, сообщество поддерживает адаптации: sd-webui-animatediff для Automatic1111/WebUI и ComfyUI-AnimateDiff-Evolved для ComfyUI, а также блокнот Google Colab.
Сколько есть версий модели и какая самая новая?Есть v1, v2, v3 и релиз SDXL-Beta. Самая новая версия для SD1.5 — v3 (декабрь 2023). Она добавляет Domain Adapter LoRA и два энкодера SparseCtrl (для RGB-изображений и эскизов).
What are similar projects?LTX-Video, DiffSynth-Studio, Wan2.1, InstantID, Open-Sora, WanGP, ControlNet, generative-models
Which topics is it in?generative, comfyui, stable-diffusion, gradio, text-to-video, text-to-image, diffusion-models, lora, video-generation, academic-research, video, animation
Creator
guoyww
Size
60.4 MB
Stars
12.3K
Updated
CommitJul 17
Age
3y
Commits · 90 Days