InstantID README

The project's README from github.com/instantX-research/InstantID. As one markdown file: README.md.

InstantID: Zero-shot Identity-Preserving Generation in Seconds

Qixun Wang12 · Xu Bai12 · Haofan Wang12* · Zekui Qin12 · Anthony Chen123

Huaxia Li2 · Xu Tang2 · Yao Hu2

1InstantX Team · 2Xiaohongshu Inc · 3Peking University

*corresponding authors

GitHub

ModelScope Open in OpenXLab

InstantID is a new state-of-the-art tuning-free method to achieve ID-Preserving generation with only single image, supporting various downstream tasks.

Release

Demos

Stylized Synthesis

Comparison with Previous Works

Comparison with existing tuning-free state-of-the-art techniques. InstantID achieves better fidelity and retain good text editability (faces and styles blend better).

Comparison with pre-trained character LoRAs. We don't need multiple images and still can achieve competitive results as LoRAs without any training.

Comparison with InsightFace Swapper (also known as ROOP or Refactor). However, in non-realistic style, our work is more flexible on the integration of face and background.

Kolors Version

We have adapted InstantID for Kolors. Leveraging Kolors' robust text generation capabilities 👍👍👍, InstantID can be integrated with Kolors to simultaneously generate ID and text.

demo demo demo

Download

You can directly download the model from Huggingface. You also can download the model in python script:

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/config.json", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/diffusion_pytorch_model.safetensors", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ip-adapter.bin", local_dir="./checkpoints")

Or run the following command to download all models:

pip install -r gradio_demo/requirements.txt
python gradio_demo/download_models.py

If you cannot access to Huggingface, you can use hf-mirror to download models.

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download InstantX/InstantID --local-dir checkpoints --local-dir-use-symlinks False

For face encoder, you need to manually download via this URL to models/antelopev2 as the default link is invalid. Once you have prepared all models, the folder tree should be like:

  .
  ├── models
  ├── checkpoints
  ├── ip_adapter
  ├── pipeline_stable_diffusion_xl_instantid.py
  └── README.md

Usage

If you want to reproduce results in the paper, please refer to the code in infer_full.py. If you want to compare the results with other methods, even without using depth-controlnet, it is recommended that you use this code.

If you are pursuing better results, it is recommended to follow InstantID-Rome.

The following code👇 comes from infer.py. If you want to quickly experience InstantID, please refer to the code in infer.py. 

# !pip install opencv-python transformers accelerate insightface
import diffusers
from diffusers.utils import load_image
from diffusers.models import ControlNetModel

import cv2
import torch
import numpy as np
from PIL import Image

from insightface.app import FaceAnalysis
from pipeline_stable_diffusion_xl_instantid import StableDiffusionXLInstantIDPipeline, draw_kps

# prepare 'antelopev2' under ./models
app = FaceAnalysis(name='antelopev2', root='./', providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
app.prepare(ctx_id=0, det_size=(640, 640))

# prepare models under ./checkpoints
face_adapter = f'./checkpoints/ip-adapter.bin'
controlnet_path = f'./checkpoints/ControlNetModel'

# load IdentityNet
controlnet = ControlNetModel.from_pretrained(controlnet_path, torch_dtype=torch.float16)

base_model = 'wangqixun/YamerMIX_v8'  # from https://civitai.com/models/84040?modelVersionId=196039
pipe = StableDiffusionXLInstantIDPipeline.from_pretrained(
    base_model,
    controlnet=controlnet,
    torch_dtype=torch.float16
)
pipe.cuda()

# load adapter
pipe.load_ip_adapter_instantid(face_adapter)

Then, you can customized your own face images

# load an image
face_image = load_image("./examples/yann-lecun_resize.jpg")

# prepare face emb
face_info = app.get(cv2.cvtColor(np.array(face_image), cv2.COLOR_RGB2BGR))
face_info = sorted(face_info, key=lambda x:(x['bbox'][2]-x['bbox'][0])*(x['bbox'][3]-x['bbox'][1]))[-1]  # only use the maximum face
face_emb = face_info['embedding']
face_kps = draw_kps(face_image, face_info['kps'])

# prompt
prompt = "film noir style, ink sketch|vector, male man, highly detailed, sharp focus, ultra sharpness, monochrome, high contrast, dramatic shadows, 1940s style, mysterious, cinematic"
negative_prompt = "ugly, deformed, noisy, blurry, low contrast, realism, photorealistic, vibrant, colorful"

# generate image
image = pipe(
    prompt,
    negative_prompt=negative_prompt,
    image_embeds=face_emb,
    image=face_kps,
    controlnet_conditioning_scale=0.8,
    ip_adapter_scale=0.8,
).images[0]

To save VRAM, you can enable CPU offloading

pipe.enable_model_cpu_offload()
pipe.enable_vae_tiling()

Speed Up with LCM-LoRA

Our work is compatible with LCM-LoRA. First, download the model.

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="latent-consistency/lcm-lora-sdxl", filename="pytorch_lora_weights.safetensors", local_dir="./checkpoints")

To use it, you just need to load it and infer with a small num_inference_steps. Note that it is recommendated to set guidance_scale between [0, 1].

from diffusers import LCMScheduler

lcm_lora_path = "./checkpoints/pytorch_lora_weights.safetensors"

pipe.load_lora_weights(lcm_lora_path)
pipe.fuse_lora()
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

num_inference_steps = 10
guidance_scale = 0

Start a local gradio demo

Run the following command:

python gradio_demo/app.py

or MultiControlNet version:

gradio_demo/app-multicontrolnet.py

Usage Tips

Community Resources

Replicate Demo

WebUI

ComfyUI

Windows

Acknowledgements

Disclaimer

The code of InstantID is released under Apache License for both academic and commercial usage. However, both manual-downloading and auto-downloading face models from insightface are for non-commercial research purposes only according to their license. Our released checkpoints are also for research purposes only. Users are granted the freedom to create images using this tool, but they are obligated to comply with local laws and utilize it responsibly. The developers will not assume any responsibility for potential misuse by users.

Star History

Star History Chart

Sponsor Us

If you find this project useful, you can buy us a coffee via Github Sponsor! We support Paypal and WeChat Pay.

Cite

If you find InstantID useful for your research and applications, please cite us using this BibTeX:

@article{wang2024instantid,
  title={InstantID: Zero-shot Identity-Preserving Generation in Seconds},
  author={Wang, Qixun and Bai, Xu and Wang, Haofan and Qin, Zekui and Chen, Anthony},
  journal={arXiv preprint arXiv:2401.07519},
  year={2024}
}

For any question, please feel free to contact us via [email protected] or [email protected].

InstantID (instantX-research/InstantID)

Searching Database…

12K ·GitHub
InstantID
Что это такое?InstantID — это метод генерации изображений с сохранением внешности человека, которому не нужна донастройка: достаточно одного референсного фото лица и текстового запроса, чтобы за секунды создать новые изображения с похожим человеком.
Это приложение, которое я устанавливаю, или код с моделями, которые встраиваются во что-то другое?Скорее исследовательский код, чем готовое приложение: пайплайн на Python, вошедший в Hugging Face diffusers, плюс скрипты для инференса и локальное gradio-демо в репозитории. Есть интеграции от сообщества для ComfyUI, sd-webui-controlnet и Replicate.
Как запустить это у себя?Склонируйте репозиторий, скачайте чекпоинты с Hugging Face (или через hf-mirror, если доступ заблокирован) и вручную положите энкодер лиц antelopev2 в models/antelopev2. Затем запустите скрипт инференса или локальное gradio-демо.
Что нужно помимо кода — GPU, модели, что-то ещё?Установленный Python и GPU, а также несколько файлов моделей: чекпоинт InstantID, ControlNet для IdentityNet, IP-Adapter, базовая модель Stable Diffusion и энкодер antelopev2. Если не хватает видеопамяти, поможет выгрузка на CPU (CPU offloading).
Чего он пока не умеет?Он работает только с одним лицом: сцены с несколькими людьми не поддерживаются — пайплайн просто берёт самое крупное лицо на фото в качестве референса.
Можно ли использовать это в коммерческих проектах?Частично — код под лицензией Apache 2.0 и разрешён и в науке, и в коммерции, но модели лиц insightface и выпущенные чекпоинты InstantID предназначены только для исследований, поэтому в коммерческой работе можно опираться на код, но не на поставляемые модели.
Чем это отличается от обучения LoRA на лицо конкретного человека?Обучения нет вообще: для персонажной LoRA нужно много фото человека и запуск файнтюнинга, а InstantID работает без донастройки и всего с одной картинки — в README утверждается, что результаты конкурентоспособны, а лица и стили смешиваются лучше, чем у предыдущих методов без донастройки.
Результат слишком непохож на моё референсное фото — как это исправить?Увеличьте controlnet_conditioning_scale (IdentityNet) и ip_adapter_scale, чтобы повысить сходство. Если цвета становятся пересыщенными, сначала уменьшите ip_adapter_scale, а если не помогло — controlnet_conditioning_scale. Меньший ip_adapter_scale также даёт текстовому запросу больше влияния.
Можно попробовать InstantID без установки чего-либо?Да — есть демо на Hugging Face Spaces с поддержкой ускорения LCM и Multi-ControlNets, а также демо на Replicate (zsxkib/instant-id). Пользователи WebUI могут воспользоваться расширением sd-webui-controlnet от Mikubill.
Можно ускорить генерацию?Да, InstantID совместим с LCM-LoRA: загрузите её и запускайте инференс с небольшим num_inference_steps, удерживая guidance_scale в диапазоне от 0 до 1. В примечаниях к релизу также упоминается OneDiff как вариант ускоренного инференса.
What are similar projects?ControlNet, PhotoMaker, latent-diffusion, kohya_ss, diffusers, stable-diffusion-webui-colab, stable-diffusion, generative-models
Which topics is it in?controlnet, face-recognition, comfyui, stable-diffusion, gradio, text-to-image, pretrained-models, diffusion-models, image-generation, inference, generative-ai, huggingface
Creator
instantX-research
Size
155 MB
Stars
12K
Updated
CommitJul 18
Age
2y
Commits · 90 Days