PhotoMaker README

The project's README from github.com/TencentARC/PhotoMaker. As one markdown file: README.md.

PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding Paper page

[Paper]   [Project Page]   [Model Card]

[💥New 🤗 Demo (PhotoMaker V2)]   [🤗 Demo (Realistic)]   [🤗 Demo (Stylization)]

[Replicate Demo (Realistic)]   [Replicate Demo (Stylization)]   [Jittor version]

PhotoMaker-V2 is supported by the HunyuanDiT team.

🥳 We release PhotoMaker V2. Please refer to comparisons between PhotoMaker V1, PhotoMaker V2, IP-Adapter-FaceID-plus-V2, and InstantID. Please watch this video for how to use our demo. For PhotoMaker V2 ComfyUI nodes, please refer to the Related Resources

🌠 Key Features:

  1. Rapid customization within seconds, with no additional LoRA training.
  2. Ensures impressive ID fidelity, offering diversity, promising text controllability, and high-quality generation.
  3. Can serve as an Adapter to collaborate with other Base Models alongside LoRA modules in community.

TencentARC%2FPhotoMaker | Trendshift

❗❗ Note: If there are any PhotoMaker based resources and applications, please leave them in the discussion and we will list them in the Related Resources section in README file. Now we know the implementation of Replicate, Windows, ComfyUI, and WebUI. Thank you all!

photomaker_demo_fast

🚩 New Features/Updates

🔥 Examples

Realistic generation

Stylization generation

Note: only change the base model and add the LoRA modules for better stylization

🔧 Dependencies and Installation

conda create --name photomaker python=3.10
conda activate photomaker
pip install -U pip

# Install requirements
pip install -r requirements.txt

# Install photomaker
pip install git+https://github.com/TencentARC/PhotoMaker.git

Then you can run the following command to use it

from photomaker import PhotoMakerStableDiffusionXLPipeline

⏬ Download Models

The model will be automatically downloaded through the following two lines:

from huggingface_hub import hf_hub_download
photomaker_path = hf_hub_download(repo_id="TencentARC/PhotoMaker", filename="photomaker-v1.bin", repo_type="model")

You can also choose to download manually from this url.

💻 How to Test

Use like diffusers

import torch
import os
from diffusers.utils import load_image
from diffusers import EulerDiscreteScheduler
from photomaker import PhotoMakerStableDiffusionXLPipeline

### Load base model
pipe = PhotoMakerStableDiffusionXLPipeline.from_pretrained(
    base_model_path,  # can change to any base model based on SDXL
    torch_dtype=torch.bfloat16, 
    use_safetensors=True, 
    variant="fp16"
).to(device)

### Load PhotoMaker checkpoint
pipe.load_photomaker_adapter(
    os.path.dirname(photomaker_path),
    subfolder="",
    weight_name=os.path.basename(photomaker_path),
    trigger_word="img"  # define the trigger word
)     

pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config)

### Also can cooperate with other LoRA modules
# pipe.load_lora_weights(os.path.dirname(lora_path), weight_name=lora_model_name, adapter_name="xl_more_art-full")
# pipe.set_adapters(["photomaker", "xl_more_art-full"], adapter_weights=[1.0, 0.5])

pipe.fuse_lora()

### define the input ID images
input_folder_name = './examples/newton_man'
image_basename_list = os.listdir(input_folder_name)
image_path_list = sorted([os.path.join(input_folder_name, basename) for basename in image_basename_list])

input_id_images = []
for image_path in image_path_list:
    input_id_images.append(load_image(image_path))


# Note that the trigger word `img` must follow the class word for personalization
prompt = "a half-body portrait of a man img wearing the sunglasses in Iron man suit, best quality"
negative_prompt = "(asymmetry, worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth, grayscale"
generator = torch.Generator(device=device).manual_seed(42)
images = pipe(
    prompt=prompt,
    input_id_images=input_id_images,
    negative_prompt=negative_prompt,
    num_images_per_prompt=1,
    num_inference_steps=num_steps,
    start_merge_step=10,
    generator=generator,
).images[0]
gen_images.save('out_photomaker.png')

Start a local gradio demo

Run the following command:

python gradio_demo/app.py

You could customize this script in this file.

If you want to run it on MAC, you should follow this Instruction and then run the app.py.

Usage Tips:

Related Resources

Replicate demo of PhotoMaker:

  1. Demo link, run PhotoMaker on replicate, provided by @yorickvP and @jd7h.
  2. Demo link (style version).

WebUI version of PhotoMaker:

  1. stable-diffusion-webui-forge: https://github.com/lllyasviel/stable-diffusion-webui-forge provided by @Lvmin Zhang
  2. Fooocus App: Fooocus-inswapper provided by @machineminded

Windows version of PhotoMaker:

  1. bmaltais/PhotoMaker by @bmaltais, easy to deploy PhotoMaker on Windows. The description can be found in this link.
  2. sdbds/PhotoMaker-for-windows by @sdbds.

ComfyUI:

  1. 🔥 Official Implementation by ComfyUI: https://github.com/comfyanonymous/ComfyUI/commit/d1533d9c0f1dde192f738ef1b745b15f49f41e02
  2. https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker
  3. https://github.com/StartHua/Comfyui-Mine-PhotoMaker
  4. https://github.com/shiimizu/ComfyUI-PhotoMaker

ComfyUI (for PhotoMaker V2):

  1. https://github.com/shiimizu/ComfyUI-PhotoMaker-Plus
  2. https://github.com/edwios/ComfyUI-PhotoMakerV2-ZHO/tree/main
  3. https://openart.ai/workflows/shalacai/photomakerv2/fttT4ztRM85JxBJ2eUyr
  4. https://github.com/zhangp365/ComfyUI_photomakerV2_native

Purely C/C++/CUDA version of PhotoMaker:

  1. stable-diffusion.cpp by @bssrdf.

Other Applications / Web Demos

  1. Wisemodel 始智 (Easy to use in China) https://wisemodel.cn/space/gradio/photomaker
  2. OpenXLab (Easy to use in China): https://openxlab.org.cn/apps/detail/camenduru/PhotoMaker Open in OpenXLab by @camenduru.
  3. Colab: https://github.com/camenduru/PhotoMaker-colab by @camenduru
  4. Monster API: https://monsterapi.ai/playground?model=photo-maker
  5. Pinokio: https://pinokio.computer/item?uri=https://github.com/cocktailpeanutlabs/photomaker

Graido demo in 45 lines

Provided by @Gradio

🤗 Acknowledgements

Disclaimer

This project strives to impact the domain of AI-driven image generation positively. Users are granted the freedom to create images using this tool, but they are expected to comply with local laws and utilize it responsibly. The developers do not assume any responsibility for potential misuse by users.

BibTeX

If you find PhotoMaker useful for your research and applications, please cite using this BibTeX:

@inproceedings{li2023photomaker,
  title={PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
  author={Li, Zhen and Cao, Mingdeng and Wang, Xintao and Qi, Zhongang and Cheng, Ming-Ming and Shan, Ying},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

PhotoMaker (TencentARC/PhotoMaker)

Searching Database…

10.1K ·GitHub
PhotoMaker
Что это такое?PhotoMaker — это ИИ-инструмент от Tencent ARC (CVPR 2024), который генерирует новые изображения конкретного человека: вы загружаете несколько референсных фото лица плюс текстовый промпт, и он отображает эту личность в новых сценах, позах или стилях.
Это приложение, которое я устанавливаю, или модель, которую я вызываю из кода?Это исследовательский код плюс модель, а не готовое приложение: вы используете его как пайплайн diffusers в Python или запускаете локальную gradio-демку в браузере. Есть также хостинговые демо на HuggingFace и Replicate.
Как запустить его локально?Установите Python 3.8 или новее (рекомендуется Anaconda или Miniconda) и PyTorch 2.0 или новее, затем запустите приложенный ноутбук или app.py — веса модели скачаются автоматически при первом использовании.
Как получить более точное сходство с человеком?Загрузите больше фото этого человека, чтобы повысить точность распознавания, а для азиатских лиц добавьте 'Asian' перед словом класса (например, 'Asian woman img'). Уменьшение числа шагов сэмплирования ускоряет работу, но ухудшает сходство.
Какая видеокарта нужна и как быстро идёт генерация?Не менее 11 ГБ видеопамяти. На видеокартах без поддержки bfloat16 переключитесь на float16 — на V100 это сократило генерацию с 1 минуты на изображение до 14 секунд.
Что нового в PhotoMaker V2?V2 (июль 2024) улучшает точность передачи личности, сохраняя качество генерации, редактируемость и совместимость с существующими плагинами версии V1. Технический отчёт планируется.
Можно ли пользоваться без написания кода?Да — есть хостинговые демо на HuggingFace и Replicate (версии реалистичная и стилизация), ноутбук для Colab, официальные ноды ComfyUI для V2, сборки для WebUI через stable-diffusion-webui-forge и Fooocus, а также готовые пакеты для Windows.
Она делает только реалистичные фото или умеет стилизовать лица?И то, и другое: для стилизации вы меняете базовую модель и добавляете LoRA-модули. Если лицо получается слишком реалистичным, поднимите Style strength до 30-50 — чем выше значение, тем лучше стилизация, но тем ниже сходство с оригиналом.
Она хорошо работает с другими базовыми моделями и LoRA от сообщества?Да — PhotoMaker может работать как адаптер вместе с другими базовыми моделями и LoRA-модулями от сообщества. В V2 также есть интеграционные скрипты для ControlNet, T2I-Adapter и IP-Adapter, а вместе с LCM можно ускорить сэмплирование.
What are similar projects?InstantID, stable-diffusion-webui-forge, stable-diffusion-webui-colab, latent-diffusion, kohya_ss, ControlNet, stable-diffusion, ai-toolkit
Which topics is it in?cvpr, controlnet, comfyui, stable-diffusion, gradio, text-to-image, lora, webui, jupyter notebook, image-generation, generative-ai, huggingface
Creator
TencentARC
Size
10.2 MB
Stars
10.1K
Updated
CommitOct 31
Age
2y
Commits · 90 Days