IOPaint README

The project's README from github.com/Sanster/IOPaint. As one markdown file: README.md.

IOPaint

A free and open-source inpainting & outpainting tool powered by SOTA AI model.

total download version python version HuggingFace Spaces Open in Colab

Erase(LaMa) Replace Object(PowerPaint)
Draw Text(AnyText) Out-painting(PowerPaint)

Features

Quick Start

Start webui

IOPaint provides a convenient webui for using the latest AI models to edit your images. You can install and start IOPaint easily by running following command:

# In order to use GPU, install cuda version of pytorch first.
# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118
# AMD GPU users, please utilize the following command, only works on linux, as pytorch is not yet supported on Windows with ROCm.
# pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/rocm5.6

pip3 install iopaint
iopaint start --model=lama --device=cpu --port=8080

That's it, you can start using IOPaint by visiting http://localhost:8080 in your web browser.

All models will be downloaded automatically at startup. If you want to change the download directory, you can add --model-dir. More documentation can be found here

You can see other supported models at here and how to use local sd ckpt/safetensors file at here.

Plugins

You can specify which plugins to use when starting the service, and you can view the commands to enable plugins by using iopaint start --help.

More demonstrations of the Plugin can be seen here

iopaint start --enable-interactive-seg --interactive-seg-device=cuda

Batch processing

You can also use IOPaint in the command line to batch process images:

iopaint run --model=lama --device=cpu \
--image=/path/to/image_folder \
--mask=/path/to/mask_folder \
--output=output_dir

--image is the folder containing input images, --mask is the folder containing corresponding mask images. When --mask is a path to a mask file, all images will be processed using this mask.

You can see more information about the available models and plugins supported by IOPaint below.

Development

Install nodejs, then install the frontend dependencies.

git clone https://github.com/Sanster/IOPaint.git
cd IOPaint/web_app
npm install
npm run build
cp -r dist/ ../iopaint/web_app

Create a .env.local file in web_app and fill in the backend IP and port.

VITE_BACKEND=http://127.0.0.1:8080

Start front-end development environment

npm run dev

Install back-end requirements and start backend service

pip install -r requirements.txt
python3 main.py start --model lama --port 8080

Then you can visit http://localhost:5173/ for development. The frontend code will automatically update after being modified, but the backend needs to restart the service after modifying the python code.

IOPaint (Sanster/IOPaint)

Searching Database…

23.3K ·GitHub
IOPaint
archived
Что это такое?Бесплатный инструмент с открытым исходным кодом для работы с фотографиями на базе ИИ: он стирает с картинок лишние объекты, дефекты, водяные знаки или людей, а также может заменять и генерировать содержимое с помощью Stable Diffusion.
Это сайт, на который я захожу, или программа, которую я устанавливаю?Ни облачный сайт, ни классическая десктопная программа: вы запускаете его как локальный веб-сервис и редактируете изображения через интерфейс в браузере.
Как мне это запустить?Установите пакет iopaint через pip, запустите iopaint start и откройте его в браузере — модели скачиваются автоматически при запуске (флаг --model-dir позволяет изменить папку, где они хранятся).
Мне нужно сначала установить Python?Это приложение на Python, которое устанавливается через pip, так что Python — единственное, что нужно заранее. Пользователям Windows проще: есть 1-Click Installer, который избавляет от этого шага.
Проект до сих пор активно развивается?Нет — репозиторий на GitHub переведён в архивный режим и доступен только для чтения, разработка остановилась, хотя уже выпущенный инструмент продолжает работать.
Он существует где-то ещё, кроме браузера?Помимо веб-интерфейса есть OptiClean — отдельное приложение для macOS и iOS, которое стирает объекты с фотографий. Сам же веб-интерфейс работает на Windows, macOS и Linux.
Мои фотографии куда-то загружаются, когда я их редактирую?Нет — IOPaint полностью работает на вашей стороне, поэтому и изображения, и модели ИИ остаются на вашем собственном компьютере.
Можно использовать его в коммерческой работе или есть платная версия?Это проект с открытым исходным кодом под лицензией Apache-2.0 — бесплатно для личного и коммерческого использования, платной версии нет.
Он заработает на моём компьютере без мощной видеокарты?Да — обычного процессора достаточно, а если есть GPU или Apple Silicon, программа задействует их для ускорения.
Чем модели для стирания отличаются от диффузионных моделей?Модели для стирания вроде LaMa удаляют лишние объекты, дефекты, водяные знаки или людей. Диффузионные модели, такие как Stable Diffusion inpainting, BrushNet и PowerPaintV2, заменяют объекты новым содержимым или расширяют картинку с помощью outpainting.
Какие плагины в него входят?Segment Anything для быстрого интерактивного выделения объектов, RemoveBG и Anime Segmentation для работы с фонами, RealESRGAN для увеличения разрешения, GFPGAN и RestoreFormer для восстановления лиц, а также FileManager для просмотра изображений.
Можно ли автоматизировать работу вместо кликов в браузере?Да — есть пакетный режим через командную строку: укажите --image на папку с исходными изображениями, а --mask — на папку с соответствующими масками; одну маску можно применить ко всем изображениям сразу.
Могу ли я использовать свою модель Stable Diffusion?Да — помимо моделей, которые скачиваются автоматически, IOPaint умеет работать с локальным файлом sd ckpt или safetensors.
What are similar projects?stable-diffusion-webui, InvokeAI, sd-webui-controlnet, stable-diffusion-webui-colab, ComfyUI-VOSR2, ControlNet, flux, Fooocus
Which topics is it in?image-upscaling, image-restoration, watermark-removal, photo-editor, image-manipulation, inpainting, super-resolution, diffusion, stable-diffusion, image-editing, diffusion-models, webui
Creator
Sanster
Size
23.5 MB
Stars
23.3K
Updated
CommitApr 29Releaseiopaint-1.5.3Nov 23
Age
4y
Commits · 90 Days