krita-ai-diffusion README

The project's README from github.com/Acly/krita-ai-diffusion. As one markdown file: README.md.

Generative AI for Krita

✨Features | ⭳ Download | 🛠️Installation | 🎞️ Video | 🖼️Gallery | 📖User Guide | 💬Discussion | 🗣️Discord

This is a plugin to use generative AI in image painting and editing workflows from within Krita. Visit www.interstice.cloud for an introduction. Learn how to install and use it on docs.interstice.cloud.

The main goals of this project are:

Watch video demo

Features

Getting Started

See the Plugin Installation Guide for instructions.

A concise (more technical) version is below:

Operating System

Windows, Linux, MacOS

Hardware support

To run locally a powerful graphics card with at least 6 GB VRAM (NVIDIA) is recommended. Otherwise generating images will take very long or may fail due to insufficient memory!

NVIDIA GPUsupported via CUDA (Windows/Linux)
AMD GPUsupported via ROCm (Windows/Linux)
Intel GPUsupported via XPU (Windows/Linux)
Apple SiliconMPS on macOS 14+
CPUsupported, but very slow

Installation

  1. If you haven't yet, go and install Krita! Required version: 5.2.0 or newer
  2. Download the plugin.
  3. Start Krita and install the plugin via Tools ▸ Scripts ▸ Import Python Plugin from File...
  4. Restart Krita and create a new document or open an existing image.
  5. To show the plugin docker: Settings ‣ Dockers ‣ AI Image Generation.
  6. In the plugin docker, click "Configure" to start local server installation or connect.

[!NOTE] If you encounter problems please check the FAQ / list of common issues for solutions.

Reach out via discussions, our Discord, or report an issue here. Please note that official Krita channels are not the right place to seek help with issues related to this extension!

Optional: Custom ComfyUI Server

The plugin uses ComfyUI as backend. As an alternative to the automatic installation, you can install it manually or use an existing installation. If the server is already running locally before starting Krita, the plugin will automatically try to connect. Using a remote server is also possible this way.

Please check the list of required extensions and models to make sure your installation is compatible.

Optional: Object selection tools (Segmentation)

If you're looking for a way to easily select objects or remove background in the image, there is a separate plugin which adds AI segmentation tools.

Contributing

Contributions are very welcome! Check the contributing guide to get started.

Live painting with regions (Click for video) Watch video demo

Inpainting on a photo using a realistic model

Reworking and adding content to an AI generated image

Adding detail and iteratively refining small parts of the image

Modifying the pose vector layer to control character stances (Click for video) Watch video demo

Control layers: Scribble, Line art, Depth map, Pose Scribble control layer Line art control layer Depth map control layer Pose control layer

Technology

krita-ai-diffusion (Acly/krita-ai-diffusion)

Searching Database…

Что это такое?Бесплатный плагин для Krita с открытым исходным кодом, который добавляет генеративный ИИ в рисование и обработку изображений: можно делать inpaint, outpaint, рисовать в реальном времени и увеличивать изображения с необязательным текстовым запросом, всё на вашем own оборудовании — то есть на вашем собственном компьютере.
Это отдельное приложение или что-то внутри Krita?Это Python-плагин для Krita, а не отдельное приложение: он добавляет внутрь Krita панель 'AI Image Generation' и использует ComfyUI как бэкенд для генерации, который может за вас установить и настроить.
Как установить плагин?Установите Krita 5.2.0 или новее, скачайте ZIP с плагином, затем в Krita откройте Tools ▸ Scripts ▸ Import Python Plugin from File..., перезапустите программу, включите панель AI Image Generation и нажмите Configure, чтобы установить локальный сервер или подключиться к нему.
Какое железо нужно для локальной работы?Рекомендуется мощная видеокарта минимум с 6 ГБ видеопамяти: NVIDIA через CUDA, AMD через ROCm или Intel через XPU на Windows/Linux, Apple Silicon через MPS на macOS 14+. На одном процессоре тоже работает, но очень медленно.
А если мой компьютер не потянет локальную генерацию?На слабом железе генерация будет очень медленной или будет не хватать памяти. Варианты: указать плагину уже существующий локальный или удалённый сервер ComfyUI либо воспользоваться необязательной облачной генерацией, чтобы начать без затрат на дорогое железо.
Мои работы остаются на моём компьютере?Могут оставаться: проект делает ставку на модели с открытым исходным кодом, и всё работает локально на вашем оборудовании. Облачная генерация — лишь необязательное удобство для быстрого старта.
Зачем это, если есть отдельные генераторы изображений на ИИ?Большинство генераторов сосредоточены на параметрах ИИ; этот проект — ненавязчивый инструмент, встроенный в рабочие процессы Krita: вы рисуете, правите и генерируете не переключаясь, не задумываясь о разрешении и технических деталях.
Насколько точно можно управлять тем, что генерирует ИИ?Очень точно: генерацию можно ограничить выделенной областью, дорабатывать уже нарисованное с настраиваемой силой воздействия, привязывать текстовые запросы к участкам изображения и направлять результат с помощью референсных изображений, набросков, линий или карт глубины.
Умеет ли он выделять объекты или удалять фон?Да, через отдельный плагин-компаньон, который добавляет инструменты ИИ-сегментации, чтобы легко выделять объекты или удалять фон на изображении.
Creator
Acly
Size
32.7 MB
Stars
10.7K
Age
3y
Commits · 90 Days