VisioCraft README

README проекта с github.com/AhmadHassan-BTed/VisioCraft. Одним файлом markdown: README.md.

VisioCraft AI

VisioCraft AI is an advanced, AI-powered application for object extraction, context-aware background fill, and seamless image composition. It leverages state-of-the-art models for segmentation, detection, and generative inpainting.


Features


Project Architecture

VisioCraft has been refactored into a clean, modular architecture to ensure scalability and maintainability.

VisioCraft/
├── app/
│   ├── domain/           # Core business logic and data interfaces (Models, Interfaces)
│   ├── infrastructure/   # External integrations (Detection, Generation, Inpainting, Segmentation)
│   ├── routes/           # API Endpoints (Auth, Composition, Health, Uploads, etc.)
│   └── services/         # Application workflow and logic managers
├── models/               # Local AI models (e.g., mobile_sam.pt, yolov8n.pt)
├── static/               # Static assets (CSS, JS, background images)
├── templates/            # Frontend HTML templates
├── config.py             # Centralized configuration settings
├── main.py               # Application entry point
├── requirements.txt      # Project dependencies
└── README.md             # Project documentation

(Note: Older monolithic components have been transitioned to the new app/ module system)


Setup Instructions

1. Install Dependencies

Make sure you have Python 3.8+ installed.

# It is recommended to use a virtual environment
python -m venv .venv

# On Windows:
.venv\Scripts\activate
# On Linux/Mac:
source .venv/bin/activate

pip install -r requirements.txt

2. Download Models

Download the necessary AI models for local inference (like Mobile SAM and YOLO).

python download_models.py

3. Configure Environment Variables

You can set up environment variables for API keys to use advanced cloud-based AI generation.

export OPENAI_API_KEY="your_openai_api_key"
export HUGGINGFACE_TOKEN="your_huggingface_token"
export STABILITY_API_KEY="your_stability_api_key"

(Note: For Windows PowerShell, use $env:KEY="value" instead of export)

4. Run the Application

Start the VisioCraft server:

python main.py

Open your modern web browser (Chrome recommended) and navigate to http://localhost:5000.


Usage Workflow

  1. Upload: Start by uploading an image.
  2. Segment & Extract: Use the AI tools to click/drag around the subject to auto-segment it, extracting it with a transparent background.
  3. Inpaint: Remove the object from the background using context-aware fill methods.
  4. Compose: Use the canvas to re-arrange layers, scale, and rotate objects.
  5. Download: Save the final composition instantly.

Inpainting & AI Methods

Method Description Characteristics
Stable Diffusion Cloud/API-based generation ⭐ Best Quality, Highly context-aware
OpenCV Fast, local edge blending Instant speed, Emergency fallback
Mobile SAM Local AI segmentation model Accurate object masking
YOLOv8 Local Object Detection Fast and robust bounding boxes

Security Best Practices

VisioCraft (AhmadHassan-BTed/VisioCraft)

Ищем в базе…

Что это?VisioCraft AI — это веб-приложение на Python для вырезания объектов, заливки фона с учётом контекста и сборки изображений из частей с помощью компьютерного зрения и генеративных моделей, таких как YOLO, SAM и Stable Diffusion.
Это десктопное приложение или то, что я запускаю как локальный веб-сервер?Это локальный веб-сервер, который вы запускаете из Python; затем открываете интерактивный холст в браузере (рекомендуется Chrome), а не устанавливаете нативное приложение.
Как это запустить?Установите зависимости Python, скачайте нужные AI-модели (Mobile SAM, YOLO), при желании задайте API-ключи как переменные окружения, затем запустите сервер и откройте его в браузере.
Что нужно до запуска — только Python или ещё GPU и API-ключи?Нужен Python 3.8+; ускорение на GPU необязательно, но оно ускоряет обработку объектов, а API-ключи (например, ключ Stability API) нужны только если вы хотите генерацию через облачный Stable Diffusion вместо локальных методов.
Работает ли генерация изображений без каких-либо API-ключей?Да, объекты можно вырезать и заполнять фон локально с помощью Mobile SAM, YOLO и OpenCV без каких-либо ключей, но лучшее качество инпейнтинга через Stable Diffusion требует облачного API-ключа и доступа в интернет.
Приложение загружает мои изображения куда-либо или хранит их локально?Загруженные медиафайлы и кэш моделей хранятся локально и исключены из контроля версий; изображения покидают ваш компьютер только если вы выберете облачный вариант Stable Diffusion со своим API-ключом.
Какие методы инпейнтинга можно выбрать?VisioCraft предлагает Stable Diffusion для высококачественной облачной генерации через API и OpenCV для быстрого локального смешивания краёв как резервный вариант, а также Mobile SAM и YOLOv8 для сегментации и распознавания.
Как работает шаг извлечения объекта?Приложение автоматически выделяет объект с помощью Mobile SAM и GrabCut, когда вы кликаете по нему или обводите его, затем вырезает его на прозрачный фон для повторного использования.
Почему проект был переработан в модульную архитектуру?Кодовая база перешла от старых монолитных компонентов к чистой модульной системе app/, чтобы специально улучшить масштабируемость и удобство поддержки.
Какой полный процесс редактирования, когда я загружаю изображение?Загрузите изображение, выделите и вырежьте объект, заполните открывшийся фон, соберите слои на холсте, масштабируя и поворачивая их, затем скачайте итоговую композицию.
Размер
0.1 MB
Звёзды
3.9K
Обновлён
КоммитJun 30
Возраст
6 мес
Коммиты · 90 дней