Что это такое?
LTX-Video — официальный репозиторий модели Lightricks для генерации видео на основе DiT. Модель создаёт видео с синхронизированным звуком, поддерживает генерацию из текста и из изображения, управление по ключевым кадрам, продление видео и преобразование видео в видео.
LTX-Video — официальный репозиторий модели Lightricks для генерации видео на основе DiT. Модель создаёт видео с синхронизированным звуком, поддерживает генерацию из текста и из изображения, управление по ключевым кадрам, продление видео и преобразование видео в видео.Это готовое приложение или то, что нужно встраивать в мой собственный конвейер?Это модель и Python-код: запускать её можно через скрипт inference.py, использовать как Python-библиотеку в своём коде или подключать веса к ComfyUI или Diffusers.
Это модель и Python-код: запускать её можно через скрипт inference.py, использовать как Python-библиотеку в своём коде или подключать веса к ComfyUI или Diffusers.Как на самом деле сгенерировать видео с помощью этого?После установки зависимостей запускаете inference.py, указывая конфигурационный файл модели yaml (например, ltxv-13b-0.9.8-dev.yaml) для генерации из изображения, генерации из текста, продления видео или генерации с несколькими условиями.
После установки зависимостей запускаете inference.py, указывая конфигурационный файл модели yaml (например, ltxv-13b-0.9.8-dev.yaml) для генерации из изображения, генерации из текста, продления видео или генерации с несколькими условиями.Какое программное и аппаратное обеспечение нужно для локального запуска?Нужны Python 3.10.5, CUDA 12.2 и PyTorch >= 2.1.2; на macOS поддерживается MPS при PyTorch 2.3.0+. Необязательные ядра FP8 ускоряют работу на GPU с архитектурой Ada или новее.
Нужны Python 3.10.5, CUDA 12.2 и PyTorch >= 2.1.2; на macOS поддерживается MPS при PyTorch 2.3.0+. Необязательные ядра FP8 ускоряют работу на GPU с архитектурой Ada или новее.Работает ли включённый inference.py так же хорошо, как в демо, которые я вижу?Пока нет — в README указано, что inference.py всё ещё дорабатывается, чтобы достигать качества и точности, как в рабочем процессе ComfyUI, который официально рекомендуется для лучших результатов.
Пока нет — в README указано, что inference.py всё ещё дорабатывается, чтобы достигать качества и точности, как в рабочем процессе ComfyUI, который официально рекомендуется для лучших результатов.Можно запустить это на Mac или обязательно нужна видеокарта Nvidia?Основная цель — видеокарты Nvidia с CUDA, но компьютеры Mac на Apple Silicon тоже поддерживаются через бэкенд MPS в PyTorch.
Основная цель — видеокарты Nvidia с CUDA, но компьютеры Mac на Apple Silicon тоже поддерживаются через бэкенд MPS в PyTorch.Что такое LTX-2 и как он связан с этим репозиторием?LTX-2 — модель следующего поколения от Lightricks, первая на основе DiT, которая генерирует аудио и видео одновременно, с нативным разрешением 4K, до 50 fps и роликами до 10 секунд. Её веса и код запланированы к выпуску позже, и именно она станет основной площадкой для развития LTX.
LTX-2 — модель следующего поколения от Lightricks, первая на основе DiT, которая генерирует аудио и видео одновременно, с нативным разрешением 4K, до 50 fps и роликами до 10 секунд. Её веса и код запланированы к выпуску позже, и именно она станет основной площадкой для развития LTX.С какого чекпоинта лучше начать?Для максимального качества берите ltxv-13b-0.9.8-dev, если хватает VRAM. Для значительно более быстрой генерации с меньшим расходом VRAM выбирайте дистиллированные или fp8-варианты 13B или 2B, при небольшой потере качества.
Для максимального качества берите ltxv-13b-0.9.8-dev, если хватает VRAM. Для значительно более быстрой генерации с меньшим расходом VRAM выбирайте дистиллированные или fp8-варианты 13B или 2B, при небольшой потере качества.Можно ли попробовать LTX-Video без установки?Да — модель доступна онлайн через LTX-Studio, Fal.ai и Replicate, локальная установка не нужна.
Да — модель доступна онлайн через LTX-Studio, Fal.ai и Replicate, локальная установка не нужна.Можно ли настроить стиль или добавить управляющие сигналы, например глубину или позу?Да, LTX-Video поддерживает тонкую настройку стиля через LoRA и имеет отдельные модели IC-LoRA для управления по глубине, позе и контурам по методу Canny.
Да, LTX-Video поддерживает тонкую настройку стиля через LoRA и имеет отдельные модели IC-LoRA для управления по глубине, позе и контурам по методу Canny.What are similar projects?LTX-2, CogVideo, awesome-minimax-h3-integration, FreeVideo, SparkDiffusion, vdn-minimax-h3, LongCat-Video, DreamX-Creator
LTX-2, CogVideo, awesome-minimax-h3-integration, FreeVideo, SparkDiffusion, vdn-minimax-h3, LongCat-Video, DreamX-CreatorWhich topics is it in?foundation-models, image-to-video, comfyui, text-to-video, diffusion-models, lora, video-processing, gpu-acceleration, quantization, fine-tuning, multimodal, video-generation
foundation-models, image-to-video, comfyui, text-to-video, diffusion-models, lora, video-processing, gpu-acceleration, quantization, fine-tuning, multimodal, video-generation