Что это такое?
Семейство открытых моделей для генерации видео из текста и из картинки: CogVideoX (2024) и его обновлённая версия CogVideoX1.5 — продолжение CogVideo (ICLR 2023), первой открытой большой модели генерации видео из текста на основе Transformer.
Семейство открытых моделей для генерации видео из текста и из картинки: CogVideoX (2024) и его обновлённая версия CogVideoX1.5 — продолжение CogVideo (ICLR 2023), первой открытой большой модели генерации видео из текста на основе Transformer.Мне нужно что-то устанавливать на компьютер, или можно просто открыть сайт и попробовать?И то, и другое. CogVideoX-5B можно попробовать онлайн в Spaces на Hugging Face или ModelScope, либо скачать веса и запустить генерацию локально на своей видеокарте. Предлагаются два набора кода: SAT и версия для Hugging Face diffusers.
И то, и другое. CogVideoX-5B можно попробовать онлайн в Spaces на Hugging Face или ModelScope, либо скачать веса и запустить генерацию локально на своей видеокарте. Предлагаются два набора кода: SAT и версия для Hugging Face diffusers.Как сгенерировать первое видео?Установите Python 3.10–3.12, затем используйте демо для diffusers (рекомендуется, так как поддерживает квантование) или демо SAT, где есть и генерация, и дообучение. Есть также быстрый старт в Colab.
Установите Python 3.10–3.12, затем используйте демо для diffusers (рекомендуется, так как поддерживает квантование) или демо SAT, где есть и генерация, и дообучение. Есть также быстрый старт в Colab.Какие главные ограничения — язык промпта, его длина, длина видео?Промпты должны быть на английском и укладываться в 224–226 токенов; текст на других языках сначала переведите с помощью LLM. Видео короткие: 5 или 10 секунд при 16 fps у CogVideoX1.5, 6 секунд при 8 fps у CogVideoX-2B/5B. Точность INT4 не поддерживается.
Промпты должны быть на английском и укладываться в 224–226 токенов; текст на других языках сначала переведите с помощью LLM. Видео короткие: 5 или 10 секунд при 16 fps у CogVideoX1.5, 6 секунд при 8 fps у CogVideoX-2B/5B. Точность INT4 не поддерживается.Для этого нужна дорогая видеокарта?Подойдёт и скромная: CogVideoX-2B работает даже на GTX 1080 TI, а CogVideoX-5B — на RTX 3060. С оптимизациями diffusers модель 5B помещается примерно в 5 ГБ видеопамяти, или около 4,4 ГБ при квантовании INT8 — этого хватает даже для бесплатных T4 в Colab.
Подойдёт и скромная: CogVideoX-2B работает даже на GTX 1080 TI, а CogVideoX-5B — на RTX 3060. С оптимизациями diffusers модель 5B помещается примерно в 5 ГБ видеопамяти, или около 4,4 ГБ при квантовании INT8 — этого хватает даже для бесплатных T4 в Colab.Что нового добавил CogVideoX1.5 по сравнению с оригиналом?Релиз вышел 8 ноября 2024 года: CogVideoX1.5-5B генерирует 10-секундные видео в более высоком разрешении (1360x768) при 16 fps, а версия I2V принимает картинку в любом разрешении. Старый код продолжает работать — нужно лишь немного поменять параметры.
Релиз вышел 8 ноября 2024 года: CogVideoX1.5-5B генерирует 10-секундные видео в более высоком разрешении (1360x768) при 16 fps, а версия I2V принимает картинку в любом разрешении. Старый код продолжает работать — нужно лишь немного поменять параметры.Какие задачи генерации охватывает это семейство моделей?Три: генерация видео из текста, продолжение видео и генерация видео из картинки. Модель I2V берёт изображение как фоновый вход и объединяет его с промптом для лучшей управляемости.
Три: генерация видео из текста, продолжение видео и генерация видео из картинки. Модель I2V берёт изображение как фоновый вход и объединяет его с промптом для лучшей управляемости.Почему в README настойчиво советуют оптимизировать промпт перед генерацией?Модели обучались на длинных промптах, поэтому их качество напрямую влияет на итоговое видео. В руководстве рекомендуют сначала переписать свой промпт большой моделью вроде GLM-4 или GPT-4.
Модели обучались на длинных промптах, поэтому их качество напрямую влияет на итоговое видео. В руководстве рекомендуют сначала переписать свой промпт большой моделью вроде GLM-4 или GPT-4.Можно ли дообучить CogVideoX на своих материалах?Да: есть код дообучения на SAT, дообучение LoRA на версии diffusers (оно расходует меньше видеопамяти) и cogvideox-factory, который дообучает CogVideoX-5B на одной RTX 4090 на нескольких разрешениях. Команда также выпустила CogKit — фреймворк для дообучения и генерации этой серии моделей.
Да: есть код дообучения на SAT, дообучение LoRA на версии diffusers (оно расходует меньше видеопамяти) и cogvideox-factory, который дообучает CogVideoX-5B на одной RTX 4090 на нескольких разрешениях. Команда также выпустила CogKit — фреймворк для дообучения и генерации этой серии моделей.What are similar projects?LTX-Video, vdn-minimax-h3, LTX-2, awesome-minimax-h3-integration, SparkDiffusion, FreeVideo, hyperflow, ComfyUI-Ref2VA-VSA
LTX-Video, vdn-minimax-h3, LTX-2, awesome-minimax-h3-integration, SparkDiffusion, FreeVideo, hyperflow, ComfyUI-Ref2VA-VSAWhich topics is it in?image-to-video, text-to-video, diffusion-models, lora, quantization, fine-tuning, multimodal, video-generation, transformer, prompt-engineering, inference, nvidia
image-to-video, text-to-video, diffusion-models, lora, quantization, fine-tuning, multimodal, video-generation, transformer, prompt-engineering, inference, nvidia