Что это такое?
Open-Sora — это опенсорсный проект по эффективному созданию качественного видео: он выпускает модели генерации видео вместе с инструментами, чекпоинтами и всеми подробностями обучения.
Open-Sora — это опенсорсный проект по эффективному созданию качественного видео: он выпускает модели генерации видео вместе с инструментами, чекпоинтами и всеми подробностями обучения.То есть это готовое приложение, которым можно просто пользоваться, или модель с кодом, который я запускаю сам?Это модель плюс код, а не готовое приложение: вы получаете чекпоинты и код для обучения и инференса полного пайплайна генерации видео. В качестве готового продукта команда предлагает свой сервис Video Ocean.
Это модель плюс код, а не готовое приложение: вы получаете чекпоинты и код для обучения и инференса полного пайплайна генерации видео. В качестве готового продукта команда предлагает свой сервис Video Ocean.Как попробовать, ничего не устанавливая?Самый быстрый способ — хостед-демо на Gradio на Hugging Face Spaces: видео генерируются прямо в браузере. Чтобы запустить или обучить модель самостоятельно, склонируйте репозиторий и следуйте инструкции по установке для вашей версии.
Самый быстрый способ — хостед-демо на Gradio на Hugging Face Spaces: видео генерируются прямо в браузере. Чтобы запустить или обучить модель самостоятельно, склонируйте репозиторий и следуйте инструкции по установке для вашей версии.Нужно ли что-то особенное установить, чтобы с этим работать?Это Python-проект, так что база для запуска или обучения — окружение Python.
Это Python-проект, так что база для запуска или обучения — окружение Python.На что стоит обратить внимание?Проект активно развивается, поэтому ветка кода должна соответствовать версии модели, которую вы хотите использовать. Кроме того, демо в README — это сжатые GIF, а примеры в полном качестве вынесены в отдельную галерею Gallery.
Проект активно развивается, поэтому ветка кода должна соответствовать версии модели, которую вы хотите использовать. Кроме того, демо в README — это сжатые GIF, а примеры в полном качестве вынесены в отдельную галерею Gallery.Какое железо для этого нужно?Обучение рассчитано на датацентровое железо — анонс об экономии средств привязан к GPU NVIDIA H200, а с моделями на 1B и 11B параметров это уже территория серьёзных GPU.
Обучение рассчитано на датацентровое железо — анонс об экономии средств привязан к GPU NVIDIA H200, а с моделями на 1B и 11B параметров это уже территория серьёзных GPU.Что менялось между релизами?В v1.2 добавили 3D-VAE, rectified flow и score conditioning; v1.3 обновила VAE и архитектуру Transformer, что дало большой скачок качества; 2.0 масштабировалась до 11B параметров и догнала HunyuanVideo за малую долю обычной стоимости.
В v1.2 добавили 3D-VAE, rectified flow и score conditioning; v1.3 обновила VAE и архитектуру Transformer, что дало большой скачок качества; 2.0 масштабировалась до 11B параметров и догнала HunyuanVideo за малую долю обычной стоимости.Открыта ли и часть с обучением, или только инференс?Полностью открыта — в 2.0 входят и чекпоинты, и код для обучения, и каждый релиз сопровождался подробным техническим отчётом, начиная с v1.0, где обучение за 3 дня дало видео 2 секунды в 512x512.
Полностью открыта — в 2.0 входят и чекпоинты, и код для обучения, и каждый релиз сопровождался подробным техническим отчётом, начиная с v1.0, где обучение за 3 дня дало видео 2 секунды в 512x512.Почему команда называет это демократизацией производства видео?Потому что всё, что нужно для воспроизведения конкурентоспособной модели генерации видео, находится в открытом доступе — веса, код обучения, пайплайн предобработки и разбивка расходов, — и это снижает порог входа в серьёзные исследования генерации видео примерно до $200K.
Потому что всё, что нужно для воспроизведения конкурентоспособной модели генерации видео, находится в открытом доступе — веса, код обучения, пайплайн предобработки и разбивка расходов, — и это снижает порог входа в серьёзные исследования генерации видео примерно до $200K.What are similar projects?LTX-Video, Wan2.2, SparkDiffusion, diffusers, DreamX-Creator, CogVideo, HunyuanVideo-1.5, CodeVideoModel
LTX-Video, Wan2.2, SparkDiffusion, diffusers, DreamX-Creator, CogVideo, HunyuanVideo-1.5, CodeVideoModelWhich topics is it in?image-to-video, gradio, text-to-video, text-to-image, diffusion-models, training, video-generation, video, inference, generative-ai, huggingface, cuda
image-to-video, gradio, text-to-video, text-to-image, diffusion-models, training, video-generation, video, inference, generative-ai, huggingface, cuda