12.2K ·GitHub
Что это такое?
Open-Sora Plan — это открытый проект сообщества, цель которого — воспроизвести модель Sora от OpenAI для генерации видео по тексту. Его ведёт AIGC-лаборатория, связанная с PKU, при участии Huawei и Pengcheng Lab.
Open-Sora Plan — это открытый проект сообщества, цель которого — воспроизвести модель Sora от OpenAI для генерации видео по тексту. Его ведёт AIGC-лаборатория, связанная с PKU, при участии Huawei и Pengcheng Lab.Это готовый генератор видео или исследовательская кодовая база для обучения моделей?Это исследовательская кодовая база: код для обучения и инференса, отчёты об архитектуре и скачиваемые веса моделей для того, чтобы самостоятельно создавать и запускать диффузионные модели для видео. Это не готовое приложение для обычных пользователей.
Это исследовательская кодовая база: код для обучения и инференса, отчёты об архитектуре и скачиваемые веса моделей для того, чтобы самостоятельно создавать и запускать диффузионные модели для видео. Это не готовое приложение для обычных пользователей.Как это запустить?Для оборудования NPU переключитесь на ветку mindspeedmmdit и следуйте её README для настройки. Версия для GPU ещё готовится и помечена как пока недоступная.
Для оборудования NPU переключитесь на ветку mindspeedmmdit и следуйте её README для настройки. Версия для GPU ещё готовится и помечена как пока недоступная.Нужна ли мне видеокарта NVIDIA или это работает на чём-то другом?Текущий релиз v1.5.0 был полностью обучен и запускается на NPU Huawei Ascend серии 910 с помощью фреймворка MindSpeed-MM, а не на обычных GPU.
Текущий релиз v1.5.0 был полностью обучен и запускается на NPU Huawei Ascend серии 910 с помощью фреймворка MindSpeed-MM, а не на обычных GPU.Можно ли прямо сейчас пользоваться версией для GPU?Нет, путь установки для GPU прямо указан как ещё не реализованный; сегодня задокументирован и работает только путь для NPU.
Нет, путь установки для GPU прямо указан как ещё не реализованный; сегодня задокументирован и работает только путь для NPU.Что такое WFVAE?WFVAE — это собственный видеоавтоэнкодер проекта, который при коэффициенте сжатия 8x8x8 достигает более высокого PSNR, чем VAE, используемый в Wan2.1. Это снижает затраты на обучение диффузионной модели, построенной на его основе.
WFVAE — это собственный видеоавтоэнкодер проекта, который при коэффициенте сжатия 8x8x8 достигает более высокого PSNR, чем VAE, используемый в Wan2.1. Это снижает затраты на обучение диффузионной модели, построенной на его основе.Что такое разреженная архитектура DiT SUV?SUV (Skiparse 3D) — это конструкция диффузионного трансформера с разреженным вниманием, использованная в v1.3.0 и v1.5.0. Она почти не уступает плотному DiT по качеству, но работает более чем на 35% быстрее.
SUV (Skiparse 3D) — это конструкция диффузионного трансформера с разреженным вниманием, использованная в v1.3.0 и v1.5.0. Она почти не уступает плотному DiT по качеству, но работает более чем на 35% быстрее.Может ли он генерировать видео по изображению, а не только по тексту?Да, начиная с v1.2.0 проект добавил модель «изображение в видео», которая также поддерживает генерацию переходов с помощью условий по начальному и конечному кадрам.
Да, начиная с v1.2.0 проект добавил модель «изображение в видео», которая также поддерживает генерацию переходов с помощью условий по начальному и конечному кадрам.Как v1.5.0 сравнивается с другими открытыми видеомоделями?Объединив WFVAE с более высоким сжатием и разреженный DiT SUV, v1.5.0 достигает уровня HunyuanVideo (Open-Source) с помощью модели на 8 млрд параметров, обученной на 40 миллионах видеосэмплов.
Объединив WFVAE с более высоким сжатием и разреженный DiT SUV, v1.5.0 достигает уровня HunyuanVideo (Open-Source) с помощью модели на 8 млрд параметров, обученной на 40 миллионах видеосэмплов.What are similar projects?SolarWM, Wan2.2, LTX-Video, Evoke, TRELLIS.2, LongCat-Video, Wan2.1, SparkDiffusion
SolarWM, Wan2.2, LTX-Video, Evoke, TRELLIS.2, LongCat-Video, Wan2.1, SparkDiffusionWhich topics is it in?generative-model, ai-research, aigc, attention, image-to-video, text-to-video, diffusion-models, video-generation, transformer, academic-research, artificial-intelligence, generative-ai
generative-model, ai-research, aigc, attention, image-to-video, text-to-video, diffusion-models, video-generation, transformer, academic-research, artificial-intelligence, generative-ai