Что это такое?
Локальное веб-приложение, которое превращает видео говорящего человека в готовое «говорящее» видео: вы загружаете короткий клип человека лицом к камере, пишете сценарий, оно генерирует озвучку, синхронизирует губы клипа с этим аудио и с помощью FFmpeg рендерит вертикальный MP4.
Локальное веб-приложение, которое превращает видео говорящего человека в готовое «говорящее» видео: вы загружаете короткий клип человека лицом к камере, пишете сценарий, оно генерирует озвучку, синхронизирует губы клипа с этим аудио и с помощью FFmpeg рендерит вертикальный MP4.Это облачный сервис или то, что я запускаю на своей машине?Это самостоятельно размещаемое веб-приложение: локальный сервер на Node.js плюс браузерный UI, без собственного облачного бэкенда. Задачи, API-ключи и готовые видео остаются на вашей машине, хотя референсное видео ненадолго отправляется в облако Alibaba для шага синхронизации губ.
Это самостоятельно размещаемое веб-приложение: локальный сервер на Node.js плюс браузерный UI, без собственного облачного бэкенда. Задачи, API-ключи и готовые видео остаются на вашей машине, хотя референсное видео ненадолго отправляется в облако Alibaba для шага синхронизации губ.Как его запустить?Установите локально Node.js 20+ и FFmpeg/ffprobe, затем выполните npm install, npm run build и npm start (или npm run dev для разработки) и откройте в браузере локальный URL, который оно раздаёт.
Установите локально Node.js 20+ и FFmpeg/ffprobe, затем выполните npm install, npm run build и npm start (или npm run dev для разработки) и откройте в браузере локальный URL, который оно раздаёт.Что нужно, чтобы сгенерировать видео?Node.js 20+, FFmpeg и ffprobe, запускаемые из вашего терминала, API-ключ Alibaba Bailian VideoRetalk (обязателен для синхронизации губ), а также учётные данные Bailian CosyVoice или Volcano Engine TTS для озвучивания; ключ DeepSeek опционален для написанных ИИ сценариев.
Node.js 20+, FFmpeg и ffprobe, запускаемые из вашего терминала, API-ключ Alibaba Bailian VideoRetalk (обязателен для синхронизации губ), а также учётные данные Bailian CosyVoice или Volcano Engine TTS для озвучивания; ключ DeepSeek опционален для написанных ИИ сценариев.Есть ли ограничения, о которых стоит знать?Одновременно рендерится только одно видео, и задачи не могут выполняться параллельно; закрытие приложения или остановка сервера посреди задачи убивает её, и автоматически она не возобновится; и, несмотря на локальную работу, ваше референсное видео и сгенерированное аудио загружаются во временное хранилище OSS Alibaba примерно на 48 часов, чтобы VideoRetalk мог их обработать.
Одновременно рендерится только одно видео, и задачи не могут выполняться параллельно; закрытие приложения или остановка сервера посреди задачи убивает её, и автоматически она не возобновится; и, несмотря на локальную работу, ваше референсное видео и сгенерированное аудио загружаются во временное хранилище OSS Alibaba примерно на 48 часов, чтобы VideoRetalk мог их обработать.Это работает на Windows или только на macOS/Linux?Оно кроссплатформенное как приложение Node.js с браузерным UI, но пользователям Linux нужен установленный Zenity для нативного выбора файлов (в качестве запасного варианта файлы можно перетаскивать), а пользователи macOS могут поставить FFmpeg через Homebrew.
Оно кроссплатформенное как приложение Node.js с браузерным UI, но пользователям Linux нужен установленный Zenity для нативного выбора файлов (в качестве запасного варианта файлы можно перетаскивать), а пользователи macOS могут поставить FFmpeg через Homebrew.Что на самом деле меняет выбор «скина»?Он задаёт визуальный стиль субтитров/заголовков, вжигаемых в готовое видео, и позволяет включать или отключать показ заголовков и субтитров; звук закадрового текста по-прежнему определяется тем текстом субтитров, который вы написали.
Он задаёт визуальный стиль субтитров/заголовков, вжигаемых в готовое видео, и позволяет включать или отключать показ заголовков и субтитров; звук закадрового текста по-прежнему определяется тем текстом субтитров, который вы написали.Можно ли подставить другие кадры для конкретных фраз?Да, для любого предложения можно перетащить видеоклип на его слот субтитров, и этот участок перейдёт на эти кадры вместо съёмки говорящей головы, а несколько референсных клипов можно смиксовать в один результат.
Да, для любого предложения можно перетащить видеоклип на его слот субтитров, и этот участок перейдёт на эти кадры вместо съёмки говорящей головы, а несколько референсных клипов можно смиксовать в один результат.Это официальный продукт ByteDance, Alibaba или DeepSeek?Нет, это независимый open-source проект от yizhi-chengzi, который просто вызывает API Bailian, Volcano Engine и DeepSeek; он никак не связан с Douyin, ByteDance, Volcano Engine, Alibaba Cloud или DeepSeek.
Нет, это независимый open-source проект от yizhi-chengzi, который просто вызывает API Bailian, Volcano Engine и DeepSeek; он никак не связан с Douyin, ByteDance, Volcano Engine, Alibaba Cloud или DeepSeek.Запуск «regenerate» повторяет весь конвейер?Не обязательно: если референсное видео, сценарий и выбранный голос не менялись, регенерация пропускает вызов синхронизации губ и повторяет только этап компоновки FFmpeg.
Не обязательно: если референсное видео, сценарий и выбранный голос не менялись, регенерация пропускает вызов синхронизации губ и повторяет только этап компоновки FFmpeg.What are similar projects?lanshu-create-ai-presenter-video, storycast, cs-board, pokemonlive, ComfyUI-MiniMaxH3-TimelineDirector, OpenReels, reelmimic, Pixelle-Video
lanshu-create-ai-presenter-video, storycast, cs-board, pokemonlive, ComfyUI-MiniMaxH3-TimelineDirector, OpenReels, reelmimic, Pixelle-VideoWhich topics is it in?talking-head, lipsync, ai-video, privacy-first, tts, text-to-speech, ffmpeg, video-generation, deepseek, china, local-first, web-app
talking-head, lipsync, ai-video, privacy-first, tts, text-to-speech, ffmpeg, video-generation, deepseek, china, local-first, web-app