voice-pro README

The project's README from github.com/abus-aikorea/voice-pro. As one markdown file: README.md.

Voice-Pro

The best AI speech recognition, translation, and multilingual dubbing solution 🚀

Ask DeepWiki.com youtube Buy Me a Coffee release GitHub Repo stars

Dubbing Studio


🎙️ An AI-powered web application for speech recognition, translation, and dubbing

South Korea Flag 한국어 ∙ United Kingdom Flag English ∙ China Flag 中文简体 ∙ Taiwan Flag 中文繁體 ∙ Japan Flag 日本語 ∙ Germany Flag Deutsch ∙ Spain Flag Español ∙ Portugal Flag Português

Voice-Pro is a state-of-the-art web app that transforms multimedia content creation. It integrates YouTube video downloading, voice separation, speech recognition, translation, and text-to-speech into a single, powerful tool for creators, researchers, and multilingual professionals.

A robust alternative to ElevenLabs, Voice-Pro empowers podcasters, developers, and creators with advanced voice solutions.

⚠️ Please Note

📰 News & History

version 4.0
  • ⚡ Migrated the installer from Miniconda/pip to uv — dramatically faster, fully reproducible installs from a committed uv.lock. Everything stays inside installer_files/ (uv, Python, packages).
  • 🐍 Upgraded runtime: Python 3.12, Torch 2.8.0+cu128 (RTX 50-series supported), Gradio 6.20.
  • 🎙️ Latest ASR stack: faster-whisper 1.2.1 (large-v3-turbo, distil-large-v3.5), openai-whisper 20250625, whisper-timestamped 1.15.9. whisperX was removed (its dependency pins blocked the Gradio 6 upgrade; existing configs fall back to faster-whisper).
  • 🗣️ Latest TTS stack: F5-TTS 1.1.21, kokoro 0.9.4, edge-tts 7.x, and re-vendored CosyVoice (upstream main).
  • 🇰🇷 New optional TTS model: Fun-CosyVoice3-0.5B — 9 languages including Korean, selectable in the CosyVoice tab (downloads from the official HF repo on first use).
  • 🧹 CUDA Toolkit and Visual Studio Build Tools are no longer required — all dependencies ship prebuilt wheels, and PyTorch bundles the CUDA runtime.
  • 🛡️ Friendly to restricted / corporate PCs: no administrator rights needed — start.bat auto-downloads a portable ffmpeg if it is not installed, Whisper model downloads self-heal after interrupted/corrupted transfers, and translation automatically retries with backoff when the network rate-limits the free Google endpoint (failed lines are reported, originals kept).
  • 🚨 Errors are now visible in the WebUI: every failure shows a red error toast that stays on screen until you close it (previously a 10-second warning that was easy to miss), with actionable messages for common causes (missing ffmpeg, no media registered, etc.).
  • 🖥️ UI: migrated to Gradio 6 (full-width layout for all tabs, subtitle tracks shown directly in the video players).
  • 🧽 uninstall.bat no longer requires administrator rights and no longer force-reboots; uninstall.bat silent runs unattended.
version 3.2
  • We have been focusing on WeConnect development for the past few months and have not been able to manage Voice-Pro at all.
  • We have decided to open source all Voice-Pro code.
  • Voice-Pro is completely free and supports Windows, Mac, Linux.
  • WeConnect is an application for global cultural exchange.
  • Connect with people from all over the world for meaningful cultural exchanges, language learning, and international friendships.

ScreenShot 0 ScreenShot 1 ScreenShot 2 ScreenShot 3 ScreenShot 4

version 3.1
version 3.0
  • 🔥 Removed the AI Cover feature.
  • 🚀 Added support for m-bain/whisperX.
version 2.0
  • 🐍 Built with Python 3.10.15, Torch 2.5.1+cu124, and Gradio 5.14.0.
  • 🆓 Free trial supports media up to 60 seconds in length.
  • 🔥 Added the AI Cover feature.
  • 🎤 Introduced support for CosyVoice and kokoro.
  • ⏳ Initial run downloads CozyVoice2-0.5B (9GB), which may take over an hour depending on network speed.
  • 🎧 Voice samples for cloning will be continuously updated.
  • 📝 Added spaCy for natural sentence-by-sentence translation and TTS.
  • ☁️ Subscription version includes Microsoft Azure Translator and TTS.
  • 🏪 Subscription offers unlimited usage (no 60-second limit) during the subscription period, available via Shopify.

🎥 YouTube Showcase

Demo Video 1
Demo for Voice-Pro (v2.0)
Demo Video 2
F5-TTS: Voice Cloning
Demo Video 3
Live Transcription & Translation
Demo Video 4
Multi-Lingual Voice Cloning: Korean - German
Demo Video 5
Multi-Lingual Voice Cloning: English - Korean
Demo Video 6
Multi-Lingual Voice Cloning: Korean - Japanese
Demo Video 7
NVIDIA RTX Video Super-Resolution
Demo Video 8
AI Karaoke
Demo Video 5
Multi-Lingual Voice Cloning: English - Korean

⭐ Key Features

1. Dubbing Studio

2. Speech Technologies

3. Real-Time Translation

🤖 WebUI

Dubbing Studio Tab

Multilingual Voice Conversion and Subtitle Generation Web UI Interface

Whisper Caption Tab

Translate Tab

WebUI for Real-Time Speech Recognition and Translation

Speech Generation Tab

Podcast Production WebUI Using Voice-Cloning Technology

🎤✨ Reference Voice

English

Andrew Bustamante

Andrew Huberman

Avi Loeb

Ben Shapiro

Brett Johnson

Brian Keating

Coffeezilla

Dan Carlin

David Buss

David Fravor

David Kipping

Dennis Whyte

Donald Hoffman

Donald Trump

Douglas Murray

Duncan Trussell

Elon Musk

Garry Nolan

Jack Barsky

James Sexton

Jeff Bezos

voice-pro (abus-aikorea/voice-pro)

Searching Database…

13.2K ·GitHub
Что это такое?Voice-Pro — бесплатное веб-приложение с открытым исходным кодом на основе ИИ (создано на Gradio). Оно объединяет распознавание речи, клонирование голоса zero-shot, синтез речи, загрузку видео с YouTube, выделение вокала и перевод на несколько языков в одном инструменте для авторов контента и исследователей.
Это облачный сервис или я запускаю его сам?Вы запускаете его сами: скачиваете репозиторий, запускаете start.bat, и приложение открывается как локальная веб-страница Gradio на вашем ПК. Облачной версии нет.
Как его запустить?На Windows скачайте репозиторий и запустите start.bat. Он использует uv, чтобы автоматически установить Python, PyTorch и все остальные зависимости в изолированную папку installerfiles/. Никакой ручной настройки не требуется.
Нужна ли видеокарта NVIDIA, чтобы это запустить?Да. Приложение построено на PyTorch с поддержкой CUDA (2.8.0+cu128) и, как подтверждено, хорошо работает на Windows с видеокартой NVIDIA. CUDA Toolkit и Visual Studio Build Tools больше не нужны, так как все зависимости теперь поставляются в виде готовых сборок (wheels).
Разработка всё ещё ведётся?Нет. Мейнтейнеры приостановили разработку Voice-Pro, чтобы сосредоточиться на другом проекте (WeConnect), хотя они открыли весь исходный код и сделали его бесплатным. Также учтите, что проверена работа только на Windows с видеокартой NVIDIA. Поведение на Mac и Linux не подтверждено.
Работает ли это на Mac или Linux, или только на Windows?Подтверждено, что это хорошо работает на Windows с видеокартой NVIDIA. Запуск на Mac или Linux не проверялся.
Этим действительно можно пользоваться бесплатно?Да. Весь код распространяется с открытым исходным кодом по лицензии GPL-3.0, и любой может свободно использовать, распространять и изменять его.
Какие функции для работы с речью и голосом собраны в одном приложении?Здесь есть распознавание речи (ASR) на базе Whisper/Faster-Whisper, клонирование голоса zero-shot через F5-TTS, E2-TTS и CosyVoice, синтез речи через Edge-TTS и kokoro, выделение вокала с помощью Demucs, загрузка видео с YouTube через yt-dlp и перевод на 100+ языков.
Что такое kokoro?kokoro — один из встроенных движков синтеза речи (TTS), занимающий 2-е место в HuggingFace TTS Arena. Приложение использует его для генерации естественно звучащей речи.
Может ли оно автоматически сделать дубляж или субтитры для видео с YouTube?Да. Вкладка Dubbing Studio скачивает видео с YouTube, выделяет вокал с помощью Demucs, транскрибирует и переводит речь, а затем создаёт озвученную дорожку с помощью TTS. Всё это делается в одном рабочем процессе.
Были ли платные тарифы до открытия исходного кода?В более ранних версиях была платная подписка с Azure TTS/Translator и неограниченным использованием, а бесплатная пробная версия ограничивалась 60 секундами. С момента открытия исходного кода всё бесплатно и без ограничений на использование.
Size
84.3 MB
Stars
13.2K
Age
2y
Commits · 90 Days