21.2K ·GitHub
Что это такое?
Это VCClient — ИИ-изменитель голоса в реальном времени: он на лету преобразует звук с вашего микрофона, так что вы можете говорить в прямом эфире другим голосом.
Это VCClient — ИИ-изменитель голоса в реальном времени: он на лету преобразует звук с вашего микрофона, так что вы можете говорить в прямом эфире другим голосом.Это десктопное приложение или оно может работать как сервер?И то, и другое: оно может полностью работать на вашем локальном компьютере или раздавать преобразование по сети — это удобно, чтобы переложить нагрузку по преобразованию на другую машину, пока тяжёлое приложение вроде игры загружает ваш ПК.
И то, и другое: оно может полностью работать на вашем локальном компьютере или раздавать преобразование по сети — это удобно, чтобы переложить нагрузку по преобразованию на другую машину, пока тяжёлое приложение вроде игры загружает ваш ПК.Как его запустить?Скачайте готовую сборку для Windows или M1 Mac из репозиториев проекта на Hugging Face; на Linux вы клонируете репозиторий и запускаете программу оттуда. Также поддерживается Google Colab.
Скачайте готовую сборку для Windows или M1 Mac из репозиториев проекта на Hugging Face; на Linux вы клонируете репозиторий и запускаете программу оттуда. Также поддерживается Google Colab.Есть ли подводные камни при запуске на macOS?Бинарные файлы не подписаны кодовой подписью разработчика, поэтому Gatekeeper при первом запуске покажет предупреждение; зажмите Ctrl и кликните по иконке, чтобы открыть программу, и запускайте её на свой страх и риск.
Бинарные файлы не подписаны кодовой подписью разработчика, поэтому Gatekeeper при первом запуске покажет предупреждение; зажмите Ctrl и кликните по иконке, чтобы открыть программу, и запускайте её на свой страх и риск.Это стандартная open-source лицензия?Стандартная лицензия не указана (GitHub помечает её как NOASSERTION). Кроме того, некоторые встроенные сэмплы голосов имеют собственные условия — например, аудио, преобразованное голосом Tsukuyomi-chan, должно подчиняться правилам использования этого корпуса.
Стандартная лицензия не указана (GitHub помечает её как NOASSERTION). Кроме того, некоторые встроенные сэмплы голосов имеют собственные условия — например, аудио, преобразованное голосом Tsukuyomi-chan, должно подчиняться правилам использования этого корпуса.Мне нужна видеокарта NVIDIA, чтобы запустить его?Не обязательно. От сборки зависит, какие модели доступны: std запускает Beatrice v2 на Windows, M1 Mac и Linux (x86-64/aarch64), а для RVC нужна сборка cuda на Windows или сборка onnx на Windows/M1 Mac.
Не обязательно. От сборки зависит, какие модели доступны: std запускает Beatrice v2 на Windows, M1 Mac и Linux (x86-64/aarch64), а для RVC нужна сборка cuda на Windows или сборка onnx на Windows/M1 Mac.Какие ИИ-модели голоса он поддерживает?Версия 2 работает с RVC и Beatrice v2. Старая линейка 1.x дополнительно поддерживала MMVC, so-vits-svc, DDSP-SVC и Beatrice v1 (только Windows), причём 1.x и 2.x могут работать параллельно на одной машине.
Версия 2 работает с RVC и Beatrice v2. Старая линейка 1.x дополнительно поддерживала MMVC, so-vits-svc, DDSP-SVC и Beatrice v1 (только Windows), причём 1.x и 2.x могут работать параллельно на одной машине.Что такое Beatrice?Это одно из поддерживаемых семейств моделей преобразования голоса. Текущая сборка std построена вокруг Beatrice v2, чья лицензия проприетарная, а автор даёт ссылку на отдельный код для обучения (репозиторий плюс версия для Colab).
Это одно из поддерживаемых семейств моделей преобразования голоса. Текущая сборка std построена вокруг Beatrice v2, чья лицензия проприетарная, а автор даёт ссылку на отдельный код для обучения (репозиторий плюс версия для Colab).Можно ли управлять им из своих скриптов?Да — в него встроен REST API, так что вы можете управлять им через штатные HTTP-клиенты вроде curl или написать клиент на любом языке программирования.
Да — в него встроен REST API, так что вы можете управлять им через штатные HTTP-клиенты вроде curl или написать клиент на любом языке программирования.Проект ещё активно развивается?Да — релизы выходят часто, в виде бета- и альфа-версий. В недавних добавили поддержку Beatrice v2, горячие клавиши, визуализацию буфера и экспериментальную поддержку RTX 5090, которую автор не смог проверить, поскольку у него нет такой видеокарты.
Да — релизы выходят часто, в виде бета- и альфа-версий. В недавних добавили поддержку Beatrice v2, горячие клавиши, визуализацию буфера и экспериментальную поддержку RTX 5090, которую автор не смог проверить, поскольку у него нет такой видеокарты.What are similar projects?GPT-SoVITS, MOSS-TTS-Nano, Deep-Live-Cam, voicebox, Retrieval-based-Voice-Conversion-WebUI, so-vits-svc, PDFMathTranslate, video-subtitle-remover
GPT-SoVITS, MOSS-TTS-Nano, Deep-Live-Cam, voicebox, Retrieval-based-Voice-Conversion-WebUI, so-vits-svc, PDFMathTranslate, video-subtitle-removerWhich topics is it in?voice-conversion, voice-ai, japanese, realtime, audio-processing, onnx, training, apple-silicon, audio, cuda, rest-api, gui
voice-conversion, voice-ai, japanese, realtime, audio-processing, onnx, training, apple-silicon, audio, cuda, rest-api, gui