Что это такое?
LuxTTS — это легковесная модель синтеза речи по тексту, построенная на архитектуре ZipVoice и предназначенная для высококачественного клонирования голоса и быстрой генерации речи.
LuxTTS — это легковесная модель синтеза речи по тексту, построенная на архитектуре ZipVoice и предназначенная для высококачественного клонирования голоса и быстрой генерации речи.Это отдельное приложение или модель/библиотека, которую я встраиваю сам?Это модель и кодовая база, которые вы загружаете и запускаете сами (локально, в Colab или через Spaces); сообщество также предлагает отдельные фронтенды на Gradio и ComfyUI.
Это модель и кодовая база, которые вы загружаете и запускаете сами (локально, в Colab или через Spaces); сообщество также предлагает отдельные фронтенды на Gradio и ComfyUI.Как мне его запустить?Установите модель простой установкой в стиле pip, затем загрузите её и запустите инференс, при желании с пользовательскими параметрами сэмплирования.
Установите модель простой установкой в стиле pip, затем загрузите её и запустите инференс, при желании с пользовательскими параметрами сэмплирования.Клонирование голоса работает с любым аудиофрагментом?Нужен эталонный аудиофрагмент длительностью не менее 3 секунд; если клонированная речь звучит металлически, можно включить опцию сглаживания, а параметр 'tshift' позволяет выбирать между точностью произношения и качеством.
Нужен эталонный аудиофрагмент длительностью не менее 3 секунд; если клонированная речь звучит металлически, можно включить опцию сглаживания, а параметр 'tshift' позволяет выбирать между точностью произношения и качеством.Работает ли это на Mac с чипами Apple Silicon?Да, поддержка MPS (GPU Apple Silicon) уже выпущена в дополнение к стандартным вариантам работы на GPU/CPU.
Да, поддержка MPS (GPU Apple Silicon) уже выпущена в дополнение к стандартным вариантам работы на GPU/CPU.Чем LuxTTS отличается от ZipVoice?LuxTTS использует ту же архитектуру, но дистиллирован до 4 шагов сэмплирования и применяет улучшенный метод сэмплирования; вместо стандартного вокодера на 24 кГц в нём используется собственный вокодер на 48 кГц для более чистого звука.
LuxTTS использует ту же архитектуру, но дистиллирован до 4 шагов сэмплирования и применяет улучшенный метод сэмплирования; вместо стандартного вокодера на 24 кГц в нём используется собственный вокодер на 48 кГц для более чистого звука.Можно ли сделать инференс ещё быстрее?Да, сейчас модель работает во float32; переход на float16 должен дать почти двукратное ускорение, и это запланировано в дорожной карте.
Да, сейчас модель работает во float32; переход на float16 должен дать почти двукратное ускорение, и это запланировано в дорожной карте.Какое качество звука она генерирует?Она выдаёт чистую речь на частоте 48 кГц, что обеспечивает более высокую точность звука, чем у большинства моделей синтеза речи, которые обычно ограничены 24 кГц.
Она выдаёт чистую речь на частоте 48 кГц, что обеспечивает более высокую точность звука, чем у большинства моделей синтеза речи, которые обычно ограничены 24 кГц.Есть ли готовые приложения, чтобы попробовать LuxTTS без программирования?Да, сообщество создало Lux-TTS-Gradio, OptiSpeech (приложение с удобным интерфейсом), ноды LuxTTS-Comfyui, версию в формате ONNX и демо-версию на FalAI.
Да, сообщество создало Lux-TTS-Gradio, OptiSpeech (приложение с удобным интерфейсом), ноды LuxTTS-Comfyui, версию в формате ONNX и демо-версию на FalAI.What are similar projects?MOSS-TTS-Nano, OpenVoice, dia, MOSS-TTS, csm, bark, DramaBox, FireRedAudio
MOSS-TTS-Nano, OpenVoice, dia, MOSS-TTS, csm, bark, DramaBox, FireRedAudioWhich topics is it in?vocoder, voice-clone, colab, comfyui, audio-generation, voice-cloning, speech-synthesis, onnx, text-to-speech, real-time, audio, inference
vocoder, voice-clone, colab, comfyui, audio-generation, voice-cloning, speech-synthesis, onnx, text-to-speech, real-time, audio, inference