12.7K ·GitHub
Что это такое?
PaddleSpeech — это инструментарий с открытым исходным кодом для работы с речью и аудио, построенный на платформе PaddlePaddle. Он охватывает такие задачи, как автоматическое распознавание речи (ASR), синтез речи (TTS), верификация диктора, перевод речи, распознавание ключевых слов и восстановление пунктуации. Он получил награду NAACL2022 Best Demo Award за лучшую демонстрацию.
PaddleSpeech — это инструментарий с открытым исходным кодом для работы с речью и аудио, построенный на платформе PaddlePaddle. Он охватывает такие задачи, как автоматическое распознавание речи (ASR), синтез речи (TTS), верификация диктора, перевод речи, распознавание ключевых слов и восстановление пунктуации. Он получил награду NAACL2022 Best Demo Award за лучшую демонстрацию.Это Python-библиотека или что-то большее?Это Python-библиотека/инструментарий, который можно установить через pip или из исходников. Кроме того, в комплекте идут готовые CLI-команды и необязательный сервер (включая потоковый сервер Streaming Server), так что чтобы попробовать модели, не нужно писать код.
Это Python-библиотека/инструментарий, который можно установить через pip или из исходников. Кроме того, в комплекте идут готовые CLI-команды и необязательный сервер (включая потоковый сервер Streaming Server), так что чтобы попробовать модели, не нужно писать код.Как установить и запустить это?Сначала установите PaddlePaddle, затем PaddleSpeech — через pip или сборкой из исходного кода (рекомендуется). После этого можно вызывать модели через CLI или Python API.
Сначала установите PaddlePaddle, затем PaddleSpeech — через pip или сборкой из исходного кода (рекомендуется). После этого можно вызывать модели через CLI или Python API.Нужно ли мне сначала установить PaddlePaddle и определённую версию Python?Да: нужны gcc >= 4.8.5, Python >= 3.8 и установленный PaddlePaddle до установки PaddleSpeech; при этом выбирается сборка PaddlePaddle, соответствующая вашему CPU/GPU.
Да: нужны gcc >= 4.8.5, Python >= 3.8 и установленный PaddlePaddle до установки PaddleSpeech; при этом выбирается сборка PaddlePaddle, соответствующая вашему CPU/GPU.Есть ли подводные камни при установке, о которых мне стоит знать?Установка может быть непростой: возможны сложности с окружениями conda, зависимостями librosa, проблемами gcc и настройкой Kaldi. Для этого есть отдельная документация по устранению неполадок. Демо перевода речи требует предварительно собранных инструментов Kaldi, которые работают только на Ubuntu.
Установка может быть непростой: возможны сложности с окружениями conda, зависимостями librosa, проблемами gcc и настройкой Kaldi. Для этого есть отдельная документация по устранению неполадок. Демо перевода речи требует предварительно собранных инструментов Kaldi, которые работают только на Ubuntu.Работает ли это только на Linux или также на Windows и Mac?Рекомендуемая ОС — Linux, но поддерживаются также Windows и Mac OSX.
Рекомендуемая ОС — Linux, но поддерживаются также Windows и Mac OSX.Какие речевые задачи поддерживаются из коробки?ASR, TTS, верификация диктора, распознавание ключевых слов, классификация аудио и звуков, перевод речи и восстановление пунктуации, а также потоковые версии ASR и TTS, созданные для промышленного использования.
ASR, TTS, верификация диктора, распознавание ключевых слов, классификация аудио и звуков, перевод речи и восстановление пунктуации, а также потоковые версии ASR и TTS, созданные для промышленного использования.Чем выделяется его китайский TTS?В нём есть основанный на правилах текстовый фронтенд для китайского языка, который занимается нормализацией текста и преобразованием графем в фонемы, включая правила для многозначных иероглифов (полифонов) и сандхи тонов, адаптированные под китайский контекст.
В нём есть основанный на правилах текстовый фронтенд для китайского языка, который занимается нормализацией текста и преобразованием графем в фонемы, включая правила для многозначных иероглифов (полифонов) и сандхи тонов, адаптированные под китайский контекст.Могу ли я клонировать голос или дообучить TTS на новом дикторе?Да: есть примеры клонирования голоса (например, AISHELL-3 с кодировщиком диктора ECAPA-TDNN), рабочий процесс дообучения TTS (finetuning) и модели ERNIE-SAT для клонирования голоса и редактирования речи.
Да: есть примеры клонирования голоса (например, AISHELL-3 с кодировщиком диктора ECAPA-TDNN), рабочий процесс дообучения TTS (finetuning) и модели ERNIE-SAT для клонирования голоса и редактирования речи.На каких моделях и датасетах он основан?Он интегрирует популярные датасеты, такие как LibriSpeech, LJSpeech, AIShell и CSMSC, а также модели Conformer, Wav2vec2, HuBERT, WavLM, Whisper и VITS.
Он интегрирует популярные датасеты, такие как LibriSpeech, LJSpeech, AIShell и CSMSC, а также модели Conformer, Wav2vec2, HuBERT, WavLM, Whisper и VITS.What are similar projects?MOSS-TTS-Nano, Speech, TTS, faster-whisper, pyvideotrans, FireRedAudio, whisperX, sherpa-onnx
MOSS-TTS-Nano, Speech, TTS, faster-whisper, pyvideotrans, FireRedAudio, whisperX, sherpa-onnxWhich topics is it in?vocoder, voice-recognition, self-supervised-learning, speech, asr, toolkit, voice-cloning, speech-synthesis, audio-processing, whisper, speech-to-text, speech-recognition
vocoder, voice-recognition, self-supervised-learning, speech, asr, toolkit, voice-cloning, speech-synthesis, audio-processing, whisper, speech-to-text, speech-recognition