Что это такое?
AudioGPT — исследовательская система с открытым кодом для распознавания и генерации речи, музыки, звуков и говорящих голов: готовые предобученные базовые модели, обёрнутые в аудиозадачи, которые задаются через промпты.
AudioGPT — исследовательская система с открытым кодом для распознавания и генерации речи, музыки, звуков и говорящих голов: готовые предобученные базовые модели, обёрнутые в аудиозадачи, которые задаются через промпты.Это приложение, которое я устанавливаю, или код, который я запускаю сам?Код для запуска: это исследовательский репозиторий на Python, где лежат реализации и предобученные модели, разложенные по задачам — речь, пение, общий звук и говорящая голова. Это не устанавливаемое приложение.
Код для запуска: это исследовательский репозиторий на Python, где лежат реализации и предобученные модели, разложенные по задачам — речь, пение, общий звук и говорящая голова. Это не устанавливаемое приложение.Как его запустить?Склонируйте репозиторий и следуйте run.md — весь раздел Get Started в README ведёт туда. Проект на Python, так что нужно создать окружение и поставить зависимости для тех задач, которые хотите запустить.
Склонируйте репозиторий и следуйте run.md — весь раздел Get Started в README ведёт туда. Проект на Python, так что нужно создать окружение и поставить зависимости для тех задач, которые хотите запустить.Что должно быть установлено заранее?Базовое требование — Python; в репозитории нет Docker-образа, Makefile или готовых бинарников, так что придётся вручную настраивать Python-окружение плюс зависимости каждой модели.
Базовое требование — Python; в репозитории нет Docker-образа, Makefile или готовых бинарников, так что придётся вручную настраивать Python-окружение плюс зависимости каждой модели.Все ли возможности там уже доделаны?Нет — несколько задач помечены как WIP (в разработке): синтез речи из текста, улучшение и разделение речи, генерация пения из текста и синтез говорящей головы, а перевод речи пока вообще не выпущен. Модели и задачи продолжают добавлять, так что это развивающийся исследовательский код.
Нет — несколько задач помечены как WIP (в разработке): синтез речи из текста, улучшение и разделение речи, генерация пения из текста и синтез говорящей головы, а перевод речи пока вообще не выпущен. Модели и задачи продолжают добавлять, так что это развивающийся исследовательский код.Что именно он умеет генерировать и распознавать?Очень многое: распознавание речи (whisper, Conformer), синтез речи из текста (FastSpeech, SyntaSpeech, VITS), перенос стиля, улучшение и разделение речи, генерацию пения из текста (DiffSinger, VISinger), генерацию звука из текста, дополнение аудио, звук по картинке, обнаружение и извлечение звуков, а также синтез говорящей головы (GeneFace).
Очень многое: распознавание речи (whisper, Conformer), синтез речи из текста (FastSpeech, SyntaSpeech, VITS), перенос стиля, улучшение и разделение речи, генерацию пения из текста (DiffSinger, VISinger), генерацию звука из текста, дополнение аудио, звук по картинке, обнаружение и извлечение звуков, а также синтез говорящей головы (GeneFace).Я общаюсь с ним обычным языком или пишу код?Всё работает через промпты: README ссылается на примеры промптов в папке assets, а среди строительных блоков называются Visual ChatGPT и LangChain. То есть вы просто описываете аудиозадачу на естественном языке, а система сама подбирает подходящую модель.
Всё работает через промпты: README ссылается на примеры промптов в папке assets, а среди строительных блоков называются Visual ChatGPT и LangChain. То есть вы просто описываете аудиозадачу на естественном языке, а система сама подбирает подходящую модель.Могу ли я использовать модели в своём проекте?Неясно: на GitHub у репозитория не указана стандартная лицензия (NOASSERTION), а в README условия использования не описаны, так что перед тем как строить на его основе что-то коммерческое, уточните это у авторов.
Неясно: на GitHub у репозитория не указана стандартная лицензия (NOASSERTION), а в README условия использования не описаны, так что перед тем как строить на его основе что-то коммерческое, уточните это у авторов.Which topics is it in?talking-head, text-to-audio, speech, audio-generation, voice, whisper, langchain, speech-recognition, music, tts, text-to-speech, gpt
talking-head, text-to-audio, speech, audio-generation, voice, whisper, langchain, speech-recognition, music, tts, text-to-speech, gpt