AudioGPT README

The project's README from github.com/AIGC-Audio/AudioGPT. As one markdown file: README.md.

AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head

arXiv GitHub Stars visitors Hugging Face

We provide our implementation and pretrained models as open source in this repository.

Get Started

Please refer to run.md

Capabilities

Here we list the capability of AudioGPT at this time. More supported models and tasks are coming soon. For prompt examples, refer to asset.

Currently not every model has repository.

Speech

Task Supported Foundation Models Status
Text-to-Speech FastSpeech, SyntaSpeech, VITS Yes (WIP)
Style Transfer GenerSpeech Yes
Speech Recognition whisper, Conformer Yes
Speech Enhancement ConvTasNet Yes (WIP)
Speech Separation TF-GridNet Yes (WIP)
Speech Translation Multi-decoder WIP
Mono-to-Binaural NeuralWarp Yes

Sing

Task Supported Foundation Models Status
Text-to-Sing DiffSinger, VISinger Yes (WIP)

Audio

Task Supported Foundation Models Status
Text-to-Audio Make-An-Audio Yes
Audio Inpainting Make-An-Audio Yes
Image-to-Audio Make-An-Audio Yes
Sound Detection Audio-transformer Yes
Target Sound Detection TSDNet Yes
Sound Extraction LASSNet Yes

Talking Head

Task Supported Foundation Models Status
Talking Head Synthesis GeneFace Yes (WIP)

Acknowledgement

We appreciate the open source of the following projects:

ESPNet   NATSpeech   Visual ChatGPT   Hugging Face   LangChain   Stable Diffusion  

AudioGPT (AIGC-Audio/AudioGPT)

Searching Database…

10.2K ·GitHub
这是什么?AudioGPT 是一个开源研究系统,用于理解和生成语音、音乐、声音以及会说话的头像——它把预训练的基础模型包装起来,通过提示词驱动的音频任务来调用。
这是可以直接安装的应用,还是我自己运行代码?需要自己运行代码:这是一个 Python 研究仓库,按任务组织实现了各种功能和预训练模型——涵盖语音、歌唱、一般音频和会说话的头像——并不是一个可安装的应用。
我该怎么把它跑起来?克隆仓库,然后按照 run.md 操作——README 的 Get Started 部分完全指向这个文件。它是 Python 项目,所以你需要为想运行的任务配置好环境并安装相应依赖。
我需要先安装哪些东西?Python 是基本要求;这个仓库没有提供 Docker 镜像、Makefile 或预编译的二进制文件,所以要自己手动搭建 Python 环境,再安装每个模型各自的依赖。
它的所有功能都已经完成了吗?没有——好几个任务还标记为 WIP(开发中),包括文本转语音、语音增强与分离、文本转歌唱以及会说话的头像合成,语音翻译也还没有推出。官方表示会有更多模型和任务加入,所以请把它当作仍在演进中的研究代码。
它具体能生成和理解哪些东西?很多:语音识别(whisper、Conformer)、文本转语音(FastSpeech、SyntaSpeech、VITS)、风格迁移、语音增强与分离、文本转歌唱(DiffSinger、VISinger)、文本转音频、音频修复、图像转音频、声音检测与提取,以及会说话的头像合成(GeneFace)。
我是用自然语言跟它交互,还是要写代码?它是提示词驱动的:README 指向其 asset 文件夹里的提示词示例,并且把 Visual ChatGPT 和 LangChain 列为基础组件之一,所以使用流程就是用自然语言描述音频任务,让系统自动选择合适的模型。
我能在自己的项目里复用这些模型吗?不清楚:GitHub 上这个仓库没有标注标准许可证(NOASSERTION),README 里也没有说明使用条款,所以如果想在上面构建商业项目,请先和作者确认。
What are similar projects?ChatTTS, bark, OpenVoice, csm, DramaBox, YuE, dia, audiocraft
Creator
AIGC-Audio
Size
23.6 MB
Stars
10.2K
Updated
CommitMay 05
Age
3y
Commits · 90 Days