这是什么?
AudioGPT 是一个开源研究系统,用于理解和生成语音、音乐、声音以及会说话的头像——它把预训练的基础模型包装起来,通过提示词驱动的音频任务来调用。
这是可以直接安装的应用,还是我自己运行代码?
需要自己运行代码:这是一个 Python 研究仓库,按任务组织实现了各种功能和预训练模型——涵盖语音、歌唱、一般音频和会说话的头像——并不是一个可安装的应用。
我该怎么把它跑起来?
克隆仓库,然后按照 run.md 操作——README 的 Get Started 部分完全指向这个文件。它是 Python 项目,所以你需要为想运行的任务配置好环境并安装相应依赖。
我需要先安装哪些东西?
Python 是基本要求;这个仓库没有提供 Docker 镜像、Makefile 或预编译的二进制文件,所以要自己手动搭建 Python 环境,再安装每个模型各自的依赖。
它的所有功能都已经完成了吗?
没有——好几个任务还标记为 WIP(开发中),包括文本转语音、语音增强与分离、文本转歌唱以及会说话的头像合成,语音翻译也还没有推出。官方表示会有更多模型和任务加入,所以请把它当作仍在演进中的研究代码。
它具体能生成和理解哪些东西?
很多:语音识别(whisper、Conformer)、文本转语音(FastSpeech、SyntaSpeech、VITS)、风格迁移、语音增强与分离、文本转歌唱(DiffSinger、VISinger)、文本转音频、音频修复、图像转音频、声音检测与提取,以及会说话的头像合成(GeneFace)。
我是用自然语言跟它交互,还是要写代码?
它是提示词驱动的:README 指向其 asset 文件夹里的提示词示例,并且把 Visual ChatGPT 和 LangChain 列为基础组件之一,所以使用流程就是用自然语言描述音频任务,让系统自动选择合适的模型。
我能在自己的项目里复用这些模型吗?
不清楚:GitHub 上这个仓库没有标注标准许可证(NOASSERTION),README 里也没有说明使用条款,所以如果想在上面构建商业项目,请先和作者确认。
Which topics is it in?
talking-head, text-to-audio, speech, audio-generation, voice, whisper, langchain, speech-recognition, music, tts, text-to-speech, gpt