9.9K ·GitHub
这是什么?
Pocket TTS 是 Kyutai 推出的轻量级文本转语音引擎,只用 CPU 就能高效运行。它采用仅有 100M 参数的小型模型,支持流式音频输出和声音克隆。
这是 Python 库、命令行工具,还是网页应用?
三者都是:它既是可以通过 pip 安装的 Python 库和命令行工具,还提供一个本地的 'serve' 命令,通过 HTTP 提供网页界面,另外 Kyutai 官网上还有一个官方的浏览器演示。
我第一次生成音频该怎么做?
运行 `uvx pocket-tts generate --text ... --voice ...`(或先执行 `pip install pocket-tts`),会生成一个 ttsoutput.wav 文件;如果想让模型保持加载状态,改用 `pocket-tts serve`,通过本地网页界面或 HTTP 来生成音频。
安装时有什么需要注意的坑吗?
在 Linux 上,直接用 pip 安装会默认拉取 PyTorch 的 CUDA 版本(体积增加好几 GB),但本应用只需要 CPU,所以必须让 pip 指向仅含 CPU 版 PyTorch 的索引源;macOS 和 Windows 不存在这个问题。
不同操作系统的安装过程有区别吗?
有区别:Linux 用户必须手动选择仅 CPU 版的 PyTorch 索引,以避开 CUDA 版本;而 macOS 和 Windows 默认就提供仅含 CPU 的 wheel 包。
它有多快?
目标是首个音频片段的延迟约为 200ms。在 MacBook Air M4 的 CPU 上,它只占用 2 个 CPU 核心,速度约为实时速度的 6 倍。
我可以克隆自定义声音吗?
可以:把任意干净的 wav 文件传给 --voice 参数,即可实时克隆;或者用 export-voice 命令预先生成 safetensors 格式的声音嵌入文件,之后加载会快得多。
内置了哪些语言和声音?
它内置了英语、法语、德语、葡萄牙语、意大利语和西班牙语的预训练模型,另外还提供一批具名预设声音,如 alba、giovanni、lola 和 juergen。
能不用 Python,直接在浏览器里运行吗?
Kyutai 官网的演示已经可以直接在浏览器中运行;社区移植版本(基于 Candle 或 XN 的 WebAssembly/Rust 版,以及 ONNX Runtime Web 版)也能让它在客户端通过 JavaScript 运行。
What are similar projects?
supertonic, neutts, VoxCPM, OmniVoice, F5-TTS, moshi, fish-speech, ebook2audiobook
Which topics is it in?
on-device, voice-cloning, speech-synthesis, raspberry-pi, text-to-speech, wasm, multilingual, apple-silicon, audio, streaming, offline, huggingface