Audio8_TTS README

README проекта с github.com/Edge0-AI/Audio8_TTS. Одним файлом markdown: README.md.

Audio8

Audio8 TTS

Compact text-to-speech models for zero-shot voice cloning.

GitHub License

English · 中文

0.6B family · 0.1B family · llama.cpp / GGUF

2026-11-16 · llama.cpp / GGUF — Native local inference, voice cloning and streaming for Realistic Air, with one shared F32 model bundle. Runbook · GGUF files.

Releases

0.6B family
Audio8-TTS-Realistic-Air — More realistic speech. More languages. Still 0.6B.

Model Demo arXiv

Audio8-TTS-Realistic-Air builds on Preview with substantially improved speech realism, retaining the same compact 0.6B architecture and zero-shot voice cloning. It supports 23 languages, adding 12 languages compared with Preview.

Release Focus and languages Model Listen Guide
Realistic Air Realism and prosody · 23 languages HF Demo Details

ONNX: There is currently no Realistic Air ONNX export.

Native deployment: llama.cpp / GGUF runbook · Shared model folder.

0.6B details: languages, quick start, and evaluation

Realistic Air language support

Coverage Languages
11 languages supported in Preview Cantonese, Chinese, Dutch, English, French, German, Italian, Japanese, Korean, Polish, Spanish
12 additions in Realistic Air Arabic, Finnish, Hindi, Indonesian, Malay, Norwegian, Portuguese, Russian, Swedish, Thai, Turkish, Vietnamese

Note: Quality varies by language; benchmark coverage differs from the supported-language list. Per-language results.

Realistic Air quick start

Use Python 3.10+ and a CUDA-capable GPU. Run from the repository root. The explicit model ID selects Realistic Air independently of the scripts' existing Preview default.

git clone https://github.com/Edge0-AI/Audio8_TTS.git
cd Audio8_TTS
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

python audio8_tts_infer.py \
  --model Edge0/Audio8-TTS-Realistic-Air \
  --text "Welcome to Audio8 TTS. It is wonderful to hear from you." \
  --output outputs/realistic.wav

For voice cloning, add --reference-audio reference.wav --reference-text "The exact transcript of the recording.".

Installation, cloning and batch inference · Supervised fine-tuning

0.6B evaluation summary

Error rates are percentages (lower is better). SIM uses a 0–1 scale (higher is better). Neither directly measures speech realism.

Audio8-TTS-Preview and Audio8-TTS-Realistic-Air, both 0.6B:

Benchmark Coverage Preview error % ↓ Realistic Air error % ↓ Preview SIM ↑ Realistic Air SIM ↑
Seed-TTS English / Chinese 1.23 1.25 0.682 0.704
CV3 8 shared languages 4.80 4.56 — 0.663
CV3 9 core languages — 4.86 — 0.661
MiniMax 24 evaluated languages — 5.89 — 0.754

Note: Values are unweighted language macro averages. Preview results are calculated from its published model card, with SIM converted from percentages to a 0–1 scale. The two releases were evaluated separately. A dash means the corresponding result was not reported on Preview's card.

Seed-TTS averages English WER and Chinese CER, excluding hard Chinese. The shared CV3 subset is Chinese, English, Japanese, Korean, German, French, Spanish, and Italian; the 9-language set also includes Russian. CV3 averages exclude hard subsets and the 13 additional languages. MiniMax averages all 24 evaluated languages, including languages outside the supported list.

Full Realistic Air evaluation and comparison notes · Original Preview evaluation

Previous release · Preview 0.6B

Realistic Air builds on Preview. The original checkpoint, 11-language coverage, evaluation, and listening page remain available for Preview users.

Release Model Listen Guide Deployment
Preview 0.6B HF Demo Details ONNX INT4

0.1B family
Audio8-TTS-0.1B — How small a zero-shot cloning TTS can be?

Model 0.1B ONNX INT8 Demo 0.1B

Meet Audio8-TTS-0.1B: a compact, portable text-to-speech model with zero-shot voice cloning.

Designed for a smaller deployment footprint, with Chinese and English as its primary languages. The dedicated ONNX INT8 runtime supports CPU inference, streaming, and local web/HTTP serving.

Release Focus and languages Model Listen Guide
Preview 0.1B Compact hybrid · primarily Chinese / English HF Demo Details

0.1B quick start · CPU / ONNX runtime · 0.1B deployment · Model license


Shared tools

Installation and inference · Supervised fine-tuning

The shared tools accept an explicit model ID. Use the quick-start and deployment instructions for your chosen release.

llama.cpp / GGUF

The native C++ route for Realistic Air targets local applications, desktop deployment and embedded integration, without Python, PyTorch or ONNX Runtime at inference time. It provides speech generation, reference-audio voice cloning, WAV output and HTTP/streaming through the Audio8 runtime linked below.

Entry Contents
Standalone runbook Download, build, generate, serve, stream and troubleshoot
Implementation and converter Pinned upstream patch, source verification and F32 export
HF model folder One shared bundle across platforms; four payloads total 3.76 GB

F32 is the default. For GPU services with dynamic batching, see SGLang Omni below.

Note: Use CPU on macOS; Metal is experimental. The Windows build instructions have not yet been tested on a Windows machine.

SGLang Omni Serving

SGLang Omni provides paged attention, dynamic batching, and an OpenAI-compatible speech API. The 0.6B family and the 0.1B hybrid model have their own configurations. Existing performance results remain paired with their original model, hardware, and test conditions in the deployment guide.

Deployment matrix, installation and server configuration · API, streaming and troubleshooting

License and acknowledgements

The repository code and both 0.6B releases use Apache License 2.0.

The 0.1B base checkpoint and its ONNX INT8 export both use Audio8 Community License v1.0. Commercial use is royalty-free for entities whose annual revenue, including parent companies, subsidiaries, and affiliates, is below US$2,000,000, subject to the license conditions; at or above that threshold, a separate written commercial license is required. See the 0.1B license guide and ONNX model license for details.

See NOTICE for attribution. We thank the Fish Audio team for the DualAR architecture used in Fish Audio S2 Pro.

Audio8_TTS (Edge0-AI/Audio8_TTS)

Ищем в базе…

Что это такое?Audio8TTS — компактная многоязычная модель синтеза речи с 0,6 млрд параметров и клонированием голоса без обучения (zero-shot). В комплекте идут код инференса для Hugging Face, инструменты командной строки и независимый конвейер дообучения SFT.
Это готовое приложение или модель, которую нужно запускать самому?Это чекпоинт модели с Hugging Face и Python-код для инференса, а не приложение с графическим интерфейсом. Запускается через CLI-скрипты, встроенное развёртывание ONNX для CPU или адаптер сервера SGLang Omni для сервировки с совместимым с OpenAI API.
Как это запустить?Скачайте чекпоинт с Hugging Face и поместите его в директорию model/ репозитория (ожидаемый путь model/audio8tts06Bpreview/), затем запустите инференс через audio8ttsinfer.py или укажите в --model любой ID модели с Hugging Face.
Что нужно для запуска?Для основного пути рекомендуются Python 3.10+ и видеокарта NVIDIA с поддержкой CUDA. Развёртыванию ONNX Runtime только для CPU не нужны PyTorch и Transformers, а адаптеру сервировки SGLang Omni требуются конкретные проверенные версии SGLang Omni, SGLang, PyTorch и Transformers.
Есть ли подвохи, прежде чем на это полагаться?Это релиз Preview с намеренно ограниченным охватом языков: используйте его в основном с 11 рекомендуемыми языками и держите каждый вход короче 150 символов для лучшего качества (длинный текст разбивайте на сегменты).
Нужна ли конкретная видеокарта или это работает и на CPU?Инференс на GPU рассчитан на карты NVIDIA (адаптер SGLang настроен под GPU Hopper, такие как H20/H100, и автоматически определяет потребительские карты Blackwell, например RTX 5090, чтобы переключить бэкенды). Также есть путь на CPU с INT4 через ONNX Runtime, который тестировался на Apple M2 и использовал около 1 ГиБ памяти.
С какими языками эта Preview-модель работает лучше всего?Чекпоинт Preview настроен на 11 языков: кантонский, китайский, нидерландский, английский, французский, немецкий, итальянский, японский, корейский, польский и испанский.
Какая архитектура используется?Используется архитектура DualAR, вдохновлённая Fish Audio S2 Pro: медленный AR-трансформер предсказывает семантические токены для каждого аудиокадра, а быстрый AR-трансформер предсказывает кодовые книги кодека на основе этого состояния. Кодирование и декодирование выполняет встроенный нейронный кодек.
Есть ли вариант поменьше или побыстрее?Да, Audio8-TTS-0.1B заменяет медленную основу на чистом внимании гибридом Falcon-H1 (Mamba 2 SSM + внимание), который определяется автоматически по config.json, при этом быстрый AR для кодовых книг и вокодер общие с моделью 0.6B.
Насколько быстро работает сервировка через адаптер SGLang?На одной видеокарте NVIDIA H20 с весами BF16 и CUDA Graphs задержка для одного потока на прогретой модели составила 0,691 с (p50) при RTF 0,116 для примерно 6 секунд сгенерированного аудио.
Какие есть похожие проекты?VieNeu-TTS, dia, MOSS-TTS-Nano, ChatTTS, MOSS-TTS, Speech, VoxCPM, FireRedAudio
Автор
Edge0-AI
Размер
107.3 MB
Звёзды
2.5K
Обновлён
КоммитNov 16
Возраст
3 мес
Коммиты · 90 дней