breeze-tts README

The project's README from github.com/breezeblue-ai/breeze-tts. As one markdown file: README.md.

BreezeBlue

Hugging Face Blog Website Discord X

[!IMPORTANT] Source code is licensed under Apache 2.0. Breeze TTS 2 model weights, derivative models, and self-hosted outputs are for research and non-commercial use only. See License.

📰 News

📖 Introduction

Breeze TTS 2 is an open-weight text-to-speech model built for real-time interaction. It ranks #1 among open-weight models on the Artificial Analysis TTS leaderboard, while outperforming frontier proprietary systems. Its open-ended natural-language instruction-following capability supports reference-free voice design and reference-guided voice direction, while ultra-low-latency streaming enables responsive, expressive interaction.

Text-to-speech models ranked by Artificial Analysis Elo score

✨ Highlights

🚀 Quick Start

Requirements

Installation

Download the inference code:

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

Install the dependencies:

python -m pip install -r requirements.txt

All required model components are included in the Breeze TTS 2 checkpoint.

For the tested CUDA environment, build the included Docker image:

bash docker/build.sh

The default image targets H100/Hopper (sm90). For A100:

FLASH_ATTN_CUDA_ARCHS=80 bash docker/build.sh

🎙️ Voice Clone

Clone a speaker from clean reference audio and its exact transcript.

English

python infer.py ../breeze-tts-2 \
  --ref-audio reference_en.wav \
  --ref-text "This is the exact transcript of the English reference audio." \
  --text "(sigh) It is good to hear your voice again after all this time." \
  --output outputs/voice_clone_en.wav

Chinese

python infer.py ../breeze-tts-2 \
  --ref-audio reference_zh.wav \
  --ref-text "这是中文参考音频的准确文字稿。" \
  --text "[叹气] 没想到过了这么久，你还记得我的声音。" \
  --output outputs/voice_clone_zh.wav

Reference audio should contain clean, non-looping speech with minimal background noise. --ref-text should match the complete spoken content of the reference audio; if speech is repeated in the audio, include those repetitions in the transcript. Voice Clone does not use an instruction. Adding --instruction selects Voice Direction instead.

🎨 Voice Design

Create a voice from a natural-language description without reference audio. Match the instruction language to the target text. Use --cfg-scale 4 to strengthen instruction-following.

English

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wav

Chinese

python infer.py ../breeze-tts-2 \
  --text "[笑] 欢迎来到今晚的故事时间，让我们一起开始吧。" \
  --instruction "一位温柔自信的年轻女性，声音清晰，语气亲切，表达轻快而富有感染力。" \
  --cfg-scale 4 \
  --output outputs/voice_design_zh.wav

🎛️ Voice Direction

Keep the identity of a reference speaker while directing tone, emotion, pace, and delivery. Use --cfg-scale 4 to strengthen instruction-following.

python infer.py ../breeze-tts-2 \
  --ref-audio reference.wav \
  --ref-text "This is the exact transcript of the reference audio." \
  --text "(clears throat) We need to discuss what happened last night." \
  --instruction "Speak slowly with a restrained, serious tone." \
  --cfg-scale 4 \
  --output outputs/voice_direction.wav

🌐 Streaming API

Start the single-concurrency streaming API. It uses the same PyTorch runtime and eager execution by default:

python -m breeze_infer.api ../breeze-tts-2 --host 0.0.0.0 --port 7860

Send a Voice Direction request with reference audio and CFG 4:

curl -X POST http://127.0.0.1:7860/v1/audio/speech \
  -F "cfg_scale=4" \
  -F "[email protected]" \
  -F "ref_text=This is the exact transcript of the reference audio." \
  -F "text=(clears throat) We need to discuss what happened last night." \
  -F "instruction=Speak slowly with a restrained, serious tone." \
  -F "seed=42" \
  --output voice_direction.pcm

The response is streaming mono 24 kHz signed 16-bit little-endian PCM. Start the API with --fast-all to enable the fast path.

⚡ Fast Inference Options

Both the CLI and API use eager streaming by default and skip graph warmup. Pass --fast-all to enable the best configuration for every inference stage when the additional cold-start time is acceptable. Each stage can also be controlled independently:

Stage Fast parameter Disabled Enabled
Text encoder --[no-]fast-text-encoder Native eager forward Static CUDA Graph selected by CFG shape and text-length bucket
Backbone prefill --[no-]fast-backbone-prefill Native eager prefill CUDA Graph selected by CFG shape and prompt-length bucket
Backbone decode --[no-]fast-backbone-decode Native eager token step StaticCache-backed graph selected by CFG shape
Depth decoder --[no-]fast-depth-decoder Native eager depth loop Full-graph compilation with CFG-shape CUDA Graphs
Codec --[no-]fast-codec Eager streaming decode Single-request streaming CUDA Graph with one-frame chunks

Individual stage flags are intended for profiling and debugging.

License and Responsible Use

The source code is licensed under the Apache License, Version 2.0. The audio tokenizer is based on Qwen3-TTS by the Alibaba Qwen Team and is licensed under the Apache License, Version 2.0. Model weights, checkpoints, adapters, derivative models, and self-hosted outputs are governed separately by the BreezeBlue Research and Non-Commercial License. The Apache License does not grant rights to use the model commercially.

If you have an active paid subscription, outputs you generate through BreezeBlue's hosted platform or API at breezeblue.ai can be used commercially, subject to our Terms of Service. A paid subscription does not grant commercial rights to the open-weight model or self-hosted outputs.

You are responsible for complying with applicable laws and obtaining all necessary rights and consents for inputs, reference audio, voices, and outputs. Unauthorized voice cloning, impersonation, fraud, and other unlawful or harmful uses are prohibited.

The code and Model Materials are provided "AS IS," without warranties or liability to the maximum extent permitted by law. Third-party components remain subject to their respective licenses.

breeze-tts (breezeblue-ai/breeze-tts)

Searching Database…

604 ·GitHub
Breeze-tts
Что это?Breeze TTS 2 — модель синтеза речи с открытыми весами, созданная для взаимодействия в реальном времени, а этот репозиторий — официальный PyTorch-код инференса для неё. Она занимает первое место среди моделей с открытыми весами в TTS-лидерборде Artificial Analysis и обходит некоторые проприетарные системы.
Это библиотека для импорта или самостоятельный CLI/сервер?И то, и другое: инструмент командной строки для Voice Clone, Voice Design и Voice Direction, плюс стриминговый API-сервер инференса на том же PyTorch-рантайме.
Как его запустить?Скачайте код инференса, установите зависимости, затем загрузите чекпоинт Breeze TTS 2 (он содержит все нужные компоненты модели). Также предоставляется Docker-образ для протестированной CUDA-среды, с отдельными сборками под H100/Hopper или A100.
Какое железо и ПО мне нужны?Linux с Python 3.10+ и NVIDIA GPU с поддержкой CUDA. Обычный (eager) инференс требует около 7.7 GiB видеопамяти (минимум GPU на 12 GB), быстрый путь — около 14.4 GiB (рекомендуется GPU на 24 GB).
Могу ли я использовать сгенерированные голоса в коммерческом продукте?Нет, не по умолчанию: код под Apache 2.0, но веса модели и любые результаты на самохостинге подпадают под отдельную исследовательскую некоммерческую лицензию. Коммерческое использование результатов возможно только по платной подписке на хостинг-платформе BreezeBlue.
Работает ли он также на Windows или macOS?Нет, в README требованием указаны Linux и Python 3.10+, о поддержке Windows/macOS ничего не говорится.
Нужна ли конкретная GPU для запуска?Да, нужна NVIDIA GPU с CUDA; режиму eager нужно примерно 7.7 GiB VRAM (карта минимум на 12 GB), а быстрому пути с CUDA-graph — около 14.4 GiB (рекомендуется карта на 24 GB).
В чём разница между Voice Clone, Voice Design и Voice Direction?Voice Clone воспроизводит точный тембр и манеру референсного диктора по аудио и его транскрипту. Voice Design создаёт совершенно новый голос только по описанию на естественном языке, референсное аудио не нужно. Voice Direction клонирует референсный голос, но позволяет управлять тоном, эмоцией, темпом и подачей с помощью инструкции.
Насколько быстрая генерация речи?На разогретой NVIDIA H100 с быстрым путём достигается менее 40 мс до первого звука и коэффициент реального времени 0.32, то есть звук генерируется примерно в 3.1 раза быстрее реального времени.
Можно ли добавить в речь смех или вздохи?Да, функция Vocal Events позволяет вставлять выразительные пометки прямо в текст: круглые скобки для английского (например '(laugh)', '(cough)') и квадратные для китайского (например '[笑]', '[叹气]').
Какие языки он поддерживает?Breeze TTS 2 двуязычна: одна модель генерирует естественную английскую и китайскую речь.
What are similar projects?fish-speech, dia, VoxCPM, MOSS-TTS, Speech, Spark-TTS, OmniVoice, MockingBird
Which topics is it in?voice-ai, bilingual, voice-cloning, speech-synthesis, tts, multilingual, real-time, audio, streaming, inference, nvidia, cuda
Creator
breezeblue-ai
Size
0.1 MB
Stars
604
Updated
CommitOct 13
Age
1mo
Commits · 90 Days