Что это?
MOSS-TTS Family — семейство open-source моделей генерации речи и звуков от OpenMOSS, охватывающее длинное повествование, диалоги нескольких спикеров, дизайн голоса, звуковые эффекты и потоковый синтез речи в реальном времени.
MOSS-TTS Family — семейство open-source моделей генерации речи и звуков от OpenMOSS, охватывающее длинное повествование, диалоги нескольких спикеров, дизайн голоса, звуковые эффекты и потоковый синтез речи в реальном времени.Это одна модель или семейство разных моделей?Это семейство из пяти специализированных моделей, которые выбираются под задачу: MOSS-TTS для клонирования голоса/повествования, MOSS-TTSD для диалогов, MOSS-VoiceGenerator для дизайна голоса, MOSS-TTS-Realtime для голосовых агентов и MOSS-SoundEffect для звуковых эффектов.
Это семейство из пяти специализированных моделей, которые выбираются под задачу: MOSS-TTS для клонирования голоса/повествования, MOSS-TTSD для диалогов, MOSS-VoiceGenerator для дизайна голоса, MOSS-TTS-Realtime для голосовых агентов и MOSS-SoundEffect для звуковых эффектов.Как это запустить?Настройте окружение Conda или uv, при желании установите FlashAttention 2, затем скачайте веса модели с Hugging Face или ModelScope и запустите quickstart-скрипты; также доступен бэкенд llama.cpp без torch с весами GGUF.
Настройте окружение Conda или uv, при желании установите FlashAttention 2, затем скачайте веса модели с Hugging Face или ModelScope и запустите quickstart-скрипты; также доступен бэкенд llama.cpp без torch с весами GGUF.Какой бэкенд использовать для быстрого обслуживания?Для более быстрого инференса в production можно использовать бэкенды SGLang-Omni или vLLM-Omni, которые поддерживают всю серию MOSS-TTS с OpenAI-совместимым эндпоинтом /v1/audio/speech, стримингом и клонированием голоса.
Для более быстрого инференса в production можно использовать бэкенды SGLang-Omni или vLLM-Omni, которые поддерживают всю серию MOSS-TTS с OpenAI-совместимым эндпоинтом /v1/audio/speech, стримингом и клонированием голоса.Это работает полностью локально, без отправки аудио на сервер?Да, модели с открытыми весами и рассчитаны на self-hosted инференс, включая лёгкое развёртывание на устройстве через llama.cpp и ONNX Runtime.
Да, модели с открытыми весами и рассчитаны на self-hosted инференс, включая лёгкое развёртывание на устройстве через llama.cpp и ONNX Runtime.Почему MOSS-TTS-Realtime хорош для голосовых агентов?Он использует многошаговый инкрементальный синтез с учётом контекста и Time-To-First-Byte около 180 мс, поэтому ответы в паре с текстовой LLM звучат естественно и с низкой задержкой.
Он использует многошаговый инкрементальный синтез с учётом контекста и Time-To-First-Byte около 180 мс, поэтому ответы в паре с текстовой LLM звучат естественно и с низкой задержкой.Могу ли я сам дообучить эти модели?Да, в репозитории есть туториалы по дообучению обеих архитектур — MossTTSDelay и MossTTSLocal, охватывающие MOSS-TTS, MOSS-TTSD, MOSS-VoiceGenerator и MOSS-SoundEffect.
Да, в репозитории есть туториалы по дообучению обеих архитектур — MossTTSDelay и MossTTSLocal, охватывающие MOSS-TTS, MOSS-TTSD, MOSS-VoiceGenerator и MOSS-SoundEffect.Он работает на Mac с Apple Silicon?Да, MOSS-TTS и MOSS-Audio-Tokenizer поддерживают фреймворк mlx-audio для работы на Apple Silicon.
Да, MOSS-TTS и MOSS-Audio-Tokenizer поддерживают фреймворк mlx-audio для работы на Apple Silicon.Сколько языков он поддерживает и какое качество звука?MOSS-TTS-v1.5 и MOSS-TTS-Local-Transformer-v1.5 поддерживают 31 язык, а новейший MOSS-Audio-Tokenizer-v2 нативно выдаёт стереозвук 48 кГц.
MOSS-TTS-v1.5 и MOSS-TTS-Local-Transformer-v1.5 поддерживают 31 язык, а новейший MOSS-Audio-Tokenizer-v2 нативно выдаёт стереозвук 48 кГц.What are similar projects?MOSS-TTS-Nano, VoxCPM, VibeVoice, fish-speech, neutts, unsloth, DramaBox, Speech
MOSS-TTS-Nano, VoxCPM, VibeVoice, fish-speech, neutts, unsloth, DramaBox, SpeechWhich topics is it in?text-to-audio, voice-ai, llamacpp, mlx, voice-cloning, speech-synthesis, gguf, onnx, tts, vllm, text-to-speech, quantization
text-to-audio, voice-ai, llamacpp, mlx, voice-cloning, speech-synthesis, gguf, onnx, tts, vllm, text-to-speech, quantization