11.2K ·GitHub
Что это?
PersonaPlex — это разговорная ИИ-модель от NVIDIA, которая работает в реальном времени в полнодуплексном режиме: речь в речь. С помощью текстовых ролевых подсказок можно задавать персону ассистента, а голос можно привязать к аудиообразцу. Так получаются естественные голосовые диалоги с низкой задержкой.
PersonaPlex — это разговорная ИИ-модель от NVIDIA, которая работает в реальном времени в полнодуплексном режиме: речь в речь. С помощью текстовых ролевых подсказок можно задавать персону ассистента, а голос можно привязать к аудиообразцу. Так получаются естественные голосовые диалоги с низкой задержкой.Это модель, которую я подключаю в коде, или в комплекте есть готовое приложение?Это сервер, который вы запускаете локально. Он открывает веб-интерфейс, в котором вы общаетесь через браузер. Построен на архитектуре Moshi и дообученной языковой основе Helium LLM, это не самостоятельная библиотека.
Это сервер, который вы запускаете локально. Он открывает веб-интерфейс, в котором вы общаетесь через браузер. Построен на архитектуре Moshi и дообученной языковой основе Helium LLM, это не самостоятельная библиотека.Как всё запустить?Установите библиотеку разработки аудиокодека Opus, скачайте и установите репозиторий, примите лицензию модели PersonaPlex на Hugging Face и настройте аутентификацию Hugging Face. Затем запустите сервер и откройте localhost:8998 в браузере.
Установите библиотеку разработки аудиокодека Opus, скачайте и установите репозиторий, примите лицензию модели PersonaPlex на Hugging Face и настройте аутентификацию Hugging Face. Затем запустите сервер и откройте localhost:8998 в браузере.Нужен ли мне аккаунт на Hugging Face и особая конфигурация GPU?Да, нужен аккаунт на Hugging Face, чтобы принять лицензию модели и пройти аутентификацию, а также библиотека кодека Opus. Для GPU на базе Blackwell требуется дополнительный шаг установки, а GPU с малым объёмом VRAM могут использовать флаг --cpu-offload (нужен пакет accelerate).
Да, нужен аккаунт на Hugging Face, чтобы принять лицензию модели и пройти аутентификацию, а также библиотека кодека Opus. Для GPU на базе Blackwell требуется дополнительный шаг установки, а GPU с малым объёмом VRAM могут использовать флаг --cpu-offload (нужен пакет accelerate).Что делать, если на моём GPU не хватает памяти?Можно передать флаг --cpu-offload, чтобы часть слоёв модели переносилась на CPU; для этого нужно установить пакет accelerate. Офлайн-оценку также можно запускать на чистом CPU, со сборкой PyTorch только для CPU.
Можно передать флаг --cpu-offload, чтобы часть слоёв модели переносилась на CPU; для этого нужно установить пакет accelerate. Офлайн-оценку также можно запускать на чистом CPU, со сборкой PyTorch только для CPU.Для кого это?Для исследователей и разработчиков, которые экспериментируют с полнодуплексными разговорными речевыми моделями, управлением персоной и голосом, а также с исследованиями взаимодействия с речью в реальном времени.
Для исследователей и разработчиков, которые экспериментируют с полнодуплексными разговорными речевыми моделями, управлением персоной и голосом, а также с исследованиями взаимодействия с речью в реальном времени.Какие голоса идут в комплекте?В PersonaPlex уже включён фиксированный набор голосовых эмбеддингов с метками NAT (натуральный, разговорный звук) и VAR (более разнообразный), так что голос можно назначить без записи собственного образца.
В PersonaPlex уже включён фиксированный набор голосовых эмбеддингов с метками NAT (натуральный, разговорный звук) и VAR (более разнообразный), так что голос можно назначить без записи собственного образца.Как на самом деле работает управление персоной?Вы даёте модели текстовую ролевую подсказку, например персону ассистента или службы поддержки, вместе с аудиообразцом голоса. Модель сохраняет эту персону и голос на протяжении всего живого речевого диалога.
Вы даёте модели текстовую ролевую подсказку, например персону ассистента или службы поддержки, вместе с аудиообразцом голоса. Модель сохраняет эту персону и голос на протяжении всего живого речевого диалога.Можно ли проверить без живой сессии с микрофоном?Да, есть скрипт офлайн-оценки. Он потоково подаёт входной WAV-файл и создаёт выходной WAV-файл той же длительности. Это удобно для тестирования ответов на заранее подготовленные реплики.
Да, есть скрипт офлайн-оценки. Он потоково подаёт входной WAV-файл и создаёт выходной WAV-файл той же длительности. Это удобно для тестирования ответов на заранее подготовленные реплики.Что такое Moshi и почему это здесь важно?Moshi — это базовая полнодуплексная архитектура речи и набор весов, на основе которых дообучена PersonaPlex. Также она унаследовала способность к обобщению от языковой основы Helium, благодаря чему может правдоподобно отвечать даже на запросы, которых не было в обучающих данных.
Moshi — это базовая полнодуплексная архитектура речи и набор весов, на основе которых дообучена PersonaPlex. Также она унаследовала способность к обобщению от языковой основы Helium, благодаря чему может правдоподобно отвечать даже на запросы, которых не было в обучающих данных.What are similar projects?Retrieval-based-Voice-Conversion-WebUI, VoxCPM, csm, fish-speech, Index-Translate, Real-Time-Voice-Cloning, FireRedAudio, Qwen3-ASR
Retrieval-based-Voice-Conversion-WebUI, VoxCPM, csm, fish-speech, Index-Translate, Real-Time-Voice-Cloning, FireRedAudio, Qwen3-ASRWhich topics is it in?speech, conversational-ai, voice-cloning, real-time, audio, inference, nvidia, huggingface, cuda, pytorch, deep-learning, research
speech, conversational-ai, voice-cloning, real-time, audio, inference, nvidia, huggingface, cuda, pytorch, deep-learning, research