15.3K ·GitHub
Что это такое?
sherpa-onnx — это инструментарий, который работает офлайн, для распознавания речи, синтеза речи, диаризации говорящих, идентификации и верификации говорящего, определения языка речи, разметки аудио, VAD, улучшения речи, поиска ключевых слов и разделения источников. Он построен на next-gen Kaldi и ONNX Runtime и не требует подключения к интернету.
sherpa-onnx — это инструментарий, который работает офлайн, для распознавания речи, синтеза речи, диаризации говорящих, идентификации и верификации говорящего, определения языка речи, разметки аудио, VAD, улучшения речи, поиска ключевых слов и разделения источников. Он построен на next-gen Kaldi и ONNX Runtime и не требует подключения к интернету.Это библиотека для встраивания или отдельное приложение?В первую очередь это библиотека/SDK с ядром на C++ и привязками для 12 языков (C, Python, Go, C#, Java, Kotlin, JavaScript, Swift, Rust, Dart, Object Pascal). Но в проекте также есть готовые демо-приложения (APK-файлы для Android, приложения на Flutter, приложения на Lazarus) и сборки под WebAssembly.
В первую очередь это библиотека/SDK с ядром на C++ и привязками для 12 языков (C, Python, Go, C#, Java, Kotlin, JavaScript, Swift, Rust, Dart, Object Pascal). Но в проекте также есть готовые демо-приложения (APK-файлы для Android, приложения на Flutter, приложения на Lazarus) и сборки под WebAssembly.Как это попробовать или добавить в проект?Попробовать можно сразу в браузере через Huggingface Spaces (ничего устанавливать не нужно), скачать готовые APK-файлы для Android или приложения на Flutter/Lazarus, а также подключить библиотеку через привязки нужного языка (например, pip install для Python) с предобученными моделями ONNX из ссылок на модели.
Попробовать можно сразу в браузере через Huggingface Spaces (ничего устанавливать не нужно), скачать готовые APK-файлы для Android или приложения на Flutter/Lazarus, а также подключить библиотеку через привязки нужного языка (например, pip install для Python) с предобученными моделями ONNX из ссылок на модели.Что нужно для запуска, например Python или GPU?Интернет-соединение и облачный API не нужны: всё работает полностью офлайн благодаря onnxruntime. Поддерживается работа только на CPU, но есть и запуск на платах с GPU, например NVIDIA Jetson. Для сборки из репозитория используются инструменты на Python, Java, Swift и Make.
Интернет-соединение и облачный API не нужны: всё работает полностью офлайн благодаря onnxruntime. Поддерживается работа только на CPU, но есть и запуск на платах с GPU, например NVIDIA Jetson. Для сборки из репозитория используются инструменты на Python, Java, Swift и Make.Есть ли подвох с конкретными платформами?Поддержка зависит от архитектуры и ОС: например, arm32 на iOS не поддерживается, riscv64 работает только в Linux, а TTS-приложение на Flutter для iOS нужно собирать из исходного кода, готового пакета для неё нет.
Поддержка зависит от архитектуры и ОС: например, arm32 на iOS не поддерживается, riscv64 работает только в Linux, а TTS-приложение на Flutter для iOS нужно собирать из исходного кода, готового пакета для неё нет.Для кого это и где работает?Это для разработчиков, которые создают офлайн-голосовые приложения: от встраиваемых плат (Raspberry Pi, RISC-V, NPU от RK, Axera и Ascend) до мобильных систем (Android, iOS, HarmonyOS), десктопов (Windows, macOS, Linux) и серверов, и всё это без привязки к облаку.
Это для разработчиков, которые создают офлайн-голосовые приложения: от встраиваемых плат (Raspberry Pi, RISC-V, NPU от RK, Axera и Ascend) до мобильных систем (Android, iOS, HarmonyOS), десктопов (Windows, macOS, Linux) и серверов, и всё это без привязки к облаку.Может ли он распознавать речь в реальном времени?Да, поддерживается как потоковое, так и непотоковое распознавание речи, включая живые демо, например распознавание китайского и английского в реальном времени на Zipformer.
Да, поддерживается как потоковое, так и непотоковое распознавание речи, включая живые демо, например распознавание китайского и английского в реальном времени на Zipformer.Можно ли запускать его на NPU вместо CPU/GPU?Да, поддерживаются NPU от Rockchip (RKNN), Qualcomm (QNN), Ascend, Axera и Intel (OpenVINO) для ускоренного инференса.
Да, поддерживаются NPU от Rockchip (RKNN), Qualcomm (QNN), Ascend, Axera и Intel (OpenVINO) для ускоренного инференса.Можно ли запустить в браузере без установки?Да, есть сборки под WebAssembly и демо на Huggingface Spaces для распознавания речи, синтеза речи, VAD, диаризации говорящих, разметки аудио и клонирования голоса, которые работают прямо в браузере.
Да, есть сборки под WebAssembly и демо на Huggingface Spaces для распознавания речи, синтеза речи, VAD, диаризации говорящих, разметки аудио и клонирования голоса, которые работают прямо в браузере.Какие фреймворки поддерживаются для создания приложений?Есть официальная поддержка Flutter и Tauri, а готовые демо-приложения доступны для Android, iOS, Windows, macOS, Linux и веба.
Есть официальная поддержка Flutter и Tauri, а готовые демо-приложения доступны для Android, iOS, Windows, macOS, Linux и веба.What are similar projects?supertonic, moonshine, pyvideotrans, whisper.cpp, vosk-api, neutts, DeepSpeech, Speech
supertonic, moonshine, pyvideotrans, whisper.cpp, vosk-api, neutts, DeepSpeech, SpeechWhich topics is it in?vits, risc-v, text-to-audio, aarch64, speaker-diarization, asr, on-device, edge-ai, voice-cloning, dart, speech-synthesis, embedded-systems
vits, risc-v, text-to-audio, aarch64, speaker-diarization, asr, on-device, edge-ai, voice-cloning, dart, speech-synthesis, embedded-systems