As a voice interaction entry, the XiaoZhi AI chatbot leverages the AI capabilities of large models like Qwen / DeepSeek, and achieves multi-terminal control via the MCP protocol.
Recent Updates
The project now requires ESP-IDF v6.0.1 or later. ESP-IDF v6.1 is the recommended SDK. ESP-IDF 5.x is no longer supported. The current matrix contains 171 variants; ESP32-S31 builds require IDF 6.1 or later.
MQTT and BluFi cryptographic code has migrated to PSA Crypto. IDF 6 component splits and third-party dependency compatibility have also been addressed.
Audio pipeline concurrency, MQTT/UDP packet validation, and release-matrix selection have been hardened.
ESP32-P4 Rev1 and Rev3 are both supported on IDF 6 with ESP-SR 2.4.7.
Features Implemented
Wi-Fi, wired Ethernet, USB RNDIS, and ML307/EC801E or NT26 Cat.1 4G networking; supported boards can switch between Wi-Fi and 4G
Offline voice wake-up with ESP-SR, including customizable wake words
Что это такое?XiaoZhi — это open-source прошивка для чипов ESP32, которая превращает недорогую плату микроконтроллера в голосового ИИ-чатбота. С помощью MCP ИИ может управлять устройствами и облачными сервисами.
Это приложение, которое ставится на телефон, или прошивка, которую нужно записать в чип?Это прошивка на C++, которая работает прямо на чипах семейства ESP32. Приложения для телефона здесь нет, хотя серверы и клиенты существуют как отдельные проекты.
Как запустить устройство с этим ПО?Новички могут прошить готовый бинарный файл прошивки без настройки среды разработки. По умолчанию устройство подключается к официальному серверу xiaozhi.me, а персональные пользователи получают бесплатный доступ к модели Qwen в реальном времени после регистрации аккаунта.
Одинаково ли компилируется прошивка в Windows и Linux?Работает в обеих системах, но рекомендуется Linux: там сборка идёт быстрее и меньше проблем с драйверами, чем в Windows.
Какие чипы ESP32 поддерживаются?ESP32, ESP32-C3, ESP32-C5, ESP32-C6, ESP32-S3 и ESP32-P4. Поддержка охватывает 138 директорий с платами и 171 вариант релиза.
Нужен ли интернет или можно работать полностью офлайн?Базовое распознавание ключевого слова работает офлайн через ESP-SR. Однако для работы чата (ASR/LLM/TTS) нужно подключение к серверу (официальному xiaozhi.me или собственному) по WebSocket или MQTT+UDP.
Что устройство реально может контролировать через MCP?MCP на стороне устройства позволяет ИИ управлять локальным железом: динамиками, светодиодами, сервоприводами и GPIO. MCP в облаке расширяет возможности модели на управление умным домом, работу с рабочим столом ПК, поиск по базе знаний и электронную почту.
Можно ли запустить свой сервер вместо официального xiaozhi.me?Да. Сообщество поддерживает альтернативные серверные реализации на Python, Java и Go, которые работают по тому же протоколу XiaoZhi. Они перечислены в разделе «Related Open Source Projects».
Поддерживаются ли языки, кроме китайского?Да. Прошивка включает 39 языков интерфейса. Там, где есть, используются локализованные голосовые подсказки, а в остальных случаях — английский.