xiaozhi-esp32 README

The project's README from github.com/78/xiaozhi-esp32. As one markdown file: README.md.

An MCP-based Chatbot

(English | 中文 | 日本語)

Introduction

👉 Human: Give AI a camera vs AI: Instantly finds out the owner hasn't washed hair for three days【bilibili】

👉 Handcraft your AI girlfriend, beginner's guide【bilibili】

As a voice interaction entry, the XiaoZhi AI chatbot leverages the AI capabilities of large models like Qwen / DeepSeek, and achieves multi-terminal control via the MCP protocol.

Control everything via MCP

Recent Updates

Features Implemented

Hardware

Breadboard DIY Practice

See the Feishu document tutorial:

👉 "XiaoZhi AI Chatbot Encyclopedia"

Breadboard demo:

Breadboard Demo

Supports 138 Board Directories and 171 Release Variants (Partial List)

Software

Firmware Flashing

For beginners, it is recommended to use the firmware that can be flashed without setting up a development environment.

The firmware connects to the official xiaozhi.me server by default. Personal users can register an account to use the Qwen real-time model for free.

👉 Beginner's Firmware Flashing Guide

Development Environment

Developer Documentation

Large Model Configuration

If you already have a XiaoZhi AI chatbot device and have connected to the official server, you can log in to the xiaozhi.me console for configuration.

👉 Backend Operation Video Tutorial (Old Interface)

For server deployment on personal computers, refer to the following open-source projects:

Other client projects using the XiaoZhi communication protocol:

Custom Assets Tools:

About the Project

This is an open-source ESP32 project, released under the MIT license, allowing anyone to use it for free, including for commercial purposes.

We hope this project helps everyone understand AI hardware development and apply rapidly evolving large language models to real hardware devices.

If you have any ideas or suggestions, please feel free to raise Issues or join our Discord or QQ group: 1095994019

Star History

Star History Chart

xiaozhi-esp32 (78/xiaozhi-esp32)

Searching Database…

Что это такое?XiaoZhi — это open-source прошивка для чипов ESP32, которая превращает недорогую плату микроконтроллера в голосового ИИ-чатбота. С помощью MCP ИИ может управлять устройствами и облачными сервисами.
Это приложение, которое ставится на телефон, или прошивка, которую нужно записать в чип?Это прошивка на C++, которая работает прямо на чипах семейства ESP32. Приложения для телефона здесь нет, хотя серверы и клиенты существуют как отдельные проекты.
Как запустить устройство с этим ПО?Новички могут прошить готовый бинарный файл прошивки без настройки среды разработки. По умолчанию устройство подключается к официальному серверу xiaozhi.me, а персональные пользователи получают бесплатный доступ к модели Qwen в реальном времени после регистрации аккаунта.
Одинаково ли компилируется прошивка в Windows и Linux?Работает в обеих системах, но рекомендуется Linux: там сборка идёт быстрее и меньше проблем с драйверами, чем в Windows.
Какие чипы ESP32 поддерживаются?ESP32, ESP32-C3, ESP32-C5, ESP32-C6, ESP32-S3 и ESP32-P4. Поддержка охватывает 138 директорий с платами и 171 вариант релиза.
Нужен ли интернет или можно работать полностью офлайн?Базовое распознавание ключевого слова работает офлайн через ESP-SR. Однако для работы чата (ASR/LLM/TTS) нужно подключение к серверу (официальному xiaozhi.me или собственному) по WebSocket или MQTT+UDP.
Что устройство реально может контролировать через MCP?MCP на стороне устройства позволяет ИИ управлять локальным железом: динамиками, светодиодами, сервоприводами и GPIO. MCP в облаке расширяет возможности модели на управление умным домом, работу с рабочим столом ПК, поиск по базе знаний и электронную почту.
Можно ли запустить свой сервер вместо официального xiaozhi.me?Да. Сообщество поддерживает альтернативные серверные реализации на Python, Java и Go, которые работают по тому же протоколу XiaoZhi. Они перечислены в разделе «Related Open Source Projects».
Поддерживаются ли языки, кроме китайского?Да. Прошивка включает 39 языков интерфейса. Там, где есть, используются локализованные голосовые подсказки, а в остальных случаях — английский.
Creator
78
Size
11.4 MB
Stars
31.3K
Age
2y
Commits · 90 Days