Open-LLM-VTuber README

The project's README from github.com/Open-LLM-VTuber/Open-LLM-VTuber. As one markdown file: README.md.

Open-LLM-VTuber

GitHub release license CodeQL Ruff Docker QQ User Group Static Badge

📢 v2.0 Development: We are focusing on Open-LLM-VTuber v2.0 — a complete rewrite of the codebase. v2.0 is currently in its early discussion and planning phase. We kindly ask you to refrain from opening new issues or pull requests for feature requests on v1. To participate in the v2 discussions or contribute, join our developer community on Zulip. Weekly meeting schedules will be announced on Zulip. We will continue fixing bugs for v1 and work through existing pull requests.

BuyMeACoffee

Ask DeepWiki

ENGLISH README | 中文 README | 한국어 README | 日本語 README

Documentation | Roadmap

Open-LLM-VTuber%2FOpen-LLM-VTuber | Trendshift

常见问题 Common Issues doc (Written in Chinese): https://docs.qq.com/pdf/DTFZGQXdTUXhIYWRq

User Survey: https://forms.gle/w6Y6PiHTZr1nzbtWA

调查问卷(中文): https://wj.qq.com/s2/16150415/f50a/

:warning: This project is in its early stages and is currently under active development.

:warning: If you want to run the server remotely and access it on a different machine, such as running the server on your computer and access it on your phone, you will need to configure https, because the microphone on the front end will only launch in a secure context (a.k.a. https or localhost). See MDN Web Doc. Therefore, you should configure https with a reverse proxy to access the page on a remote machine (non-localhost).

⭐️ What is this project?

Open-LLM-VTuber is a unique voice-interactive AI companion that not only supports real-time voice conversations and visual perception but also features a lively Live2D avatar. All functionalities can run completely offline on your computer!

You can treat it as your personal AI companion — whether you want a virtual girlfriend, boyfriend, cute pet, or any other character, it can meet your expectations. The project fully supports Windows, macOS, and Linux, and offers two usage modes: web version and desktop client (with special support for transparent background desktop pet mode, allowing the AI companion to accompany you anywhere on your screen).

Although the long-term memory feature is temporarily removed (coming back soon), thanks to the persistent storage of chat logs, you can always continue your previous unfinished conversations without losing any precious interactive moments.

In terms of backend support, we have integrated a rich variety of LLM inference, text-to-speech, and speech recognition solutions. If you want to customize your AI companion, you can refer to the Character Customization Guide to customize your AI companion's appearance and persona.

The reason it's called Open-LLM-Vtuber instead of Open-LLM-Companion or Open-LLM-Waifu is because the project's initial development goal was to use open-source solutions that can run offline on platforms other than Windows to recreate the closed-source AI Vtuber neuro-sama.

👀 Demo

✨ Features & Highlights

👥 User Reviews

Thanks to the developer for open-sourcing and sharing the girlfriend for everyone to use

This girlfriend has been used over 100,000 times

🚀 Quick Start

Please refer to the Quick Start section in our documentation for installation.

☝ Update

:warning: v1.0.0 has breaking changes and requires re-deployment. You may still update via the method below, but the conf.yaml file is incompatible and most of the dependencies needs to be reinstalled with uv. For those who came from versions before v1.0.0, I recommend deploy this project again with the latest deployment guide.

Please use uv run update.py to update if you installed any versions later than v1.0.0.

😢 Uninstall

Most files, including Python dependencies and models, are stored in the project folder.

However, models downloaded via ModelScope or Hugging Face may also be in MODELSCOPE_CACHE or HF_HOME. While we aim to keep them in the project's models directory, it's good to double-check.

Review the installation guide for any extra tools you no longer need, such as uv, ffmpeg, or deeplx.

🤗 Want to contribute?

Checkout the development guide.

🎉🎉🎉 Related Projects

ylxmf2005/LLM-Live2D-Desktop-Assitant

📜 Third-Party Licenses

Live2D Sample Models Notice

This project includes Live2D sample models provided by Live2D Inc. These assets are licensed separately under the Live2D Free Material License Agreement and the Terms of Use for Live2D Cubism Sample Data. They are not covered by the MIT license of this project.

This content uses sample data owned and copyrighted by Live2D Inc. The sample data are utilized in accordance with the terms and conditions set by Live2D Inc. (See Live2D Free Material License Agreement and Terms of Use).

Note: For commercial use, especially by medium or large-scale enterprises, the use of these Live2D sample models may be subject to additional licensing requirements. If you plan to use this project commercially, please ensure that you have the appropriate permissions from Live2D Inc., or use versions of the project without these models.

Contributors

Thanks our contributors and maintainers for making this project possible.

Star History

Star History Chart

Open-LLM-VTuber (Open-LLM-VTuber/Open-LLM-VTuber)

Searching Database…

14.2K ·GitHub
Open-LLM-VTuber
Что это такое?Open-LLM-VTuber — это ИИ-компаньон с голосовым управлением и аватаром Live2D, с которым вы разговариваете голосом. Он работает полностью офлайн на вашем компьютере. Поддерживает голосовые беседы в реальном времени, визуальное восприятие (камера/экран) и может быть виртуальной девушкой, парнем, питомцем или своим персонажем.
Это приложение для компьютера, веб-приложение или и то, и другое?Есть два режима использования: веб-версия и настольный клиент. В настольном клиенте есть особый режим настольного питомца с прозрачным фоном, так что аватар может находиться поверх экрана в любом месте.
Как это запустить?Следуйте разделу Quick Start в документации проекта: там описаны установка и развёртывание (для управления зависимостями используется uv).
Нужен ли мне API-ключ или можно работать полностью локально?Можно работать полностью офлайн, используя локальные модели LLM, ASR и TTS (например, Ollama, sherpa-onnx, Faster-Whisper), без интернета и API-ключа. Облачные API, такие как OpenAI, Gemini, Claude или Azure, — необязательная альтернатива для более тяжёлых задач.
Есть ли подводные камни при установке, о которых стоит знать?Если вы хотите получить доступ к серверу удалённо с другого устройства (например, сервер на ПК, клиент на телефоне), нужно настроить HTTPS через обратный прокси, потому что браузеры разрешают доступ к микрофону только в безопасном контексте (HTTPS или localhost). Кроме того, в v1.0.0 появились несовместимые изменения: старый conf.yaml не подходит, и зависимости нужно переустановить с помощью uv.
Нужна ли видеокарта NVIDIA или можно работать на CPU или других видеокартах?Работает как с видеокартами NVIDIA, так и с другими, а также может работать только на CPU или переходить на облачные API для более тяжёлых задач. Некоторые компоненты получают ускорение на GPU и на macOS.
Мои голосовые данные покидают компьютер?Нет. В офлайн-режиме все разговоры остаются на вашем устройстве, поскольку модели работают локально и подключение к интернету не требуется.
Можно ли использовать модели аватаров Live2D в коммерческих целях бесплатно?Код проекта распространяется по лицензии MIT, но входящие примеры моделей Live2D подпадают под отдельную Live2D Free Material License. Для коммерческого использования может понадобиться дополнительное разрешение от Live2D Inc., особенно для средних и крупных компаний.
Почему он называется «VTuber», а не «Companion» или «Waifu»?Изначальная цель проекта — с помощью открытых инструментов, способных работать офлайн, воссоздать закрытого ИИ-VTuber Neuro-sama, который и вдохновил название VTuber.
Может ли он перебивать сам себя или по ошибке слышать собственный голос?Нет. Он поддерживает прерывание голосом без наушников, то есть ИИ не будет улавливать и реагировать на собственную озвученную речь.
Могу ли я настроить аватар и его голос?Да, можно импортировать свои модели Live2D, задавать характер персонажа через правки в промпте и даже клонировать голос, чтобы у компаньона был свой голос.
Он помнит прошлые разговоры?Долговременная память временно удалена, и её планируют вернуть. Но журналы чатов сохраняются, поэтому можно возобновить незавершённые беседы.
What are similar projects?airi, lipflow, InternalBeyond-Mobile, B, pipecat, leon, Dodaios, jargo
Which topics is it in?chatbots, ai-companion, desktop-pet, voice-assistant, speech-recognition, offline-first, text-to-speech, ollama, chatbot, computer-vision, local-first, gpu
Creator
Open-LLM-VTuber
Size
45.6 MB
Stars
14.2K
Updated
CommitMay 15Releasev1.2.1Aug 26
Age
2y
Commits · 90 Days