Cornelius README

README проекта с github.com/lfpoulain/Cornelius. Одним файлом markdown: README.md.

Cornelius, le miroir intelligent de la famille

Un miroir qui vous reconnaît, vous écoute et vous répond, en français.

Vu sur YouTube : Les Frères Poulain

Linux et Windows Node.js 24 Python 3.12 En français Licence PolyForm Noncommercial 1.0.0

Fonctionnalités · Installer · Premiers pas · Documentation · Confidentialité · Licence


Cornelius transforme un écran, tel quel ou glissé derrière un miroir sans tain, en assistant pour toute la famille. Il reconnaît qui se présente devant lui, ouvre la conversation quand on le regarde ou qu’on l’appelle par son nom, et répond à la voix avec des cartes qui s’affichent sur le miroir : la météo, le prochain bus, la lumière du salon, un souvenir, une image…

Par défaut, la caméra, les visages et l’écoute du mot d’appel restent sur le serveur Cornelius. En option, la caméra du navigateur envoie ses images au serveur sur le réseau local chiffré, pour la même analyse locale. Seule la conversation passe par OpenAI, et seulement quand elle est ouverte.

✨ Ce que fait Cornelius

🗣️ Il converse à la voix

En français, avec une voix naturelle, et affiche ses réponses sous forme de cartes sur le miroir.

👋 Il sait quand on lui parle

Il ouvre la conversation quand une personne se présente, le regarde ou dit « Cornelius ». Le modèle du mot d’appel est fourni et tourne en local.

🙂 Il reconnaît le foyer

Les visages sont reconnus sur l’ordinateur lui-même, avec un mode vie privée quand plusieurs personnes sont devant le miroir.

🌤️ Il informe d’un coup d’œil

L’heure, la météo et les prochains passages de bus ou de RER, à la demande ou affichés en permanence.

🏠 Il commande la maison

Avec Home Assistant ou des commandes HTTP, et il confie les tâches longues à des agents Hermes.

🧠 Il se souvient

Des souvenirs propres à chaque personne, que chacun peut consulter, corriger ou effacer.

👁️ Il voit et il dessine

En option, il décrit ce que montre la caméra et crée des images, sur l’ordinateur ou avec OpenAI, puis les envoie par e-mail sur le téléphone de la famille.

🧩 Il s’enrichit

Des modules ajoutent de nouvelles informations et de nouveaux outils vocaux. Les modules externes vivent dans cornelius-modules et se mettent à jour à part.

🖼️ Il expose de l’art au repos

Quand personne n’est là, le miroir affiche des peintures du domaine public ou vos photos ; l’orbe les efface à votre retour.

📡 Il répond dans les autres pièces

Des satellites audio (micro et haut-parleur) répondent à « Cornelius » ailleurs dans la maison.

🧰 Ce qu’il faut

💻 Ordinateur x86-64 ou ARM64 sous Linux (Debian, Ubuntu, Arch ou une dérivée), Windows 10 et 11, ou un Raspberry Pi 4 ou 5 sous Raspberry Pi OS 64 bits (sans vision locale ni images locales)
🎥 Matériel une webcam, un micro, des haut-parleurs et un écran (seul, ou derrière un miroir sans tain)
🛠️ Logiciels Node.js 24 (24.2 ou plus récent), Python 3.12 et Git
🔑 Clé OpenAI d’un compte payant : sans elle, Cornelius ne peut pas parler
➕ En option une carte graphique pour la vision et les images, un jeton Météo Concept pour la météo, un jeton PRIM pour les transports d’Île-de-France, des satellites audio (Waveshare ESP32-S3-AUDIO-Board) pour parler à Cornelius depuis d’autres pièces

🚀 Installer

🐧 Linux

Récupérez les outils de base et le code (sur Arch : sudo pacman -S git curl unzip) :

sudo apt install git curl unzip
git clone https://github.com/lfpoulain/Cornelius.git
cd Cornelius
node --version

[!TIP] Si la dernière commande n’affiche pas v24.2 ou plus récent dans la version 24 (cas d’Ubuntu et Debian), installez fnm, un gestionnaire de versions de Node.js sans droits administrateur, puis ouvrez un nouveau terminal et revenez dans le dossier :

curl -fsSL https://fnm.vercel.app/install | bash

Lancez ensuite l’installation. Elle installe Node.js 24 avec fnm, les dépendances, la perception et ses modèles, puis crée deux services qui démarrent avec la session :

scripts/install-linux.sh --system-deps --systemd

Sans l’option --systemd, démarrez ensuite avec scripts/start.sh. Toutes les options : Installer sous Linux.

🪟 Windows

Il n’y a pas d’installateur : l’installation se fait en une dizaine de commandes PowerShell. Suivez Installer sous Windows.

🏠 Home Assistant

Avec Home Assistant OS, Cornelius peut tourner comme add-on sur la box, le miroir s’affichant sur un autre appareil. Ajoutez le dépôt cornelius-ha à la boutique de Home Assistant, puis suivez Installer dans Home Assistant.

🔑 Après l’installation

Ouvrez l’administration et collez votre clé OpenAI dans Mise en route → Clés et jetons : elle compte tout de suite.

[!IMPORTANT] Le mot de passe de départ de l’administration est cornelius. Changez-le tout de suite dans Mise en route → Mot de passe administrateur.

▶️ Lancer

Avec les services systemd sous Linux, Cornelius démarre tout seul. Sinon, utilisez les scripts :

Action Linux Windows (PowerShell)
Démarrer scripts/start.sh powershell -ExecutionPolicy Bypass -File scripts\start.ps1
Arrêter scripts/stop.sh powershell -ExecutionPolicy Bypass -File scripts\stop.ps1
Redémarrer scripts/restart.sh powershell -ExecutionPolicy Bypass -File scripts\restart.ps1
Avec systemd systemctl --user restart cornelius cornelius-perception

start compile l’interface si besoin, puis lance le serveur et la perception (le programme local qui lit la caméra et écoute le mot d’appel).

Ouvrez ensuite, dans un navigateur de la même machine :

Adresse
🪞 Le miroir http://127.0.0.1:3000/ Touchez Activer la voix, puis passez en plein écran avec F11.
⚙️ L’administration http://127.0.0.1:3000/admin La rubrique Mise en route indique ce qu’il reste à faire.

📱 Depuis un téléphone ou un autre ordinateur de la maison, utilisez https://<adresse de l’ordinateur>:3443/ : voir Accès depuis le réseau local.

👣 Premiers pas

  1. Connectez-vous à l’administration et lisez la rubrique Mise en route.
  2. Choisissez la caméra dans Caméra et reconnaissance.
  3. Cliquez sur Activer et ouvrir le miroir et acceptez l’accès au micro.
  4. Ajoutez les personnes du foyer et mémorisez leur visage dans Le foyer et les visages.
  5. Choisissez ce qui ouvre la conversation dans Quand il écoute, puis dites « Cornelius » !

Le pas à pas complet est dans Premier démarrage.

📚 Documentation

Toute la documentation part de l’index.

Installer Linux · Raspberry Pi · Windows · Home Assistant · Carte graphique
Utiliser Le miroir · L’administration · Dépannage
Fonctionnalités Ouverture et présence · Mot d’appel · Mémoire · Home Assistant · Agents Hermes · Vision locale · Images · E-mail
Modules Les utiliser · Le contrat · En créer un (dépôt cornelius-modules)
Développer Développement · Architecture · Contribuer · Historique
Référence Configuration · Confidentialité · Licences · Glossaire

🔒 Confidentialité

[!CAUTION] Le dossier data/ (base de données, signatures des visages, souvenirs) et le fichier .env ne doivent jamais être publiés.

Le détail est dans Confidentialité.

🎙️ Le mot d’appel « Cornelius »

Le modèle qui reconnaît « Cornelius » est fourni dans models/cornelius.onnx, prêt à l’emploi. Il a été entraîné à partir de voix françaises de synthèse avec wakeword-generator, notre générateur de mots d’appel en français, publié à part. Vous pouvez vous en servir pour entraîner votre propre version, ou un tout autre mot.

📜 Licence

Cornelius est distribué sous la PolyForm Noncommercial License 1.0.0.

✅ Permis ❌ Interdit
L’utiliser, le partager et le modifier pour un usage non commercial (personnel, associatif, éducatif, recherche), en gardant la ligne Required Notice du fichier LICENSE Tout usage commercial, sauf accord écrit des auteurs

Ce n’est pas une licence « open source » au sens de l’OSI, puisqu’elle exclut l’usage commercial. Les bibliothèques, polices et modèles utilisés gardent leur propre licence : voir THIRD_PARTY_NOTICES.md et Licences. Le modèle du mot d’appel est sous CC BY-NC-SA 4.0 (voir models/cornelius.onnx.LICENSE).


Fait avec ❤️ par Les Frères Poulain

Si le projet vous plaît, laissez une ⭐ au dépôt et passez voir la chaîne !

Cornelius (lfpoulain/Cornelius)

Ищем в базе…

Что это такое?Cornelius превращает экран (обычный или спрятанный за односторонним зеркалом) в семейного помощника: он узнаёт, кто перед ним стоит, начинает разговор, когда на него смотрят или называют его имя, и отвечает по-французски, показывая карточки с погодой, расписанием автобусов, управлением освещением дома, воспоминаниями или изображениями.
Это облачный сервис или программа, которую я запускаю сам?Это программа с собственным развёртыванием: вы устанавливаете и запускаете её на своём компьютере под Linux или Windows, подключив веб-камеру, микрофон, динамики и экран (при желании установленный за односторонним зеркалом). Это не облачный продукт.
Как установить и запустить это?В Linux нужно установить git, curl и unzip, клонировать репозиторий и запустить скрипт установки. Он настроит Node.js 24 через fnm, зависимости и модели распознавания, а затем создаст две службы, которые запускаются вместе с сеансом. В Windows установщика нет, потребуется около десятка команд PowerShell.
Что нужно установить перед установкой?Node.js 24 (версии 24.2 и выше), Python 3.12 и Git, а также ключ API OpenAI из платного аккаунта. Без этого ключа Cornelius вообще не сможет говорить.
Работает ли это на Mac?Нет. В списке поддерживаемых систем только 64-битный Linux на архитектуре x86-64 (Debian, Ubuntu, Arch или их производные) и Windows 10/11. Поддержка macOS нигде не упоминается.
Куда попадают данные с моей камеры и голос?По умолчанию видеопоток с камеры, биометрические признаки лиц и прослушивание ключевого слова остаются на сервере Cornelius. В OpenAI отправляется только сам открытый разговор, а аудио, изображения и расшифровки на диск не сохраняются.
Можно ли использовать это в коммерческих целях?Нет. Программа распространяется по лицензии PolyForm Noncommercial License 1.0.0, которая разрешает личное, некоммерческое, образовательное и исследовательское использование, но запрещает любое коммерческое использование без письменного согласия авторов.
Как он понимает, что к нему обращаются?Он начинает разговор, когда перед ним появляется человек, когда на него смотрят или когда произносят «Cornelius». Модель распознавания ключевого слова работает полностью локально на компьютере.
Можно ли управлять умным домом?Да, через Home Assistant или HTTP-команды. Более длинные задачи он может передавать агентам Hermes.
Что показывает зеркало, когда никого нет рядом?Оно показывает картины, свободные от авторских прав, или ваши собственные фотографии как фоновое искусство и автоматически убирает их, когда кто-то возвращается.
Можно ли разговаривать с Cornelius из других комнат?Да. Дополнительные аудиоспутники на базе ESP32-S3-AUDIO-Board (микрофон и динамик) позволяют обращаться к «Cornelius» из любой другой части дома.
Какие есть похожие проекты?EchoMuse, techo5, kiosk-satellite, echo-dot-assist, hermes-voice, localthings, frigate, Tasmota
Автор
lfpoulain
Размер
1.7 MB
Звёзды
466
Возраст
1 мес
Коммиты · 90 дней