Cornelius README

项目的 README,来自 github.com/lfpoulain/Cornelius。合并为一个 markdown 文件:README.md。

Cornelius, le miroir intelligent de la famille

Un miroir qui vous reconnaît, vous écoute et vous répond, en français.

Vu sur YouTube : Les Frères Poulain

Linux et Windows Node.js 24 Python 3.12 En français Licence PolyForm Noncommercial 1.0.0

Fonctionnalités · Installer · Premiers pas · Documentation · Confidentialité · Licence


Cornelius transforme un écran, tel quel ou glissé derrière un miroir sans tain, en assistant pour toute la famille. Il reconnaît qui se présente devant lui, ouvre la conversation quand on le regarde ou qu’on l’appelle par son nom, et répond à la voix avec des cartes qui s’affichent sur le miroir : la météo, le prochain bus, la lumière du salon, un souvenir, une image…

Par défaut, la caméra, les visages et l’écoute du mot d’appel restent sur le serveur Cornelius. En option, la caméra du navigateur envoie ses images au serveur sur le réseau local chiffré, pour la même analyse locale. Seule la conversation passe par OpenAI, et seulement quand elle est ouverte.

✨ Ce que fait Cornelius

🗣️ Il converse à la voix

En français, avec une voix naturelle, et affiche ses réponses sous forme de cartes sur le miroir.

👋 Il sait quand on lui parle

Il ouvre la conversation quand une personne se présente, le regarde ou dit « Cornelius ». Le modèle du mot d’appel est fourni et tourne en local.

🙂 Il reconnaît le foyer

Les visages sont reconnus sur l’ordinateur lui-même, avec un mode vie privée quand plusieurs personnes sont devant le miroir.

🌤️ Il informe d’un coup d’œil

L’heure, la météo et les prochains passages de bus ou de RER, à la demande ou affichés en permanence.

🏠 Il commande la maison

Avec Home Assistant ou des commandes HTTP, et il confie les tâches longues à des agents Hermes.

🧠 Il se souvient

Des souvenirs propres à chaque personne, que chacun peut consulter, corriger ou effacer.

👁️ Il voit et il dessine

En option, il décrit ce que montre la caméra et crée des images, sur l’ordinateur ou avec OpenAI, puis les envoie par e-mail sur le téléphone de la famille.

🧩 Il s’enrichit

Des modules ajoutent de nouvelles informations et de nouveaux outils vocaux. Les modules externes vivent dans cornelius-modules et se mettent à jour à part.

🖼️ Il expose de l’art au repos

Quand personne n’est là, le miroir affiche des peintures du domaine public ou vos photos ; l’orbe les efface à votre retour.

📡 Il répond dans les autres pièces

Des satellites audio (micro et haut-parleur) répondent à « Cornelius » ailleurs dans la maison.

🧰 Ce qu’il faut

💻 Ordinateur x86-64 ou ARM64 sous Linux (Debian, Ubuntu, Arch ou une dérivée), Windows 10 et 11, ou un Raspberry Pi 4 ou 5 sous Raspberry Pi OS 64 bits (sans vision locale ni images locales)
🎥 Matériel une webcam, un micro, des haut-parleurs et un écran (seul, ou derrière un miroir sans tain)
🛠️ Logiciels Node.js 24 (24.2 ou plus récent), Python 3.12 et Git
🔑 Clé OpenAI d’un compte payant : sans elle, Cornelius ne peut pas parler
➕ En option une carte graphique pour la vision et les images, un jeton Météo Concept pour la météo, un jeton PRIM pour les transports d’Île-de-France, des satellites audio (Waveshare ESP32-S3-AUDIO-Board) pour parler à Cornelius depuis d’autres pièces

🚀 Installer

🐧 Linux

Récupérez les outils de base et le code (sur Arch : sudo pacman -S git curl unzip) :

sudo apt install git curl unzip
git clone https://github.com/lfpoulain/Cornelius.git
cd Cornelius
node --version

[!TIP] Si la dernière commande n’affiche pas v24.2 ou plus récent dans la version 24 (cas d’Ubuntu et Debian), installez fnm, un gestionnaire de versions de Node.js sans droits administrateur, puis ouvrez un nouveau terminal et revenez dans le dossier :

curl -fsSL https://fnm.vercel.app/install | bash

Lancez ensuite l’installation. Elle installe Node.js 24 avec fnm, les dépendances, la perception et ses modèles, puis crée deux services qui démarrent avec la session :

scripts/install-linux.sh --system-deps --systemd

Sans l’option --systemd, démarrez ensuite avec scripts/start.sh. Toutes les options : Installer sous Linux.

🪟 Windows

Il n’y a pas d’installateur : l’installation se fait en une dizaine de commandes PowerShell. Suivez Installer sous Windows.

🏠 Home Assistant

Avec Home Assistant OS, Cornelius peut tourner comme add-on sur la box, le miroir s’affichant sur un autre appareil. Ajoutez le dépôt cornelius-ha à la boutique de Home Assistant, puis suivez Installer dans Home Assistant.

🔑 Après l’installation

Ouvrez l’administration et collez votre clé OpenAI dans Mise en route → Clés et jetons : elle compte tout de suite.

[!IMPORTANT] Le mot de passe de départ de l’administration est cornelius. Changez-le tout de suite dans Mise en route → Mot de passe administrateur.

▶️ Lancer

Avec les services systemd sous Linux, Cornelius démarre tout seul. Sinon, utilisez les scripts :

Action Linux Windows (PowerShell)
Démarrer scripts/start.sh powershell -ExecutionPolicy Bypass -File scripts\start.ps1
Arrêter scripts/stop.sh powershell -ExecutionPolicy Bypass -File scripts\stop.ps1
Redémarrer scripts/restart.sh powershell -ExecutionPolicy Bypass -File scripts\restart.ps1
Avec systemd systemctl --user restart cornelius cornelius-perception

start compile l’interface si besoin, puis lance le serveur et la perception (le programme local qui lit la caméra et écoute le mot d’appel).

Ouvrez ensuite, dans un navigateur de la même machine :

Adresse
🪞 Le miroir http://127.0.0.1:3000/ Touchez Activer la voix, puis passez en plein écran avec F11.
⚙️ L’administration http://127.0.0.1:3000/admin La rubrique Mise en route indique ce qu’il reste à faire.

📱 Depuis un téléphone ou un autre ordinateur de la maison, utilisez https://<adresse de l’ordinateur>:3443/ : voir Accès depuis le réseau local.

👣 Premiers pas

  1. Connectez-vous à l’administration et lisez la rubrique Mise en route.
  2. Choisissez la caméra dans Caméra et reconnaissance.
  3. Cliquez sur Activer et ouvrir le miroir et acceptez l’accès au micro.
  4. Ajoutez les personnes du foyer et mémorisez leur visage dans Le foyer et les visages.
  5. Choisissez ce qui ouvre la conversation dans Quand il écoute, puis dites « Cornelius » !

Le pas à pas complet est dans Premier démarrage.

📚 Documentation

Toute la documentation part de l’index.

Installer Linux · Raspberry Pi · Windows · Home Assistant · Carte graphique
Utiliser Le miroir · L’administration · Dépannage
Fonctionnalités Ouverture et présence · Mot d’appel · Mémoire · Home Assistant · Agents Hermes · Vision locale · Images · E-mail
Modules Les utiliser · Le contrat · En créer un (dépôt cornelius-modules)
Développer Développement · Architecture · Contribuer · Historique
Référence Configuration · Confidentialité · Licences · Glossaire

🔒 Confidentialité

[!CAUTION] Le dossier data/ (base de données, signatures des visages, souvenirs) et le fichier .env ne doivent jamais être publiés.

Le détail est dans Confidentialité.

🎙️ Le mot d’appel « Cornelius »

Le modèle qui reconnaît « Cornelius » est fourni dans models/cornelius.onnx, prêt à l’emploi. Il a été entraîné à partir de voix françaises de synthèse avec wakeword-generator, notre générateur de mots d’appel en français, publié à part. Vous pouvez vous en servir pour entraîner votre propre version, ou un tout autre mot.

📜 Licence

Cornelius est distribué sous la PolyForm Noncommercial License 1.0.0.

✅ Permis ❌ Interdit
L’utiliser, le partager et le modifier pour un usage non commercial (personnel, associatif, éducatif, recherche), en gardant la ligne Required Notice du fichier LICENSE Tout usage commercial, sauf accord écrit des auteurs

Ce n’est pas une licence « open source » au sens de l’OSI, puisqu’elle exclut l’usage commercial. Les bibliothèques, polices et modèles utilisés gardent leur propre licence : voir THIRD_PARTY_NOTICES.md et Licences. Le modèle du mot d’appel est sous CC BY-NC-SA 4.0 (voir models/cornelius.onnx.LICENSE).


Fait avec ❤️ par Les Frères Poulain

Si le projet vous plaît, laissez une ⭐ au dépôt et passez voir la chaîne !

Cornelius (lfpoulain/Cornelius)

正在搜索数据库…

这是什么?Cornelius 能把一块屏幕(普通屏幕,或藏在单向镜后面的屏幕)变成家庭助手:它能认出站在它面前的人,当你看向它或叫它的名字时开始对话,并用法语回答,同时以卡片形式显示天气、公交时刻、家庭照明、回忆或图片。
这是云服务,还是要我自己运行的软件?这是自托管软件,你需要在自己的 Linux 或 Windows 电脑上安装并运行,并连接摄像头、麦克风、扬声器和屏幕(可选择安装在单向镜后面),而不是托管的云端产品。
我该怎么安装并运行它?在 Linux 上,先安装 git、curl 和 unzip,克隆代码仓库,然后运行安装脚本。脚本会通过 fnm 安装 Node.js 24、依赖项和感知模型,并创建两个随会话启动的服务。Windows 没有安装程序,需要运行十来条 PowerShell 命令。
安装前我需要准备什么?Node.js 24(24.2 及以上版本)、Python 3.12 和 Git,还需要一个付费账户的 OpenAI API 密钥——没有这个密钥,Cornelius 完全无法说话。
它能在 Mac 上运行吗?不能——目前只支持 x86-64 架构的 Linux(Debian、Ubuntu、Arch 或其衍生版)和 Windows 10/11,文档中没有提到支持 macOS。
我的摄像头和语音数据会去哪里?默认情况下,摄像头画面、人脸特征和唤醒词监听都留在 Cornelius 服务器上;只有正在进行的对话内容会发送给 OpenAI,并且不会以音频、图像或文字稿的形式存入磁盘。
我能把它用于商业用途吗?不能——它采用 PolyForm Noncommercial License 1.0.0 许可证发布,允许个人、非营利、教育和研究用途,但未经作者书面同意,禁止任何商业用途。
它怎么知道有人在和它说话?当有人出现在它面前、看向它,或者说出“Cornelius”时,它就会开始对话;唤醒词模型完全在本机上运行。
它能控制智能家居设备吗?可以,通过 Home Assistant 或 HTTP 命令实现,并且可以把较长的任务交给 Hermes 智能体处理。
没有人的时候,镜子会显示什么?它会显示公共领域的画作或你自己的照片作为待机艺术画面,有人回来时会自动清除这些内容。
我能在其他房间和 Cornelius 说话吗?可以——可选的 ESP32-S3-AUDIO-Board 音频卫星(带麦克风和扬声器)可以让你在家中其他地方呼叫“Cornelius”。
作者
lfpoulain
大小
1.7 MB
星标
466
时长
1个月
提交 · 90 天