subvox README

README проекта с github.com/joeblau/subvox. Одним файлом markdown: README.md.

Subvox

A macOS prototype that tests whether AirPods Pro head-motion data (CMHeadphoneMotionManager) carries enough information to turn silently mouthed words into text.

It doesn't use a language model. It's a small-vocabulary template recognizer plus a statistical test that tells you whether the signal is real.

Build & run

brew install xcodegen   # once
xcodegen generate
open Subvox.xcodeproj   # ⌘R

Or from the command line:

xcodebuild -project Subvox.xcodeproj -scheme Subvox -derivedDataPath build -allowProvisioningUpdates build
open build/Build/Products/Debug/Subvox.app
xcodebuild -project Subvox.xcodeproj -scheme Subvox -derivedDataPath build test

Requires macOS 14+, AirPods Pro or another headphone that supports head tracking, connected as the Mac's audio output. On first launch, grant Motion. The mic and speech prompts only appear when you start the mic.

Screens

Screen What it does
Sensors Live plots of user acceleration, rotation rate and attitude, the measured sample rate, a mic input picker and level meter, and a recorder for experiment sessions.
Train Pick a word, hold Space, mouth it, release. Each take is stored as a template. Evaluate runs leave-one-out classification and a 500× label-permutation test, then shows accuracy against chance, a p-value and a confusion matrix. The feature checkboxes (acceleration / rotation / attitude) let you test which channels carry the signal.
Decode The motion-to-text screen. Hold Space, or use auto-detect after calibrating the noise floor. Each segment is DTW-matched against your templates and added to the transcript. A live mic transcript runs alongside it for comparison.

How decoding works

  1. Segmentation (CaptureController). Space-hold, or an energy trigger above a calibrated noise floor with pre-roll and hangover.
  2. Features (MotionFeatures). Per frame: user acceleration (3), rotation rate (3), and attitude change since the start of the segment (3). Each channel is mean-centered, and quiet lead-in and lead-out frames are trimmed.
  3. Matching (DTW, TemplateClassifier). Each channel is z-scaled across the training set. Matching is 1-nearest-neighbour per word, using dynamic time warping with a Sakoe–Chiba band. A segment is rejected if the best distance is above max distance or the margin to the runner-up is below min confidence.
  4. Is it real? (Evaluation). The leave-one-out accuracy is compared with the same procedure run on shuffled labels. If p < 0.05, the motion stream distinguishes your words better than chance.

Experiment protocol

Use Record Session in the toolbar or on the Sensors screen. Recordings go to ~/Documents/Subvox/Sessions/<timestamp>-<condition>/:

Suggested runs: the same 5-word script under Normal speech, Whisper and Silent mouthing, 10 reps each. Then, in Train, compare the Evaluate results across feature sets.

The training set lives at ~/Library/Application Support/Subvox/dataset.json.

Known limits

subvox (joeblau/subvox)

Ищем в базе…

839 ·GitHub
Что это такое?Subvox — исследовательский прототип для macOS, который проверяет, достаточно ли данных о движении головы с AirPods Pro (через CMHeadphoneMotionManager), чтобы распознавать беззвучно проговариваемые слова и превращать их в текст.
Это готовый продукт или эксперимент?Это экспериментальный исследовательский инструмент, а не готовый продукт: распознаватель по шаблонам для небольшого словаря в сочетании с тестом статистической значимости. Языковая модель здесь не используется вообще.
Как его собрать и запустить?Соберите и запустите его в Xcode или через командную строку на macOS. При первом запуске вы даёте разрешение на доступ к Motion, а запросы на доступ к микрофону и распознаванию речи появляются только тогда, когда вы действительно включаете микрофон.
Какое оборудование нужно для работы?Нужен Mac с macOS 14 или новее и AirPods Pro или другие наушники с поддержкой отслеживания движения головы, подключённые как аудиовыход Mac.
Насколько надёжно распознавание беззвучной речи?Датчики движения в наушниках работают с низкой частотой (примерно 25 Гц у AirPods) и улавливают только движения челюсти и головы, но не реальные голосовые вибрации. Поэтому шаблоны распознавания зависят от пользователя и сеанса и могут смещаться, если вы заново вставите AirPods в уши.
Использует ли это ИИ или языковую модель для распознавания слов?Нет. Subvox опирается на распознаватель по шаблонам для небольшого словаря с динамической деформацией времени (DTW), а не на языковую модель. Он даже запускает перестановочный тест, чтобы проверить, что распознавание действительно работает.
Какие данные создаёт сеанс обучения или распознавания?Каждый сеанс сохраняет motion.csv (все отсчёты движения), audio.caf (звук с микрофона, если он был включён), events.csv (каждый сегмент с его меткой или предсказанием) и meta.json. Обученные шаблоны слов хранятся в ~/Library/Application Support/Subvox/dataset.json.
Как понять, что найденный сигнал статистически значим?На экране Train точность классификации по методу leave-one-out сравнивается с той же процедурой, запущенной на 500 перетасованных наборах меток. Так вы получаете сравнение точности со случайным уровнем, p-значение и матрицу ошибок (confusion matrix).
Какие есть похожие проекты?mactap-app, stats, kinesis, caplo, EchoMuse, jot-gemini-transcribe-macOS, openhaystack, pyannote-audio
Автор
joeblau
Размер
<0.1 MB
Звёзды
839
Обновлён
КоммитOct 31
Возраст
18 д
Коммиты · 90 дней