chimera-vocal-synth README

README проекта с github.com/jamesondh/chimera-vocal-synth. Одним файлом markdown: README.md.

CHIMERA

A physical-modeling voice synthesizer in the browser. Every sound comes from a simulated airway (lungs, vocal folds or syrinx, a branched vocal tract, lips, nose), not from samples. The engine is Rust, compiled to WebAssembly for an AudioWorklet; the same code runs natively for tests and the chimera CLI.

Vision & scope

  1. One instrument: a physically modeled voice (lungs, vocal folds, throat, mouth). No samples, no neural audio.
  2. The web app is the primary surface: anyone should be able to make songs in it without an LLM's help. Mobile is the likely next surface. The plugin (CLAP/VST3/AU) still ships, but it's secondary.
  3. As realistic as we can make it: the main push is to see how close the simulation gets to a real voice. The robotic, Vocaloid-like sound people like today stays playable as a preset (#93).
  4. Languages enter through one shared front-end design, not one-off hacks. Each needs a native speaker's check and must leave English unchanged.
  5. The design language (the vector display) is settled; the look within it can still evolve.
  6. Nothing copyrighted in git; MIT; a deterministic, real-time-safe engine.
  7. Not now: a DAW or sequencer, a light theme, MPE, multi-voice dialogue, translating the interface (the voice speaks and sings many languages; the labels stay in English).

What it does

Male, female and child bodies blend continuously. Everything on screen animates from live engine state: pressure in the airway, airflow, the vocal folds, spectra and formants.

Run it

Needs Rust with the wasm32-unknown-unknown target, and Bun.

bun install
bun run dev        # builds the wasm, then Vite on 127.0.0.1:5317
bun run test       # wasm build, cargo test --workspace, bun test tests

The AudioWorklet needs a secure context, so open it on localhost or over HTTPS (for example tailscale serve). Vercel builds it with vercel.json.

Offline renders and measurement:

cargo run --release -p chimera-cli -- render speech|text|song|notes|beatbox|creature|vowels …
cargo run --release -p chimera-cli -- diagnose       # nasal leakage, formants, bandwidths, pitch
cargo run --release -p chimera-cli -- compare csd    # against a real singer (docs/csd-comparison.md)
cargo run --release -p chimera-cli -- compare tsp    # against 23 real speakers (docs/speech-comparison.md)
bun tools/spectrogram.ts in.wav out.png
bun tools/musicxml-to-notes.ts score.mxl P1 --out p1.json   # a score's part → `render notes` melody

Docs

Contributing: see CONTRIBUTING.md. Agents: see AGENTS.md.

License

MIT. Bundled third-party files keep their own licenses: the CMU Pronouncing Dictionary (public/data/CMUDICT-LICENSE.txt) and the fonts (public/fonts/).

chimera-vocal-synth (jamesondh/chimera-vocal-synth)

Ищем в базе…

Что это такое?Синтезатор голоса, который создаёт звук, имитируя дыхательные пути человека (лёгкие, голосовые складки, разветвлённый голосовой тракт, губы, нос), а не воспроизводя записанные образцы. Работает в браузере.
Это приложение для браузера или библиотека?Это приложение для браузера. Движок на Rust компилируется в WebAssembly для AudioWorklet, а тот же код также работает нативно для тестов и CLI-утилиты «chimera».
Как его запустить?Установите Rust с целью wasm32-unknown-unknown и Bun, затем откройте приложение на localhost.
Есть какие-то подводные камни?Аудиодвижку нужен защищённый контекст, поэтому приложение должно открываться на localhost или по HTTPS, например через tailscale serve. В README нет команд для оффлайн-рендеринга и измерений.
Может ли он читать текст вслух, а не только петь?Да. Он принимает английский текст (CMUdict с запасным преобразованием букв в звуки) или IPA и превращает его в жесты и просодию; на экране показаны жестовая партитура и таблица согласных.
Что такое bestiary?Набор нечеловеческих голосов на основе той же модели дыхательных путей: двухголосый синрикс songbird, тюлень, аллигатор и слон.
Что такое вид Duet?Две трёхмерные головы воспроизводят заранее отрисованную песню, а мужское, женское и детское тела плавно переходят друг в друга. Всё на экране анимируется по живому состоянию движка: давлению в дыхательных путях, потоку воздуха и формантам.
Какие есть похожие проекты?soundcraft, sloop-fm1, dexed, nota, yovoice, LYNX-SHARE, coyopedal, human-atlas
Автор
jamesondh
Размер
18.8 MB
Звёзды
2.7K
Обновлён
КоммитNov 18
Возраст
13 д
Коммиты · 90 дней