2.9K ·GitHub
Что это такое?
Генеративный, отрисовываемый кодом клип на песню 'I'm Upping My P(doom)' с синхронизированной по словам типографикой в стиле караоке, где каждый кадр — детерминированная функция времени песни.
Генеративный, отрисовываемый кодом клип на песню 'I'm Upping My P(doom)' с синхронизированной по словам типографикой в стиле караоке, где каждый кадр — детерминированная функция времени песни.Это готовый видеофайл или рендерер?Это приложение-рендерер на TypeScript + three.js, а не заранее отрендеренный видеофайл: один и тот же код управляет и живым предпросмотром в браузере, и офлайн-экспортом в 1080p60 или 4K60, поэтому они выглядят одинаково.
Это приложение-рендерер на TypeScript + three.js, а не заранее отрендеренный видеофайл: один и тот же код управляет и живым предпросмотром в браузере, и офлайн-экспортом в 1080p60 или 4K60, поэтому они выглядят одинаково.Как самому посмотреть предпросмотр или отрендерить видео?Запустите приложение на bun + Vite, чтобы получить интерактивный предпросмотр в браузере в реальном времени, затем используйте scripts/render.ts для офлайн-экспорта — он управляет headless Chrome по WebSocket и передаёт результат в ffmpeg.
Запустите приложение на bun + Vite, чтобы получить интерактивный предпросмотр в браузере в реальном времени, затем используйте scripts/render.ts для офлайн-экспорта — он управляет headless Chrome по WebSocket и передаёт результат в ffmpeg.Что нужно установить заранее?Нужны bun, Google Chrome (управляется в headless-режиме через playwright-core) и ffmpeg с libx264; для повторной генерации таймингов текста и аудио дополнительно нужен uv для Python-инструментов анализа.
Нужны bun, Google Chrome (управляется в headless-режиме через playwright-core) и ffmpeg с libx264; для повторной генерации таймингов текста и аудио дополнительно нужен uv для Python-инструментов анализа.Экспорт идёт в реальном времени, как предпросмотр?Нет — живой предпросмотр идёт в реальном времени на современном Mac, но офлайн-экспорт намного тяжелее: рендеринг всей песни в 4K занял около 2,5 часов на M5 Pro.
Нет — живой предпросмотр идёт в реальном времени на современном Mac, но офлайн-экспорт намного тяжелее: рендеринг всей песни в 4K занял около 2,5 часов на M5 Pro.Что именно покрывает здесь лицензия MIT?Под MIT лицензирован только код рендерера; включённые шрифты сохраняют свои лицензии, а песня и текст принадлежат своим авторам и исключены из объёма лицензии MIT.
Под MIT лицензирован только код рендерера; включённые шрифты сохраняют свои лицензии, а песня и текст принадлежат своим авторам и исключены из объёма лицензии MIT.Насколько 4K-рендер нагружает GPU?Очень — всё упирается в GPU: стоимость кадра колеблется от примерно 40 мс для статичного кадра до более 10 секунд для комнат с ray marching при большом числе субкадров, а каждый процесс рендеринга использует около 5 ГБ на headless Chrome плюс 4 ГБ на ffmpeg.
Очень — всё упирается в GPU: стоимость кадра колеблется от примерно 40 мс для статичного кадра до более 10 секунд для комнат с ray marching при большом числе субкадров, а каждый процесс рендеринга использует около 5 ГБ на headless Chrome плюс 4 ГБ на ffmpeg.Что определяет, сколько сэмплов motion blur получит кадр?Автоматический режим --samples рендерера адаптивно выбирает от 12 до 324 субкадров на кадр в зависимости от скорости движения, останавливаясь, когда дополнительные сэмплы уже не меняют картинку за пределами заданного допуска.
Автоматический режим --samples рендерера адаптивно выбирает от 12 до 324 субкадров на кадр в зависимости от скорости движения, останавливаясь, когда дополнительные сэмплы уже не меняют картинку за пределами заданного допуска.Как был создан тайминг текста на уровне слов?Python-инструменты, запускаемые через uv, используют Demucs для разделения стемов, CTC forced alignment, перепроверенную с помощью Whisper, и анализ битов и атак (beat/onset), чтобы создать закоммиченные файлы таймингов data/lyrics.json и data/audio.json.
Python-инструменты, запускаемые через uv, используют Demucs для разделения стемов, CTC forced alignment, перепроверенную с помощью Whisper, и анализ битов и атак (beat/onset), чтобы создать закоммиченные файлы таймингов data/lyrics.json и data/audio.json.Почему версия на YouTube выглядит иначе, чем локальный 4K-рендер?Версия на YouTube усредняет лишь 4 субкадра на кадр для motion blur и проходит перекодирование, поэтому быстрое движение выглядит ступенчато, а зерно плёнки размазано; локальный рендер может использовать до 324 субкадров и сохраняет полную детализацию.
Версия на YouTube усредняет лишь 4 субкадра на кадр для motion blur и проходит перекодирование, поэтому быстрое движение выглядит ступенчато, а зерно плёнки размазано; локальный рендер может использовать до 324 субкадров и сохраняет полную детализацию.Какую роль сыграл Claude в создании видео?Claude (Opus 5.5) в Claude Code использовался в диалоге с автором, чтобы проработать концепцию, выравнивание текста, код рендерера, каждую сцену и финальные рендеры.
Claude (Opus 5.5) в Claude Code использовался в диалоге с автором, чтобы проработать концепцию, выравнивание текста, код рендерера, каждую сцену и финальные рендеры.What are similar projects?ClaudeAnimationBase, mg-styles-15, huashu-art-motion, awesome-opus5-5-videos, riso-windowseat, saas-motion-kit, dioramas, lemo-opuscar
ClaudeAnimationBase, mg-styles-15, huashu-art-motion, awesome-opus5-5-videos, riso-windowseat, saas-motion-kit, dioramas, lemo-opuscarWhich topics is it in?procedural, headless-browser, motion-graphics, generative-art, creative-coding, whisper, audio-processing, typography, threejs, webgl, bun, music
procedural, headless-browser, motion-graphics, generative-art, creative-coding, whisper, audio-processing, typography, threejs, webgl, bun, music