video-use README

The project's README from github.com/browser-use/video-use. As one markdown file: README.md.

video-use

video-use

Introducing video-use — edit videos with Claude Code. 100% open source.

Drop raw footage in a folder, chat with Claude Code, get final.mp4 back. Works for any content — talking heads, montages, tutorials, travel, interviews — without presets or menus.

Try video-use in Browser Use Cloud.

What it does

Setup prompt

Paste into Claude Code, Codex, Hermes, Openclaw, or any agent with shell access:

Set up https://github.com/browser-use/video-use for me.

Read install.md first to install this repo, wire up ffmpeg, register the skill with whichever agent you're running under, and set up the ElevenLabs API key — ask me to paste it when you need it. Then read SKILL.md for daily usage, and always read helpers/ because that's where the editing scripts live. After install, don't transcribe anything on your own — just tell me it's ready and wait for me to drop footage into a folder.

The agent handles the clone, dependencies, skill registration, and prompts you once for your ElevenLabs API key (grab one at elevenlabs.io/app/settings/api-keys).

Then point your agent at a folder of raw takes:

cd /path/to/your/videos
claude    # or codex, hermes, etc.

For always-on editing from your own VPS or Telegram, run the agent through Browser Use Box. Watch the 15-second demo.

And in the session:

edit these into a launch video

It inventories the sources, proposes a strategy, waits for your OK, then produces edit/final.mp4 next to your sources. All outputs live in <videos_dir>/edit/ — the skill directory stays clean.

Manual install

If you'd rather do it by hand:

# 1. Clone and symlink into your agent's skills directory
git clone https://github.com/browser-use/video-use ~/Developer/video-use
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use        # Claude Code
# ln -sfn ~/Developer/video-use ~/.codex/skills/video-use       # Codex

# 2. Install deps
cd ~/Developer/video-use
uv sync                         # or: pip install -e .
brew install ffmpeg             # required
brew install yt-dlp             # optional, for downloading online sources

# 3. Add your ElevenLabs API key
cp .env.example .env
$EDITOR .env                    # ELEVENLABS_API_KEY=...

How it works

The LLM never watches the video. It reads it — through two layers that together give it everything it needs to cut with word-boundary precision.

timeline_view composite — filmstrip + speaker track + waveform + word labels + silence-gap cut candidates

Layer 1 — Audio transcript (always loaded). One ElevenLabs Scribe call per source gives word-level timestamps, speaker diarization, and audio events ((laughter), (applause), (sigh)). All takes pack into a single ~12KB takes_packed.md — the LLM's primary reading view.

## C0103  (duration: 43.0s, 8 phrases)
  [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted.
  [006.08-006.74] S0 We fixed this.

Layer 2 — Visual composite (on demand). timeline_view produces a filmstrip + waveform + word labels PNG for any time range. Called only at decision points — ambiguous pauses, retake comparisons, cut-point sanity checks.

Naive approach: 30,000 frames × 1,500 tokens = 45M tokens of noise. Video Use: 12KB text + a handful of PNGs.

Same idea as browser-use giving an LLM a structured DOM instead of a screenshot — but for video.

Pipeline

Transcribe ──> Pack ──> LLM Reasons ──> EDL ──> Render ──> Self-Eval
                                                              │
                                                              └─ issue? fix + re-render (max 3)

The self-eval loop runs timeline_view on the rendered output at every cut boundary — catches visual jumps, audio pops, hidden subtitles. You see the preview only after it passes.

Design principles

  1. Text + on-demand visuals. No frame-dumping. The transcript is the surface.
  2. Audio is primary, visuals follow. Cuts come from speech boundaries and silence gaps.
  3. Ask → confirm → execute → self-eval → persist. Never touch the cut without strategy approval.
  4. Zero assumptions about content type. Look, ask, then edit.
  5. 12 hard rules, artistic freedom elsewhere. Production-correctness is non-negotiable. Taste isn't.

See SKILL.md for the full production rules and editing craft.

video-use (browser-use/video-use)

Searching Database…

29.3K ·GitHub
Video-use
Что это такое?video-use — это открытый навык для Claude Code, который превращает сырые записи в готовый MP4: вырезает слова-паразиты и пустые паузы, цветокорректирует клипы, накладывает субтитры и добавляет анимации через диалог с агентом-программистом.
Это самостоятельный видеоредактор или навык для агентов-программистов?Это не самостоятельный редактор, а навык, который агент-программист (Claude Code, Codex, Hermes или Openclaw) запускает с доступом к командной строке, чтобы управлять ffmpeg, транскрибацией и рендерингом на вашем компьютере.
Как мне это запустить?Вставьте промпт для настройки в своего агента-программиста: он клонирует репозиторий, установит зависимости, зарегистрирует навык и один раз запросит ваш ключ API ElevenLabs, после чего вы укажете ему папку с исходными дублями.
Мне нужен ключ API ElevenLabs?Да — ElevenLabs Scribe даёт пословную транскрипцию, на которой держится весь конвейер, а также нужен агент-программист с доступом к командной строке, например Claude Code, Codex, Hermes или Openclaw.
ИИ действительно смотрит мой материал?Нет — ИИ никогда не просматривает видео кадр за кадром. Он читает пословную расшифровку и только в спорных местах открывает миниатюры кадров и графики звуковой волны, поэтому чисто визуальные подсказки без звуковых границ могут быть труднее уловимы.
Какими инструментами можно создать анимационные наложения?Наложения можно создавать с помощью HyperFrames, Remotion, Manim или PIL; для каждой анимации параллельно запускается отдельный субагент.
Почему он читает расшифровку, а не перебирает кадры?Чтение не заставляет модель обрабатывать огромные объёмы пикселей: в README сравниваются наивный дамп кадров, который стоит 45 млн токенов, и около 12 КБ текста плюс несколько PNG для того же материала.
Проверяет ли он свою работу перед тем, как показать результат?Да — цикл самопроверки запускает проверку таймлайна отрендеренного видео на каждой границе склейки, выявляя визуальные скачки и щелчки в звуке, и вы увидите превью только после того, как проверка пройдена.
Могу ли я запускать это как бота для монтажа, работающего постоянно?Да, агента можно запустить через Browser Use Box для непрерывного монтажа на собственном VPS или через Telegram.
What are similar projects?open-edit, autoclip, ffmpeg-skill, creator-flow, herk-edit-kit, Drift, guizang-product-video-skill, brag
Which topics is it in?transcription, vps, subtitles, video-editing, hermes-agent, audio-processing, speech-to-text, video-processing, telegram, openclaw, ffmpeg, skill
Creator
browser-use
Size
0.9 MB
Stars
29.3K
Updated
CommitOct 08
Age
6mo
Commits · 90 Days