EvoTrace README

The project's README from github.com/jinzijian/EvoTrace. As one markdown file: README.md.

EvoTrace logo

EvoTrace

Turn real-world Claude Code and Codex sessions into reusable training, evaluation, and verification assets.

A local-first trajectory compiler built on DeepSeek Harness.

Get started · What you get · Workflow · Architecture · 中文

CI DeepSeek Harness License: Apache-2.0

EvoTrace imports the coding-agent work already stored on your machine, finds the sessions worth keeping, and compiles them into evidence-backed preference data, replayable coding tasks, RL environments, and execution-reward candidates. You keep the source data and the resulting assets under your control.

It is not another coding agent and does not require you to change how you use Claude Code or Codex.

[!WARNING] EvoTrace is early alpha, and DeepSeek Harness is a developer preview. Generated tasks and verifiers remain candidates until they pass the documented evidence and Docker validation gates.

Get started

1. Install

macOS, Linux, or WSL:

curl -LsSf https://raw.githubusercontent.com/jinzijian/EvoTrace/main/install.sh | sh

Windows PowerShell:

irm https://raw.githubusercontent.com/jinzijian/EvoTrace/main/install.ps1 | iex

2. Launch

evotrace

EvoTrace opens the DeepSeek Harness Web app. In Settings, choose any provider supported by your Harness setup, such as DeepSeek, OpenAI, or Anthropic. Local import and deterministic mining do not require a model; agent review, hardening, calibration, and evolution do.

New sessions start with Harness Full access by default. To use the narrower workspace sandbox:

DSH_PERMISSION_MODE=workspace-write evotrace

Docker is required only when you build or validate executable environments.

3. Build your first asset

Type / in the app and run:

/init              import existing Claude Code and Codex history
/candidates        show the strongest evidence-backed sessions
/show 1            inspect candidate 1 and its missing evidence
/review 1          run the sequential four-agent review
/assets            inspect anything that was compiled or verified

That is the main product loop. A review may build an asset, route the session to preference data, keep it only as a hardening seed, or reject it with explicit reasons. Rejection is a useful result: it prevents a long but weak trajectory from being mislabeled as training-ready.

Import, mine, review, and build with EvoTrace

What you get

Output Recovered or generated from your sessions Useful for
Candidate catalog task intent, repo, corrections, failures, effective actions, provenance gaps finding the small fraction of history worth keeping
Preference and recovery data rejected/chosen attempts, human corrections, successful recoveries DPO, SFT, QA, failure-recovery training
Executable task bundle repository base, initial state, dependency evidence, task specification coding-agent evals, regression tasks, RL environments
Verifier and reward candidate test commands, behavioral checks, policy, provenance rollout scoring and execution rewards after validation
Difficulty evidence fresh independent solver attempts and verifier outcomes curriculum construction instead of guessing from patch size
Execution experience grounded runtime facts compressed from exploration trajectories training examples and held-out experience-transfer experiments

The same validated task can evaluate an agent today, score newly sampled rollouts tomorrow, and produce verifier-grounded RL data later. The future opt-in EvoTrace Marketplace and fine-tuning integrations are intended to let users license reviewed assets on terms they control; they are roadmap products, not part of the current local release.

Why raw trajectories are not enough

A transcript may contain a prompt, messages, commands, and diffs, but post-training needs more:

EvoTrace automates that compilation gap with session import, Git/repository archaeology, deterministic gates, specialized agents, and isolated execution.

The core workflow

Claude Code / Codex history
           │
           ▼
        /init         import + normalize + Git archaeology
           │
           ▼
     /candidates      rank evidence, hide nested subagent duplicates
           │
           ▼
       /review        mine episode → gate route → build/harden → criticize
           │
      ┌────┴───────────────┐
      ▼                    ▼
preference/recovery   executable candidate
                           │
                           ▼
                    /validate in Docker
                           │
                           ▼
                 verified reward environment

EvoTrace trajectory-to-post-training pipeline

Status means evidence

Status What it actually means
Mined The session has useful signals. Nothing executable is implied.
Buildable Task, repo base, reconstruction confidence, reference patch, verifier commands, and environment gates pass.
Bundle generated A Docker-ready candidate exists. Its verifier is not yet trusted.
Verified A conforming Docker run rejected the base, accepted the reference, and was recorded against the exact bundle digest.
Calibrated Fresh solver attempts measured the task; the default target is two verifier passes in five attempts.

EvoTrace fails closed on empty prompt wrappers, low-confidence reconstruction, missing reference patches, missing verification commands, unsupported environments, candidate switching, and mismatched asset lineage.

Common recipes

Mine useful history without sending it to a model

/init
/candidates
/show 1

Compile and independently validate an executable task

/review 1
/build 1
/validate 1
/runs

Make an easy verified task meaningfully harder

/harden 1
/calibrate 2

Hardening must add testable behavior, compatibility, edge cases, or failure constraints. Making a patch longer is not treated as making a task harder.

Test whether execution experience transfers

/evolve 1 2

Asset 1 is explored and compressed; asset 2 must be an independently built held-out task from the same repository. Baseline and conditioned solver attempts are then compared using Docker rewards. Running /evolve 1 without a held-out asset is only a wiring smoke test and cannot certify transfer.

Command reference

Command Purpose
/init [all|codex|claude] import history and refresh mining
/candidates browse ranked candidates
/search payment retry search tasks, repositories, and evidence
/show 1 inspect provenance and readiness gaps
/review 1 run the sequential review pipeline
/build 1 compile an execution candidate
/validate 1 run two-state Docker validation
/harden 1 derive and test a harder child task
/calibrate 1 measure and adapt difficulty with self-play
/evolve 1 2 test compressed experience on a held-out task
/assets list compiled assets and their states
/runs inspect saved validation evidence
/doctor check local integrations

Built on DeepSeek Harness

EvoTrace is a specialized distribution of DeepSeek Harness. Harness supplies the Web UI, sessions, streaming, provider settings, permission surface, slash commands, and plugin runtime. EvoTrace adds the trajectory compiler and one managed Orchestrator with four foreground, least-privilege roles:

Stage Responsibility Cannot do
Episode Miner isolate one coherent episode and count effective actions build or approve an asset
Candidate Gate judge value, complexity, reconstructability, and record one immutable route mutate data or change the route later
Task Builder / Hardener build the exact routed candidate or derive a harder child edit the source checkout or approve itself
Verifier Critic audit Docker runs, verifier evidence, lineage, and difficulty certify missing evidence

The children run sequentially, never in parallel. Review-bound tools enforce the exact review token, candidate ID, route, and produced-asset lineage in code rather than relying only on prompts.

EvoTrace on DeepSeek Harness

Install from source

Requires Git, Node.js 22.19+ or 24+, Python 3.9+, and optionally Docker.

git clone https://github.com/jinzijian/EvoTrace.git
cd EvoTrace
python3 -m venv .venv
.venv/bin/python -m pip install -e .
pnpm install
pnpm dev

The Python CLI remains available as a deterministic compiler and automation sidecar. Run et --help for its machine-oriented commands; the DeepSeek Harness app is the primary interface.

Execution and trust boundaries

Read the normative sandbox contract, task quality standard, schema, and design.

Current release and roadmap

The current open-source release includes local Claude Code/Codex import, evidence mining, sequential agent review, environment reconstruction, Docker bundle generation, two-state validation, self-play calibration, semantic task hardening, experience compression, and held-out transfer measurement.

Still in progress:

Acknowledgements

License

Apache-2.0. See LICENSE and NOTICE.

EvoTrace (jinzijian/EvoTrace)

Searching Database…

292 ·GitHub
EvoTrace
Что это?EvoTrace добывает сессии кодинг-агентов Claude Code и Codex, уже лежащие на вашей машине, отбирает те, что стоят сохранения, и превращает их в проверенные, переиспользуемые ассеты для посттренинга: данные предпочтений, воспроизводимые задачи по кодированию, RL-среды и кандидатов для наград за исполнение.
Сам EvoTrace — это кодинг-агент, с которым я решаю задачи?Нет — это компилятор траекторий с локальным приоритетом, построенный поверх DeepSeek Harness. Он не заменяет Claude Code или Codex, а лишь читает историю сессий, которую они уже оставили, и превращает её в ассеты для обучения и оценки.
Как запустить EvoTrace?Установите его (команда shell для macOS/Linux/WSL или команда для Windows PowerShell из README), затем запустите — откроется веб-приложение DeepSeek Harness. Там выберите провайдера моделей в Settings и выполняйте слэш-команды: /init для импорта сессий и /candidates, /review, /build, /validate для компиляции ассетов.
Что нужно установить, чтобы им пользоваться?Требуются Git, Node.js 22.19+ или 24+ и Python 3.9+; Docker необязателен и нужен только когда вы собираете или валидируете исполнимые пакеты задач. Ключ провайдера моделей (DeepSeek, OpenAI или Anthropic) нужен для шагов агентской проверки, харденинга, калибровки и эволюции, но не для локального импорта и детерминированного майнинга.
Готовы ли сгенерированные задачи и верификаторы к использованию сразу?Не автоматически — проект в ранней альфе, а сам DeepSeek Harness является developer preview, поэтому сгенерированные задачи и верификаторы остаются «кандидатами», пока не пройдут задокументированные проверки доказательств и Docker-валидацию двух состояний. Ужесточение усиленной задачи тоже должно добавлять реальное проверяемое поведение, а не просто более длинный патч.
Отправляет ли он мою историю Claude Code или Codex куда-либо?Импорт и майнинг происходят локально по вашей истории Claude Code/Codex и Git-доказательствам, без изменения исходных репозиториев; отправка данных модели происходит только в необязательных шагах агентской проверки, харденинга, калибровки и эволюции, а сама валидация выполняется в одноразовых Docker-песочницах без учётных данных хоста и bind-монтирования исходников.
Что на самом деле означает статус задачи «Verified»?Это значит, что корректный Docker-запуск отклонил немодифицированное состояние базового репозитория, принял референсный патч как заведомо рабочее состояние, и этот результат был зафиксирован для точного дайджеста бандла — а не просто то, что существует скрипт-верификатор.
Что такое DeepSeek Harness и является ли EvoTrace его форком?DeepSeek Harness — это базовое приложение, дающее веб-интерфейс, сессии, настройки провайдеров и рантайм плагинов. EvoTrace — специализированная его дистрибуция, добавляющая компилятор траекторий и оркестратор с четырьмя ролями (Episode Miner, Candidate Gate, Task Builder/Hardener, Verifier Critic).
Что такое EvoTrace Marketplace?Это запланированная опциональная функция из роадмапа, которая позволила бы пользователям лицензировать свои проверенные обучающие ассеты на собственных условиях, плюс интеграции для файнтюнинга. В текущий локальный open-source-релиз она не входит.
Что происходит, когда я запускаю /evolve для задачи?Он проверяет, переносится ли опыт исполнения, сжатый из одной исследованной задачи, на независимо построенную отложенную задачу из того же репозитория, сравнивая базовые и обусловленные попытки решателя с помощью Docker-наград — запуск без реального отложенного ассета является лишь smoke-тестом, а не корректным измерением переноса.
What are similar projects?Proteus, openrig, Raven, SkillCorpus, maka, casbin-gateway, ParseBench, open-r1
Which topics is it in?sft, rlhf, wsl, llm-evaluation, codex-cli, agent-harness, dataset, dsh, harness, coding-agents, reinforcement-learning, evaluation
Creator
jinzijian
Size
0.7 MB
Stars
292
Updated
CommitAug 21Releasev0.3.2Aug 19
Age
1mo
Commits · 90 Days