HarnessEval-W README

The project's README from github.com/MirroS-Lab/HarnessEval-W. As one markdown file: README.md.

HarnessEval logo

HarnessEval-W

Agentifying the Evaluation of Visual Worlds

The era of harnessed benchmarking: evaluation defines the taste of evolution.

Paper Project Page Blog Leaderboard Hugging Face Dataset

HarnessEval overview

Overview

A benchmark should deliver more than a scalar score: what makes an evaluation trustworthy is the reasoning that justifies the score. This is especially critical for world models, where judging a rollout requires understanding whether physics, causality, and world state evolve correctly. Humans spot such violations naturally, yet no existing benchmark automates this capability: metrics are computed brute-force, leaving no reasoning chain that can be examined or verified.

HarnessEval is an agentified evaluation pipeline that brings the harness paradigm from the LLM ecosystem to world model benchmarking. Rather than applying a fixed rubric, HarnessEval interprets the context of each evaluation case, decomposes the evaluation question into measurable sub-questions, and spawns specialized sub-agents, each equipped with tailored context and diagnostic tools to reason over its own sub-question. The parent agent then validates the gathered evidence and aggregates it into the final verdict. Every evaluation becomes a transparent evidence tree whose complete reasoning chain justifies the result.

News

How It Works

HarnessEval pipeline

  1. Case-specific skill routing. Given a case (initial world, action, probe intent), the planner routes it to the skills that can legitimately evaluate it — and records an evidence-grounded reason for every skill it skips.
  2. Sub-agent reasoning. Each skill decomposes its evaluation into measurable sub-questions, each answered by a dedicated sub-agent against rollout evidence.
  3. Validated aggregation. The parent agent validates the collected evidence and aggregates it into the case score. The full trace — every question, answer, score, and supporting frame — is saved as an auditable case card.

Routing depends only on the case context, never on the model being evaluated, so every model faces the same questions on the same cases.

Installation

Create three environments:

git clone --branch main --single-branch https://github.com/mirros-lab/harnesseval-w.git
cd harnesseval-w
conda env create -f docs/installation/main.environment.yml
conda env create -f docs/installation/metrics.environment.yml
conda env create -f docs/installation/pavrm.environment.yml
conda activate harnesseval-main

Configure credentials and paths:

cp config/example.env harnesseval.env
set -a; . ./harnesseval.env; set +a

The bundled demo in runs/example/results_example can be evaluated immediately after setup.

Usage

Evaluate a model's generated results:

# Evaluate generated videos and write run outputs.
harnesseval eval \
  --results runs/example/results_example/generation \
  --model-id seedance-2.0-standard \
  --run-root runs/example/results_example/run \
  --manifest runs/example/results_example/manifest.json \
  --plan-root benchmark/plans

Check a completed run:

# Verify that an existing run has all expected scores.
harnesseval verify run \
  --eval-root runs/example/results_example/run/harnesseval/models/seedance-2.0-standard/evaluation \
  --manifest runs/example/results_example/manifest.json \
  --model seedance-2.0-standard

Or use the bundled demo end to end:

# Run the bundled demo from the example directory.
cd runs/example/results_example
# Evaluate the demo outputs.
harnesseval eval --results generation --model-id seedance-2.0-standard --run-root run --manifest manifest.json --plan-root ../../benchmark/plans
# Verify the demo run.
harnesseval verify run --eval-root run/harnesseval/models/seedance-2.0-standard/evaluation --manifest manifest.json --model seedance-2.0-standard

What You Get

The bundled example already produces scores. A completed evaluation writes:

runs/example/results_example/run/harnesseval/models/<model-id>/evaluation/
├── summary.json           # overall and per-family scores
├── leaderboard_latest.json
├── leaderboard_latest.csv
└── LEADERBOARD.md

Per-case artifacts and caches live under run/harnesseval/metric_cache/ and run/harnesseval/models/<model-id>/.

Extending HarnessEval

HarnessEval is a living benchmark, and contributions are welcome !

Keep submissions aligned with the existing benchmark format so they can plug into the bundled flow.

TODO

Acknowledge

This project builds upon the following excellent works:

Citation

If you find HarnessEval useful, please cite:

@article{Mirros2026harnessevalw,
  title   = {HarnessEval-W: Agentifying the Evaluation of Visual Worlds},
  author  = {MirroS Team},
  journal = {arXiv preprint arXiv:2608.16859},
  year    = {2026}
}

License

We release our code with Apache 2.0 License.

HarnessEval-W (MirroS-Lab/HarnessEval-W)

Searching Database…

308 ·GitHub
HarnessEval-W
Что это?HarnessEval-W — это агентный конвейер оценки для бенчмаркинга моделей мира и генерации видео: вместо грубой скалярной оценки он раскладывает каждый оценочный кейс на подвопросы, на которые отвечают специализированные субагенты, а затем сводит доказательства в прозрачный и проверяемый вердикт.
Это один инструмент с метрикой или полноценный агентный конвейер?Это мультиагентный конвейер: планировщик направляет каждый кейс тем скиллам, которые вправе его оценивать, выделенные субагенты отвечают на измеримые подвопросы, опираясь на доказательства из прогонов, а родительский агент проверяет и агрегирует эти доказательства в итоговую оценку кейса.
Как его запустить?Создайте три отдельных окружения - harnesseval-main (лаунчер/CLI), harnesseval-metrics (бэкенды метрик) и harnesseval-pavrm (бэкенд физической правдоподобности) - настройте учётные данные и пути, затем запустите входящий в комплект демо-пример в runs/example/resultsexample.
Что нужно перед запуском?Python плюс три отдельно управляемых окружения - для CLI-лаунчера, бэкендов метрик и бэкенда физической правдоподобности - в каждом из которых сначала настраиваются свои учётные данные и пути.
Каких подводных камней при установке ждать?Установка требует возни с тремя отдельными окружениями вместо одного, а хостинг-сервиса ещё нет - опция «отправить видео, получить оценки» всё ещё числится незаконченным TODO, так что пока всё работает локально.
Что такое карточка кейса?Это проверяемый артефакт, который HarnessEval сохраняет по каждой оценке: каждый подвопрос, ответ субагента, оценка и подкрепляющий кадр, на которых основан итоговый вердикт.
Какие модели мира он умеет оценивать?Он поддерживает модели мира, обусловленные текстом, изображением, действиями и камерой, включая Kling, MiniMax H3, Seedance, WAN и Cosmos, - через адаптеры генерации моделей.
Есть ли публичный лидерборд?Да, публичный набор из 100 кейсов с лидербордом был выпущен вместе с полным бенчмарком и кодом метрик в сентябре 2026 года.
Почему бы просто не использовать фиксированную шкалу оценки?Фиксированные метрики считаются в лоб, без прослеживаемой цепочки рассуждений, поэтому HarnessEval вместо этого направляет кейсы специализированным субагентам, которые рассуждают над доказательствами и выдают обоснованную и прослеживаемую оценку.
What are similar projects?CodeVideoModel, object-permanence, RSIGame, context-language-models, Proteus, ParseBench, WanGP, Zero-WAM
Which topics is it in?seedance, world-model, wan, minimax-h3, harness-engineering, arxiv, dataset, harness, evaluation, video-generation, generative-ai, huggingface
Creator
MirroS-Lab
Size
410.1 MB
Stars
308
Updated
CommitSep 02
Age
2mo
Commits · 90 Days