awesome-ai-harness README

The project's README from github.com/weiwei966/awesome-ai-harness. As one markdown file: README.md.

Awesome AI Harness Awesome

The model is the engine. The harness is the car.

A curated list of resources on harness engineering — the discipline of building the runtime scaffolding that turns a language model into a working agent.

中文版 →

Why this list

Most "awesome agent" lists catalogue frameworks. This one is about the layer underneath: the concrete engineering decisions that determine whether an agent works or flails.

A frontier model dropped into a bad harness behaves like a bad model. It loops, forgets, calls the wrong tool, burns its context on noise, and gives up. The same model in a good harness plans, recovers from errors, and finishes. The gap between those two outcomes is harness engineering, and almost none of it is in the model weights.

The craft is young, the knowledge is scattered across engineering blogs and leaked system prompts, and there is no textbook. This is an attempt at a map.

Scope note: this list covers the inference-time harness. Harnesses that double as RL training environments (environment hubs, trajectory generation, reward design) are a sibling discipline we deliberately leave out.

What is a harness?

Everything between the user's intent and the model's next token:

flowchart TB
    U([User intent]) --> H
    subgraph H[The Harness]
        direction TB
        SP[System prompt<br/>role, rules, environment]
        CTX[Context assembly<br/>budget · retrieval · compaction]
        TOOL[Tool layer<br/>definitions · results · errors]
        LOOP[Agent loop<br/>plan → act → observe → repeat]
        MEM[Memory &amp; state<br/>files · sessions · scratchpads]
        GATE[Permissions &amp; sandbox<br/>allowlists · HITL gates]
    end
    H <--> M{{Model}}
    H --> W([Effects on the world])

The model is a stateless function. Every bit of statefulness, safety, memory, and competence an "agent" appears to have was engineered into the loop around it.

Contents

Foundations

Start here if you are new to the field.

Terminology

The field's vocabulary is still settling; these pin it down.

Design patterns & surveys

Context Engineering

The context window is the agent's entire working memory, and it is a scarce, actively-managed resource. This is where most harness quality lives.

Tool Design & Agent-Computer Interfaces

Tools are the agent's API to reality. Their names, schemas, return values, and error messages are prompt engineering by another name — and the interface design is worth more than a model upgrade.

The Agent Loop

Memory, State & Session Resume

Multi-Agent & Orchestration

Sandboxing & Runtime Isolation

If your harness can run commands, it can run bad commands. The 2025-26 convergence: both major labs independently arrived at the same two-plane design — filesystem isolation plus a domain-allowlist egress proxy.

Safety, Permissions & Human-in-the-Loop

awesome-ai-harness (weiwei966/awesome-ai-harness)

Searching Database…

153 ·GitHub
Awesome-ai-harness
Что это?Отобранный список литературы по «harness engineering» — runtime-обвязке (управление контекстом, дизайн инструментов, циклы агента, память, песочницы, оценка), которая превращает сырую языковую модель в работающего агента; на английском и китайском языках.
Это инструмент для установки или просто список для чтения?Это чистый awesome-список в markdown со ссылками на научные статьи, инженерные посты в блогах и доклады, организованный по тематическим разделам — кода для запуска нет.
Как организован список?Он разбит на разделы вроде Foundations, Context Engineering, Tool Design, The Agent Loop, Memory/State/Session Resume, Multi-Agent & Orchestration, Sandboxing & Runtime Isolation, Safety & Permissions, Protocols & Interop, Skills и Evaluation & Observability, причём раздел Foundations помечен для новичков.
Охватывает ли список и RL-среды для обучения?Нет, это исключено намеренно. Список ограничивается harness-инфраструктурой времени инференса и относит RL-среды обучения (хабы сред, генерация траекторий, дизайн наград) к отдельной дисциплине вне своего охвата.
Для кого этот список литературы?Для разработчиков, создающих кодинг-агентов, AI-ассистентов или рантаймы агентов, которым нужно понимать управление бюджетом контекста, проектирование интерфейсов инструментов, память, песочницы и оценку, а не просто подменять модель на модель покрупнее.
Что такое «harness» на самом деле?Согласно README, это всё, что находится между намерением пользователя и следующим токеном модели: цикл, инструменты, память, проверки безопасности и контекстная обвязка, спроектированные вокруг модели без состояния, чтобы она действовала как компетентный агент.
Чем «harness» отличается от «агентского фреймворка»?В списке цитируется различие от Arize: harness владеет самим циклом агента, тогда как фреймворк лишь одалживает вам детали для его построения — harness это рантайм, а не библиотека компонентов.
Есть ли китайская версия этого списка?Да, в README есть ссылка на 中文版 (китайское издание), а также включены ресурсы с китайским переводом, например полный китайский перевод обзора по context engineering.
Какой ресурс стоит прочитать первым?README указывает на 'Harness Engineering for Self-Improvement' Лилиан Вэнг как на самую полную карту дисциплины: если из всего списка вы прочтёте лишь одну вещь, пусть это будет она.
What are similar projects?awesome-harness-engineering, awesome-harness-engineering, Agent-Learning-Hub, hive, harness-engineering, awesome-chatgpt-zh, GLM-5.3-Flash-J-Space-Capability-Realization-Report, ai-system-design
Which topics is it in?sandboxing, harness-engineering, agent-harness, context-engineering, evaluation, memory, orchestration, prompt-engineering, rag, agentic-ai, anthropic, multi-agent
Creator
weiwei966
Size
0.1 MB
Stars
153
Updated
CommitAug 19
Age
2mo
Commits · 90 Days