Harness²: verbetert AI-agents zonder modelupgrades

Samenvatting

Harness² van Google Research verbetert AI-agents via prompts, tools en control loops, zonder het onderliggende model te upgraden.

Wat Harness² doet voor AI-agents

Google Research onderzoekt met Harness² hoe de inrichting rond een AI-agent de prestaties beïnvloedt. Die inrichting omvat prompts, tools, geheugen, subagents en de control loop die bepaalt hoe een agent werkt. De methode past deze onderdelen tijdens het testen aan, ook bij taken waarop de makers niet vooraf hadden gerekend.

Een vaste harness werkt niet voor elke taak even goed. Claude Code presteert beter bij coderen en spreadsheets, terwijl Codex sterker is bij webtaken. Harness² probeert dat verschil te verkleinen zonder het onderliggende model te vervangen.

De aanpak bewerkt niet alleen de systeemprompt. Harness² maakt acht onderdelen beschikbaar, waaronder guardrails, memory, skills, tool guidance, scripts, subagents en middleware. Onderdelen blijven uitgeschakeld totdat een situatie ze activeert. Dat voorkomt extra prompttekst die bij elke stap tokens kost.

Waarom Harness² telt

Zelfaanpassing van prompts klinkt logisch, maar langere instructies laten minder ruimte over voor het eigenlijke werk. Een agent kan daardoor zijn tokenbudget opgebruiken voordat de taak klaar is. Harness² verplaatst regels daarom naar de control loop, waar code ze afdwingt in plaats van ze alleen aan het model voor te leggen.

De voorbeelden maken dat verschil concreet. Een watchdog stopt eindeloos onderzoek en dwingt de agent te beginnen met schrijven. Een controlescript blokkeert de afronding van een spreadsheet zolang formules ontbreken. Zulke ingrepen grijpen direct in op het werkproces.

De methode gebruikt Propose, Probe, Compose om te beoordelen of een wijziging helpt. Op een benchmark bestaat een antwoordmodel; bij een echte taak ontbreekt dat vaak. Twee editors lezen daarom het uitvoeringslog: één controleert de workflow en toolaanroepen, de andere beoordeelt een ander aspect van de run.

Concrete takeaway

Test niet alleen een groter model of een langere prompt. Inspecteer de control loop, voeg gerichte controles toe zoals een watchdog of formulecheck en vergelijk de resultaten per taaktype.