AI-agents: vaardigheden testen en context bezitten

Samenvatting

AI-agents moeten skills betrouwbaar verslaan zonder skill, anders kosten ze vooral waardevolle context.

AI-agents en skills testen

Tabular Editor beschrijft evals als herhaalbare tests voor AI-agent-skills. Je gebruikt hetzelfde model, dezelfde startcontext en dezelfde bestanden, en verandert slechts één variabele: bijvoorbeeld wel of geen skill, of een oude en nieuwe versie.

Vergelijkingen vragen meerdere runs, omdat agents niet-deterministisch werken. Leg vooraf vast hoe je scoort: controleer waar mogelijk objectief of een agent het juiste commando uitvoerde en beschrijf voor subjectieve antwoorden welke onderdelen aanwezig moeten zijn.

Context en ablative testing

De kern is ablative testing: haal de skill weg en kijk of de resultaten verslechteren. Een skill verdient zijn plek pas als die onder verschillende modellen en over tijd betrouwbaar beter presteert dan de situatie zonder skill. Voegt een skill niets toe, dan vult die wel de context aan zonder de taakuitvoering te verbeteren.

Dat maakt contextbeheer een praktische beheerstaak. Voer eerdere tests opnieuw uit na een wijziging, niet alleen de prompt die de wijziging uitlokte. Een nieuwe modelversie kan eerdere instructies overbodig maken. Community-skills bieden een startpunt, maar de auteur waarschuwt om ze aan te passen aan de eigen bedrijfssituatie. Laat agents die skills niet zelfstandig schrijven: ze kunnen herhaling, verzonnen werkwijzen of onjuiste instructies toevoegen.

AI-agents: concrete takeaway

Bewaar een kleine set prompts met verwachte uitkomsten en test elke skill naast een nulmeting. Schrap of herschrijf de skill zodra herhaalde runs geen aantoonbaar verschil laten zien, en voer dezelfde tests opnieuw uit na wijzigingen in de skill of het model.