Multi-agent systemen: redenen voor falen ondanks evaluatie

Samenvatting

Multi-agent systemen falen ook zonder foutcode: een lege API-respons kan eindigen in een verkeerde beslissing.

Multi-agent systemen: wat er gebeurt

Een support-ticketproces met drie agent-nodes kan probleemloos lijken, terwijl één verkeerde account-ID een stille fout veroorzaakt. De account-history-node ontvangt van de billing-API een geldige 200-respons zonder records en geeft die door alsof de klant geen factuurhistorie heeft. De laatste node schrijft vervolgens een nette e-mail waarin een terugbetaling wordt afgewezen.

Datadogs State of AI Engineering-rapport uit 2026 schat het percentage productiefouten bij AI-verzoeken op ongeveer 5 procent. Slechts ongeveer 60 procent daarvan bestaat uit zichtbare capaciteitsproblemen met een foutcode; de rest bestaat uit verzoeken die technisch slagen, maar inhoudelijk verkeerd uitpakken.

Output-level eval bij multi-agent systemen

Een standaard evaluatiesuite beoordeelt vooral de uiteindelijke tekst. Die tekst kan grammaticaal correct, beleefd en relevant zijn, terwijl de gegevensoverdracht tussen twee nodes al fout liep. Een rubric voor oplossingskwaliteit beloont dan precies het resultaat dat er verzorgd uitziet, niet de foutieve broninformatie erachter.

Dat maakt output-level eval beperkt voor ketens met meerdere stappen. De evaluatie moet ook controleren wat elke node ontving, welke gegevens zij doorgaf en of een lege respons logisch is binnen de taak. De bron noemt geen specifieke alternatieve tools, maar maakt wel duidelijk dat statuscodes alleen onvoldoende zicht geven op semantische fouten in API-koppelingen.

Concrete takeaway voor multi-agent systemen

Test tussenstappen afzonderlijk. Controleer account-ID’s vóór een API-aanroep, markeer een onverwacht lege geschiedenis als fout en vergelijk de ontvangen payload met de verwachte klantcontext. Bewaar daarnaast de invoer en uitvoer van elke node in monitoring. Zo beoordeel je niet alleen of de keten eindigt met geldige tekst, maar ook of die tekst op geldige gegevens rust.