RAG: bewijsvoering tonen voor "niet in dit document" uitspraken

Samenvatting

RAG moet een antwoord als niet in dit document onderbouwen met vier soorten bewijs.

RAG en bewijsvoering: wat er gebeurt

Een RAG-systeem hoort soms vast te stellen dat een document geen antwoord bevat. Dat blijkt lastiger dan een antwoord genereren: een model reageert vaak toch, ook wanneer de bron niets over de vraag zegt. Het artikel werkt daarom een aanpak uit waarin elk van vier bouwstenen één bewijsstuk levert voor een verdedigbare no-answer.

De casus draait om de vraag hoeveel elektriciteit AI wereldwijd verbruikt. Een bedrijfschatbot zoekt in de Commodity Markets Outlook van de Wereldbank, een rapport van 63 pagina’s over olie-, landbouw- en metaalprijzen. AI-elektriciteit staat daar niet in. De melding dat het antwoord niet is gevonden klopt dus, maar vertelt niet of het systeem het hele document onderzocht of na één oppervlakkige embedding-zoekactie stopte.

RAG: waarom bewijsvoering telt

Een zelfverzekerd fout antwoord is een defect. Een kale afwijzing levert bijna even weinig controle op. Gebruikers moeten kunnen zien waarom het systeem niets vond, anders lijkt een correcte uitkomst op een mislukte zoekactie.

Het artikel koppelt die controle aan dezelfde structuur die positieve antwoorden verifieerbaar maakt. Structured output dwingt het model om bewijs vast te leggen, bijvoorbeeld een citaat, paginanummer en betrouwbaarheidswaarde. Bij een no-answer leveren de vier bouwstenen elk een eigen aanwijzing. Parsing vormt daarbij een eerste controlelaag: relationele tabellen laten zien welke inhoud het systeem daadwerkelijk uit het document heeft gehaald. Een gemiste token kan immers stil verdwijnen, terwijl extra ruis later nog te filteren valt.

RAG en no-answer: concrete takeaway

Ontwerp een RAG-pipeline niet alleen rond gevonden passages. Laat elke stap ook bewijs produceren voor een ontbrekend antwoord: wat de parser heeft verwerkt, waar de zoekactie heeft gekeken en welke onderbouwing de einduitkomst draagt. Test dat met een vraag die aantoonbaar buiten de bron valt, zoals de AI-elektriciteitsvraag tegenover het Wereldbankrapport. Zo beoordeel je niet alleen of het systeem soms nee zegt, maar ook of het die nee kan verdedigen.