JEV: nieuwe controlefunctie voor LLM's

Samenvatting

JEV controleert meerdere LLM-antwoorden op bronsteun en stuurt onzekere gevallen door naar een groter model.

JEV als hallucination filter: wat er gebeurt

De beschreven aanpak laat een LLM vijf antwoorden schrijven vanuit dezelfde brontekst. JEV van TypeSafe AI controleert vervolgens elk antwoord afzonderlijk: onderbouwde antwoorden gaan door, foute antwoorden vallen af en twijfelgevallen gaan naar een groter LLM.

JEV schrijft zelf geen paragrafen. Het model geeft een keuze, score of kans in een vaste lijst, bijvoorbeeld ja of nee. De aanpak gebruikt daarnaast gewone code voor regels die exact controleerbaar zijn, zoals getallen, indeling en afkappunten. Het artikel test vier vragen om vast te stellen of een antwoord door de bron wordt ondersteund.

Hallucinatiefiltering met JEV: waarom dit belangrijk is

Retrieval-augmented generation verkleint het risico op verzinsels, maar haalt fouten niet weg. De RAGTruth-studie verzamelde bijna 18.000 antwoorden van verschillende LLM’s en vond ook onvolledige of onjuiste antwoorden wanneer een brontekst beschikbaar was. Een fout getal, een verkeerde abonnementsregel of een beleidsclaim die niet in de bron staat, kan overtuigend klinken.

JEV voegt een aparte controlelaag toe vóór verzending. Daarmee verschuift de controle van één antwoord naar een vergelijking tussen meerdere antwoorden. Dat vraagt wel extra modelaanroepen en levert geen garantie op: JEV is zelf een model en kan een verkeerd antwoord als correct beoordelen. Een vaste lijst voorkomt vrije uitleg, maar maakt een foutieve keuze niet onmogelijk.

De architectuur verdeelt het werk helder. Het LLM schrijft open tekst, gewone code controleert vaste regels en JEV beoordeelt bronsteun. Een groter LLM of een persoon behandelt de gevallen die niet duidelijk genoeg zijn.

JEV in de praktijk: concrete takeaway

Test JEV eerst met echte bron-antwoordsituaties en meet afzonderlijk welke correcte antwoorden het model doorlaat en welke fouten het mist. Gebruik vaste code voor controleerbare regels, laat JEV alleen bronsteun beoordelen en houd een escalatiepad naar een groter LLM of een persoon aan. Presenteer de filter niet als garantie tegen hallucinaties.