AI & Analytics

Participatiewet: kabinet richt zich op werk en meedoen

Towards Data Science (Medium)

Samenvatting

Clairic haalt 98% nauwkeurigheid op 72,8% van de vragen dankzij confidence scores en selectieve inzet van taalmodellen.

Clairic gebruikt confidence scores voor vraagroutering

Clairic werkt met een confidence cutoff van 0,9. Cloudflares System One-model behandelt de eenvoudige vragen zelfstandig en stuurt de overige vragen door naar een groter, trager taalmodel zoals Luna.

Die opzet verdeelt vragen op basis van de geschatte zekerheid van het eerste model. Het systeem gebruikt dus niet automatisch voor elke vraag hetzelfde model. De titel van het artikel meldt dat Clairic bij 72,8% van de vragen een nauwkeurigheid van 98% behaalt.

Cloudflare System One en Luna in context

De beschreven aanpak draait om selectieve modelinzet. Een kleiner of sneller model krijgt de eerste beoordeling; alleen vragen buiten de ingestelde confidence-grens gaan naar een groter model. Dat maakt de grenswaarde van 0,9 een operationele instelling: een lagere of hogere drempel verandert hoeveel vragen worden doorgestuurd.

Voor analytics- en AI-teams ligt de waarde daarom niet alleen in de nauwkeurigheid van één model. Ook de verdeling van vragen tussen System One en Luna bepaalt hoe de oplossing zich gedraagt. Het artikel noemt geen details over kosten, responstijden of de precieze taak waarop Clairic wordt getest. Daaruit volgen geen bredere conclusies over de prestaties van andere taalmodellen.

De combinatie van een confidence score en een tweede model geeft wel een helder evaluatiekader. Teams kunnen afzonderlijk kijken naar de vragen die System One zelf afhandelt en naar de vragen die Luna ontvangt. Zo blijft zichtbaar waar de gekozen cutoff het verkeer tussen modellen scheidt.

Takeaway voor Clairic-gebruikers

Leg bij een vergelijkbare modelopzet eerst de confidence cutoff vast en meet daarna apart de nauwkeurigheid van de eenvoudige vragen en de doorgestuurde gevallen. Beoordeel Clairic dus niet alleen op het totaalcijfer van 98%, maar ook op de verdeling over beide modelroutes.

Lees het volledige artikel
Meer over AI & Analytics →