Scikit-Learn: kalibratieprestaties over BANKING77 verbeteren

Samenvatting

Scikit-Learn evenaart of overtreft Jev op BANKING77-kalibratie, maar beide systemen lopen vast bij none-of-the-above-intenties.

Scikit-Learn en BANKING77: wat er gebeurt

Scikit-Learn behaalt op BANKING77 kalibratieprestaties die Jev evenaren of overtreffen. Jev werkt zonder training en gebruikt hoogstens drie voorbeelden per intent; de open implementatie van Scikit-Learn heeft daarvoor gelabelde data nodig. Beide systemen lopen echter tegen dezelfde none-of-the-above-valkuil aan: ze herkennen niet altijd dat een invoer buiten de bekende intenties valt.

Kalibratie gaat hier over de verhouding tussen de zekerheid van een model en de juistheid van zijn voorspellingen. Een model kan dus goed scoren op intentclassificatie, maar toch te veel vertrouwen tonen wanneer geen beschikbare intentie past.

Waarom Scikit-Learn-kalibratie belangrijk is

De vergelijking maakt een onderscheid zichtbaar tussen modelprestatie en de omgang met onbekende invoer. BANKING77 biedt een vaste set intenties, terwijl echte tekstanalyses ook berichten kunnen bevatten die niet binnen die set vallen. De none-of-the-above-valkuil raakt daarom niet alleen de classificatiescore, maar ook de manier waarop een systeem onzekerheid rapporteert.

De vergelijking tussen Jev en de open Scikit-Learn-rebuild laat bovendien zien dat trainingsvereisten onderdeel vormen van de beoordeling. Jev heeft geen training nodig en blijft beperkt tot maximaal drie voorbeelden per intent. De open variant vraagt labels, waardoor de kwaliteit en beschikbaarheid van die labels meewegen bij een evaluatie.

Voor BI-teams die tekstclassificatie of klantinteracties analyseren, ligt de les vooral bij de testopzet. Alleen meten welke intentie het model kiest, laat niet zien of het model een onbekende categorie herkent.

Concrete takeaway voor Scikit-Learn

Test bij een Scikit-Learn-model naast de kalibratie ook expliciet de none-of-the-above-situatie. Houd de gelabelde voorbeelden per intent bij en beoordeel afzonderlijk of de confidence past bij correcte én onbekende invoer.