AI beeldjuries in de val gelokt door alternatieve val

Samenvatting

AI-beeldjury’s negeerden een mooie afbeelding, maar GPT-4o verzon antwoorden en Claude bleef antwoord B geven.

AI-beeldjury’s en de tweede val

Een experiment testte drie vision-AI-modellen met een afbeelding die als val voor beeldbeoordelaars was ontworpen. De modellen negeerden het esthetische beeld, maar vertoonden daarna ander gedrag: GPT-4o verzon antwoorden en Claude bleef antwoord B geven.

De uitkomst wijkt daarmee af van de oorspronkelijke opzet. De afbeelding zelf misleidde de modellen niet op de verwachte manier; hun antwoorden brachten nieuwe zwakke plekken aan het licht. De titel van het artikel verwijst daarom naar een alternatieve val waarin de modellen alsnog terechtkwamen.

GPT-4o en Claude laten verschillende fouten zien

De observatie maakt duidelijk dat een beoordeling van vision-AI uit meer bestaat dan vaststellen of een model naar het juiste visuele detail kijkt. GPT-4o leverde volgens het experiment verzonnen antwoorden. Claude bleef hetzelfde antwoord herhalen, ook nadat de eerste val niet werkte.

Die fouten lijken op verschillende evaluatieproblemen: een model kan antwoorden produceren zonder voldoende basis, terwijl een ander model aan een eerder antwoord vasthoudt. Voor BI-professionals die AI-uitkomsten in dashboards, rapportages of analyses verwerken, ligt daar een directe controlepost. Niet alleen het beeldbegrip telt; ook antwoordconsistentie en de onderbouwing van een antwoord verdienen een aparte test.

De bron noemt drie modellen, maar geeft geen verdere informatie over de gebruikte afbeelding, vragen of beoordelingsmethode. Daardoor laat het experiment vooral zien welke foutpatronen de auteur observeerde, niet hoe modellen in het algemeen presteren.

Concrete takeaway voor vision-AI-evaluaties

Test een vision-AI-model voortaan met minstens twee aparte controles: kan het de afbeelding correct beoordelen, en blijft het antwoord gebaseerd op de beschikbare informatie? Noteer daarnaast of het model antwoorden verzint of zonder nieuwe onderbouwing bij dezelfde keuze blijft.