Jouw zes AI-modellen zijn eigenlijk twee: foutenanalyse

Samenvatting

Zes AI-modellen leveren volgens een foutenanalyse soms maar twee onafhankelijke stemmen op, getest met 1.500 examenvragen.

AI-modellen en gecorreleerde fouten

Het artikel onderzoekt wat er gebeurt wanneer je meerdere AI-modellen dezelfde vraag stelt en daarna de antwoorden laat bepalen door een stemming. Dat lijkt op het verzamelen van zes afzonderlijke meningen, maar gedeelde fouten kunnen ervoor zorgen dat de modellen in werkelijkheid veel minder onafhankelijk van elkaar zijn.

De auteur toetste die redenering met zes open modellen en 1.500 examenvragen. Een formule moet aangeven hoeveel onafhankelijke meningen er na correctie voor foutcorrelatie overblijven. De titel vat de uitkomst samen: zes modellen gedragen zich wiskundig eerder als twee onafhankelijke stemmen.

Gecorreleerde fouten veranderen modelvergelijkingen

Een meerderheidsstemming werkt alleen goed wanneer modellen fouten maken zonder elkaars foutenpatroon te volgen. Als modellen dezelfde vraag verkeerd beantwoorden, telt een grotere modelgroep die fout niet als zes afzonderlijke signalen. De uitkomst krijgt dan meer schijnzekerheid dan de onderliggende antwoorden rechtvaardigen.

Dat onderscheid raakt elke evaluatie waarin meerdere modellen naast elkaar staan. Zes antwoorden zijn niet automatisch zes onafhankelijke controles. Een BI-team dat modellen vergelijkt, moet daarom niet alleen kijken naar het aantal modellen of het percentage juiste antwoorden, maar ook naar de overlap tussen hun fouten. De analyse biedt daarvoor een mathematisch kader in plaats van een simpele telling.

De test met open modellen en examenvragen maakt het vraagstuk concreet. Het gaat niet alleen om modelkwaliteit, maar ook om de samenhang tussen modelgedrag. Een extra model voegt pas een nieuwe stem toe wanneer het niet steeds dezelfde vergissingen maakt als de andere modellen.

Concrete takeaway voor AI-modelselectie

Leg bij een modelvergelijking vast welke vragen modellen hetzelfde fout beantwoorden. Gebruik daarna de foutcorrelatie en de beschreven formule om het effectieve aantal onafhankelijke stemmen te bepalen, voordat je een meerderheid als betrouwbaar signaal behandelt.