Hoeveel gissingen zijn nodig om een AI's "willekeurig" getal te kraken?

Samenvatting

AI-getallen zijn niet vanzelf willekeurig: logits laten zien hoeveel gissingen nodig zijn om een exact antwoord te raden.

AI en logits: antwoordverdelingen zichtbaar maken

De auteur leest de exacte antwoordverdeling af uit de logits van open modellen. Die analyse vergelijkt zowel basismodellen als instructie-afgestelde modellen en vertaalt hun uitkomsten naar bits en een aantal benodigde gissingen.

Logits laten zien hoe een model de mogelijke antwoorden rangschikt voordat het een antwoord produceert. Daardoor ontstaat een meetbare basis voor de vraag hoe voorspelbaar een zogenaamd willekeurig getal werkelijk is. De aanpak kijkt dus niet alleen naar het getoonde getal, maar naar de verdeling erachter.

Waarom AI-uitvoer niet automatisch willekeurig is

Voor BI-professionals raakt dit aan een bekend probleem bij AI-uitvoer: een antwoord kan willekeurig lijken, terwijl het model bepaalde opties duidelijk vaker kiest. Zonder toegang tot de logits zie je alleen het eindresultaat en blijft die voorkeur verborgen.

Het onderscheid tussen basismodellen en instructie-afgestelde modellen maakt de vergelijking concreet. Beide modeltypen krijgen dezelfde soort vraag, maar hun antwoordverdelingen kunnen anders uitpakken. Bits bieden een compacte maat voor die verdeling; guesses-to-crack vertaalt die maat naar het aantal pogingen dat nodig is om het antwoord te raden.

Dat is vooral relevant wanneer een modeluitkomst als invoer voor een analyse of test dient. Een willekeurig getal uit een taalmodel heeft niet automatisch dezelfde eigenschappen als een getal uit een daarvoor ontworpen generator. De methode uit het artikel maakt dat verschil controleerbaar via modeluitvoer zelf.

Concrete takeaway voor AI-analyses

Gebruik een taalmodel niet zonder controle als je echte willekeur nodig hebt. Onderzoek bij open modellen de logits en antwoordverdeling, en vergelijk basismodellen met instructie-afgestelde modellen voordat je de uitkomst als willekeurig behandelt.