Waarom een kleine GPT twee feiten kent zonder ze te verbinden

Samenvatting

Een kleine GPT onthoudt elk feit, maar faalt zodra een vraag twee feiten tegelijk vereist.

Kleine GPT: feiten onthouden zonder verbanden te leggen

De auteur gaf een kleine GPT afzonderlijke feiten en testte daarna vragen waarvoor het model twee van die feiten moest combineren. Het model memoriseerde alle ingevoerde informatie, maar beantwoordde geen enkele vraag waarvoor zo’n koppeling nodig was.

Een recente paper beschrijft een oplossing die uit één regel bestaat. De auteur testte die aanpak, maar het resultaat bleef beperkt: de fix werkte slechts gedeeltelijk.

Kleine GPT en het verschil tussen geheugen en redeneren

De test maakt een onderscheid zichtbaar tussen feiten opslaan en relaties tussen feiten gebruiken. Een model kan dus correcte informatie reproduceren zonder die informatie in een nieuwe vraag aan elkaar te verbinden.

Dat onderscheid raakt ook BI-toepassingen waarin een antwoord meerdere bronnen, definities of voorwaarden combineert. Een model dat losse feiten goed terughaalt, levert niet automatisch correcte antwoorden op samengestelde vragen. De bron geeft geen vergelijking met andere modellen of technieken, waardoor vooral de testopzet en de beperkte werking van de voorgestelde fix centraal staan.

Voor BI-professionals ligt daar een praktisch beoordelingspunt: test niet alleen of een model bekende feiten teruggeeft. Controleer ook of het twee expliciet aangeleverde feiten in één antwoord kan combineren. De beschreven proef laat zien dat die twee vaardigheden uit elkaar kunnen lopen.

Kleine GPT testen op samengestelde vragen

Voeg bij modeltests naast losse feitvragen een vaste reeks vragen toe die telkens twee gegeven feiten koppelen. Vergelijk daarna de prestaties vóór en na de eenregelige fix uit de paper. Zo zie je direct of een model alleen memoriseert of ook de benodigde verbinding maakt.