ChatGPT analyseert 3 datasets met gelijke fouten elke keer

Samenvatting

ChatGPT maakt bij drie datasets steeds dezelfde analysefouten, terwijl een extra controle ook juiste antwoorden kan omkeren.

Wat ChatGPT fout doet met drie datasets

Nate Rosidi testte ChatGPT met drie kleine bestanden en vragen die in een normale werkweek kunnen voorkomen. GPT-5.6 Terra maakte een eerste analyse; GPT-5.6 Luna voerde daarnaast afzonderlijke, rustigere runs uit. De code draaide op Pandas en SciPy.

De datasets bevatten elk een valkuil. In shipment_tracking staan 40 orders, waarvan 18 geen verzend- of bezorgdatum hebben. regional_sales telt 59 rijen, maar zes combinaties van regio en jaar komen meerdere keren voor. Voor us_west in 2012 bestaan zelfs drie verschillende verkoopwaarden. olympics_athletes_events bevat 352 rijen voor 336 atleten, omdat één rij een atleet per evenement voorstelt.

Een controlepass gaf geen betrouwbare oplossing. Die corrigeerde wel een foutieve telling, maar keurde ook twee verkeerde conclusies goed. In een andere run verzon het model een correctie en veranderde het een juist antwoord in een fout antwoord.

Waarom ChatGPT meer nodig heeft dan een controlepass

De problemen ontstaan niet alleen door rekenwerk. De betekenis van een rij bepaalt wat je mag tellen, middelen of vergelijken. Bij shipment_tracking moet je bijvoorbeeld onderscheid maken tussen levertijd, verzendtijd en onvoltooide orders. Bij regional_sales bestaat voor sommige regio-jaarcombinaties geen unieke waarde.

Een model dat zijn eigen antwoord controleert, krijgt daarmee geen onafhankelijke validatie. Het kan een foutieve aanname opnieuw bevestigen of een correcte uitkomst aanpassen. Voor BI-werk betekent dit dat datasetdefinities en controles buiten de chat moeten staan, bijvoorbeeld in reproduceerbare code met Pandas en SciPy.

Concrete takeaway voor ChatGPT-analyses

Laat ChatGPT niet zelfstandig conclusies opleveren voor een managementrapport. Controleer eerst de korrel van elke dataset, tel ontbrekende en dubbele records apart en verifieer gemiddelden en groepsvergelijkingen met reproduceerbare code voordat iemand de uitkomst presenteert.