Spurious correlaties: binnen de subruimte waar ze ontstaan

Samenvatting

Spurious correlaties: waarom kleine steekproeven grote correlaties laten zien die niet altijd betekenisvol zijn.

Waarom kleine steekproeven riskant zijn

Kleine steekproeven kunnen soms grote correlaties opleveren die puur toevallig zijn. Dat blijkt uit onderzoek naar de correlatie tussen cholesterol en bloeddruk bij slechts 10 patiënten: de correlatie was 0,62, wat kan misleiden. Het onderzoek demonstreert dat hoge correlaties vaak in kleine steekproeven ontstaan, zelfs wanneer de meetvariabelen onafhankelijk zijn. Deze verrassingen worden visueel gemaakt met de geometrie van Pearson's correlatiecoëfficiënt.

Implicaties voor data-analyse

Deze bevindingen hebben belangrijke gevolgen voor data-analyses in de AI & Analytics-sector. Ze benadrukken dat het vergroten van de steekproefomvang niet altijd leidt tot betekenisvollere resultaten. Integendeel, grotere datasets maken spurieuze correlaties eenvoudiger waarneembaar. Dit past in de bredere discussie over voorzichtigheid bij data-interpretatie. Dit is van belang bij big data-analyses en machine learning-toepassingen waarbij veel variabelen in ogenschouw worden genomen.

Concrete takeaway

BI-professionals moeten zich realiseren dat grotere datasets spurieuze correlaties zichtbaarder maken. Het is essentieel om kritische drempels voor correlatie en multiple-testingcorrecties toe te passen. Bij gegevensanalyse moet men altijd sceptisch blijven over onverwacht grote correlaties die optreden in kleine observeerbare steekproeven.