Cofound-variabelen: hoe deze goed te hanteren?

Samenvatting

Confoundvariabelen vertekenen een radarclassificatiemodel wanneer afstand samenhangt met het aantal teruggekaatste punten.

Confoundvariabelen in automotive radar

De auteur werkt aan objectclassificatie met pointclouds uit een automotive radar en vergeleek meerdere modellen en featurevectoren. Zodra range, de afstand tot het object, als feature werd toegevoegd, steeg de F1-score bij alle K-validatiesets en op de uiteindelijke testset.

Dat resultaat heeft een duidelijke technische verklaring als mogelijkheid: radarobjecten op grotere afstand leveren minder punten op. Range bevat daardoor informatie over een meetartefact dat samenhangt met de vorm en dichtheid van de pointcloud. De auteur meldt dat er geen overfit in de klassieke betekenis zichtbaar is, maar vraagt zich af of het model vooral dit artefact leert.

Waarom confoundvariabelen ertoe doen

Een hoge score bewijst hier niet automatisch dat het model objecteigenschappen correct herkent. Als de trainings-, validatie- en testdata dezelfde relatie tussen afstand en puntenaantal bevatten, kan een model die relatie consequent gebruiken en toch kwetsbaar blijven zodra de meetomstandigheden veranderen.

De kernvraag is daarom niet alleen of range de F1-score verhoogt, maar ook welke informatie het model precies gebruikt. Vergelijk prestaties met en zonder range. Bekijk daarnaast de resultaten per afstandsgebied en neem het aantal radarpunten afzonderlijk mee als controlevariabele. Zo wordt zichtbaar of range zelfstandig bijdraagt of vooral als indirecte aanwijzing voor pointclouddichtheid werkt.

Deze aanpak sluit aan bij een bredere les uit machine learning: validatie moet niet alleen willekeurige datasplitsingen herhalen, maar ook de omstandigheden testen waarin een verborgen correlatie wegvalt. Voor radarclassificatie betekent dat bijvoorbeeld evalueren op data met een andere afstandsverdeling of een andere relatie tussen afstand en puntendichtheid.

Concrete takeaway voor confoundvariabelen

Behandel range voorlopig als verdachte feature: rapporteer de F1-score met en zonder deze variabele, splits de evaluatie per afstand en controleer de invloed van het aantal punten voordat je het model selecteert.