AI & Analytics

Python: uitleg over gecensureerde en afgebroken regressie

Towards Data Science (Medium)

Samenvatting

Python laat zien hoe censurering een salaris­effect van $5.000 terugbrengt tot $3.200 en hoe Tobit dit corrigeert.

Python en censored regression: wat er gebeurt

Een gesimuleerde salaris­enquête vormt de basis voor een vergelijking tussen gewone kleinste kwadratenregressie, Tobit en truncated likelihoods. OLS schat het jaarlijkse effect op $3.200, terwijl het gesimuleerde effect $5.000 bedraagt.

Het verschil ontstaat doordat de waarnemingen niet allemaal volledig zichtbaar zijn. Bij censored regression staat een waarde op een grens geregistreerd, terwijl de werkelijke waarde verder kan liggen. Bij truncated regression ontbreken waarnemingen buiten een grens volledig. De analyse bouwt zowel een Tobit-model als likelihoods voor truncatie vanaf de grond op in Python.

Waarom censored regression en truncated regression tellen

De uitkomst laat zien waarom de manier waarop een enquête gegevens vastlegt, rechtstreeks doorwerkt in de regressiekeuze. OLS behandelt de beschikbare salariswaarden alsof ze volledig en onbeperkt zijn. Dat past niet bij een dataset waarin waarden aan een grens vastzitten of helemaal ontbreken.

Tobit gebruikt informatie over gecensureerde observaties: de grenswaarde is bekend, maar niet de precieze onderliggende waarde. Een truncated likelihood werkt met een andere situatie, omdat de analyse rekening moet houden met observaties die niet in de enquête terechtkwamen. Die modellen zijn dus geen varianten met alleen een andere naam; ze beantwoorden verschillende problemen in de dataverzameling.

De Python-uitwerking maakt het verschil controleerbaar. Door de likelihoods zelf op te bouwen, wordt zichtbaar welke aannames achter de schatting zitten en waarom een modelkeuze de uitkomst beïnvloedt.

Concrete takeaway voor Python-regressie

Controleer vóór je een regressiemodel kiest hoe grenswaarden in de brondata zijn ontstaan. Gebruik OLS niet automatisch voor een salarisvariabele met censurering of truncatie; bepaal eerst of een Tobit-model of een truncated likelihood bij het verzamelproces past en vergelijk de schatting met het bekende effect.

Lees het volledige artikel
Meer over AI & Analytics →