Samenvatting
Python laat zien hoe censurering een salariseffect van $5.000 terugbrengt tot $3.200 en hoe Tobit dit corrigeert.
Python en censored regression: wat er gebeurt
Een gesimuleerde salarisenquête vormt de basis voor een vergelijking tussen gewone kleinste kwadratenregressie, Tobit en truncated likelihoods. OLS schat het jaarlijkse effect op $3.200, terwijl het gesimuleerde effect $5.000 bedraagt.
Het verschil ontstaat doordat de waarnemingen niet allemaal volledig zichtbaar zijn. Bij censored regression staat een waarde op een grens geregistreerd, terwijl de werkelijke waarde verder kan liggen. Bij truncated regression ontbreken waarnemingen buiten een grens volledig. De analyse bouwt zowel een Tobit-model als likelihoods voor truncatie vanaf de grond op in Python.
Waarom censored regression en truncated regression tellen
De uitkomst laat zien waarom de manier waarop een enquête gegevens vastlegt, rechtstreeks doorwerkt in de regressiekeuze. OLS behandelt de beschikbare salariswaarden alsof ze volledig en onbeperkt zijn. Dat past niet bij een dataset waarin waarden aan een grens vastzitten of helemaal ontbreken.
Tobit gebruikt informatie over gecensureerde observaties: de grenswaarde is bekend, maar niet de precieze onderliggende waarde. Een truncated likelihood werkt met een andere situatie, omdat de analyse rekening moet houden met observaties die niet in de enquête terechtkwamen. Die modellen zijn dus geen varianten met alleen een andere naam; ze beantwoorden verschillende problemen in de dataverzameling.
De Python-uitwerking maakt het verschil controleerbaar. Door de likelihoods zelf op te bouwen, wordt zichtbaar welke aannames achter de schatting zitten en waarom een modelkeuze de uitkomst beïnvloedt.
Concrete takeaway voor Python-regressie
Controleer vóór je een regressiemodel kiest hoe grenswaarden in de brondata zijn ontstaan. Gebruik OLS niet automatisch voor een salarisvariabele met censurering of truncatie; bepaal eerst of een Tobit-model of een truncated likelihood bij het verzamelproces past en vergelijk de schatting met het bekende effect.
Verdiep je kennis
ChatGPT en BI — Hoe AI je data-analyse verandert
Ontdek hoe ChatGPT en generatieve AI de wereld van business intelligence veranderen. Van SQL en DAX genereren tot data-a...
KennisbankAI in Power BI — Copilot, Smart Narratives en meer
Ontdek alle AI-functies in Power BI: van Copilot en Smart Narratives tot anomaliedetectie en Q&A. Compleet overzicht met...
KennisbankPredictive Analytics — Wat kan het voor jouw bedrijf?
Ontdek wat predictive analytics is, hoe het werkt en hoe je het inzet voor je bedrijf. Van de 4 niveaus van analytics to...