Mijn model werkte perfect, maar nu niet meer bruikbaar

Samenvatting

Churnmodel haalt 81% nauwkeurigheid, maar blijft zonder service beperkt tot de maker.

Churnmodel en service

De auteur bouwde een churnmodel voor het fictieve telecombedrijf Northline Mobile met gegevens van 7043 klanten. De dataset bevatte onder meer contracttype, klantduur, maandelijkse kosten, extra diensten en vertrekstatus. Na cross-validatie behaalde het model 81% nauwkeurigheid.

Dat resultaat bewees dat het model voorspellingen kon maken. Toch bleef het gebruik beperkt tot een Jupyter-notebook: iemand moest de juiste notebook openen, cellen in de goede volgorde uitvoeren en handmatig `predict_churn()` aanroepen. Andere medewerkers, dashboards en applicaties konden het model niet rechtstreeks gebruiken.

Waarom een churnmodel als service telt

Het artikel maakt een scherp onderscheid tussen een model en een service. Een model beschrijft hoe een voorspelling tot stand komt; een service geeft anderen een vaste manier om invoer aan te leveren en een voorspelling terug te krijgen, zonder kennis van de onderliggende code.

Die scheiding verandert ook de taak van de bouwer. De machine-learningstappen — data voorbereiden, trainen en testen — leveren een werkend model op, maar nog geen bruikbaar onderdeel van een bedrijfsproces. De eerdere projecten van de auteur laten hetzelfde leerpad zien: een GitHub ETL-pipeline draaide volgens schema via GitHub Actions en een RSS-pipeline gebruikte Kestra voor orkestratie en opslag in een Kestra-database. Bij machine learning komt daar een toegankelijke aanroep voor andere gebruikers en systemen bij.

Voor BI-teams ligt hier een praktische grens. Een voorspelling in een notebook blijft een demonstratie; een service kan aansluiten op dashboards, applicaties en andere systemen. Dat maakt niet automatisch de voorspelling beter, maar wel de toegang duidelijker en herhaalbaar.

Concrete takeaway voor een churnmodel

Behandel een getraind model pas als afgerond wanneer een andere gebruiker of applicatie zonder Jupyter en handmatige celuitvoering een klantvoorspelling kan opvragen.