Careem: AI schrijft en valideert dbt-modellen vooraf

Samenvatting

Careem laat AI dbt-modellen schrijven, testen en valideren voordat een mens de pull request beoordeelt.

AI en dbt bij Careem

Careem ondersteunt met een klein data-engineeringteam meer dan 5.000 modellen voor ride-hailing, boodschappen, maaltijden en geldtransfers. De organisatie bouwde de volledige stack zelf met open source-technologie; dbt verzorgt de transformaties. Tijdens dbt Summit 2026 beschreven Niyazulla Khan Pathan en Akash Srivastava hoe Careem een achterstand van meer dan 100 dataverzoeken aanpakt. Elk verzoek kostte eerder één tot twee weken.

Een eerste poging liet een LLM rechtstreeks modellen schrijven. Dat werkte niet betrouwbaar genoeg: menselijke reviewers konden een fout in een randgeval missen. Careem bouwde daarom een architectuur met vier pijlers. Een contextlaag levert metadata, kolomdocumentatie, lineage, begrippen en metriekdefinities. Spec-locking dwingt de agent eerst vragen te stellen over granulariteit, definities en filters. Zo kiest het systeem niet zelf tussen GTV, GMV en orderaantallen wanneer iemand alleen omzet noemt.

dbt-validatie en databeheer

Careem scheidt een beheerde golden layer van een tijdelijke laag voor eenmalige analyses. Tijdelijke modellen blijven 30 dagen bestaan en worden daarna opgeschoond of naar een datamart gepromoveerd. Die regel verwijderde in het afgelopen jaar 3,6 petabytes aan tijdelijke data.

Elke wijziging van de agent blijft in een afgeschermde ontwikkelomgeving met eigen IAM-rollen, opslagpaden en rekenkracht. Een aparte agentlus compileert, test en materialiseert de wijziging. De lus herstelt fouten zoals typeconflicten voordat een mens de pull request bekijkt. Daarmee verschuift controle van handmatige code-inspectie naar controle van context, specificaties en testresultaten.

Concrete takeaway voor dbt-teams

Wie AI voor dbt inzet, moet niet beginnen met codegeneratie alleen. Richt eerst metadata, metriekdefinities, verduidelijkende vragen, sandboxing en automatische tests in. Gebruik daarnaast een bewaartermijn voor tijdelijke modellen. Zo krijgt elke gegenereerde wijziging een controleerbare route van verzoek naar pull request.