Klantdruk: dbt wint terrein bij Delivery Hero

Samenvatting

dbt wint terrein bij Delivery Hero nadat klantteams platformterughoudendheid doorbreken en zelf integraties bouwen.

Wat er met dbt gebeurt

Delivery Hero werkt met ongeveer 250 dbt-projecten verdeeld over 45 gedecentraliseerde Domain Data Units. Die teams beheren samen 1.300 macro’s, 15.000 modellen en SQL-scripts en voeren maandelijks 23 miljoen taken uit.

De platformafdeling hield dbt aanvankelijk tegen. Zij had eerder het interne DataHub-framework gebouwd en hoorde via een GCP-rondetafel dat Monzo een eigen dbt-fork had vervangen nadat projecten boven 3.000 modellen trager werden. Delivery Hero vond dbt daarom eerst onvoldoende geschikt voor zijn schaal.

Vanaf 2023 testten afzonderlijke teams dbt zelfstandig. In de tweede helft van 2024 fuseerde Delivery Hero met een team dat dbt al volledig gebruikte. In oktober 2024 circuleerde een intern RFC om dbt bedrijfsbreed te standaardiseren.

Waarom dbt ertoe doet

De casus laat zien hoe de verdeling tussen een platformteam en decentrale datateams een toolkeuze bepaalt. Delivery Hero had al een intern alternatief, maar gebruikers vonden DataHub lastig te debuggen, traag bij ontwikkeling en moeilijk voor nieuwe medewerkers.

De teams wachtten niet op een besluit van het platformteam. Zij bouwden dbtflow, een Python-package dat dbt-manifesten omzet in Airflow-taken en DAG’s. Toen Astronomer Cosmos versie 1 van het opensourceproject uitbracht, stopte Delivery Hero met dbtflow en koos het voor die bestaande oplossing.

Daarmee verschuift het technische werk: het platformteam hoefde geen volledige integratie meer te onderhouden en beperkte zijn bijdrage tot een CI-laag. De bron laat nog niet zien hoe de bedrijfsbrede standaardisering afloopt, wel dat de vraag vanuit gebruikers eerder kwam dan formele platformgoedkeuring.

Concrete takeaway voor dbt-teams

Breng bij een dbt-introductie niet alleen governance en platformrisico’s in kaart. Onderzoek ook welke teams al zelfstandig experimenteren, welke integraties zij zelf onderhouden en of een project als Cosmos dubbel werk rond Airflow kan voorkomen.