Virgin Media O2: 30% lagere kosten door dbt geheugen

Samenvatting

Virgin Media O2 verlaagt compute-kosten met 30% door dbt State en dbt v2 in te zetten voor hergebruik van eerder uitgevoerd werk.

dbt v2 en dbt State: wat er gebeurt

Virgin Media O2 draait een single-tenant dbt-platform op BigQuery voor 42 miljoen klanten, meer dan 300 dbt-gebruikers, ruim 100 federatieve projecten en meer dan 5.500 modellen. Het team verving stateless builds door dbt v2, een in Rust herschreven orchestration engine, in combinatie met dbt State.

De grootste test was de Nutcracker-job met 1.424 modellen. Zonder state duurde die run ongeveer 1 uur en 53 minuten; met state was dat ongeveer 1 uur en 13 minuten. dbt hergebruikte 32 modellen en voerde 1.392 modellen opnieuw uit, omdat het systeem op kolomniveau kon bepalen wat upstream was veranderd.

Waarom dbt State belangrijk is

De case laat zien waar een dbt-omgeving op enterprise-schaal tegenaan loopt. Een kleine wijziging in één stagingmodel kon het volledige project opnieuw laten parsen, compileren en uitvoeren, soms in zowel UAT als productie. Dat veroorzaakte een redundante buildcyclus met hogere BigQuery-compute, langere wachttijden en meer contextwisselingen voor ontwikkelaars.

Virgin Media O2 rekent daarom niet alleen infrastructuurkosten mee. Het team benoemt ook verloren ontwikkeltijd, herstelwerk en beslissingen die blijven liggen terwijl een pipeline draait. dbt State verschuift de aanpak van alles opnieuw bouwen naar gewijzigd werk uitvoeren en ongewijzigd werk hergebruiken.

Concrete takeaway voor dbt-teams

Breng bij grote dbt-projecten eerst in kaart hoeveel modellen elke wijziging opnieuw laat bouwen. Vergelijk daarna een representatieve job met en zonder dbt State en meet naast doorlooptijd ook BigQuery-slotverbruik, ontwikkeltijd en herhaalde builds.