dbt: regels voor consistentie in groeiende projecten

Samenvatting

dbt-project van Bolt krijgt 14 schriftelijke regels die datamodellen consistent houden na teamgroei.

dbt-regels bij Bolt: wat er gebeurt

Bolt introduceerde de regels nadat het analytics-engineeringteam vorig jaar boven de twintig mensen uitkwam. Zonder vaste afspraken stapelden teams data op verschillende manieren, verschilden interpretaties van informele richtlijnen en gaven analisten niet langer dezelfde antwoorden.

De veertien regels schrijven onder meer voor dat tabellen voor consumptietools precies een van drie vormen hebben: een tabel voor één entiteit, een slowly changing dimension of een combinatie van entiteiten, meestal met tijdsdimensie. Zulke tabellen bevatten alleen eenvoudige selects op intermediaire modellen. Die modellen vallen op hun beurt in drie categorieën: spine, feature en metrics.

Bolt legt ook eigenaarschap en afhankelijkheden vast. Een dbt-model heeft geen gedeeld eigenaarschap. Verticale teams voor rides, delivery en rentals mogen gegevens lezen uit horizontale teams zoals billing en geo, maar niet andersom. Gedeelde logica verhuist naar een gemeenschappelijk project. Niet-optelbare metrics, zoals distinct counts, komen in aparte marts. De BI-tool van Bolt vereist daarbij een metric key om ongeldige aggregaties over verschillende grains te blokkeren.

Waarom dbt-regels belangrijk zijn

Bolt laat zien dat de aanwezigheid van dbt op zichzelf geen goed datamodel garandeert. De meerwaarde zit hier in expliciete afspraken die modelvormen, eigenaarschap, afhankelijkheden en metric-definities controleerbaar maken.

Voor BI-teams verkleint deze structuur de ruimte voor dubbele definities. Een metric wordt één keer vastgelegd op de brontabel. Een afgeleide waarde op een andere grain krijgt een andere classificatie, in plaats van een tweede versie van dezelfde metric. Dat voorkomt dat een rapport een distinct count optelt alsof die waarde additive is.

De regels bleken na ongeveer zes maanden zonder grote problemen te werken. Dat resultaat onderstreept vooral de praktische functie van documentatie: teams kunnen een model toetsen aan een afgesproken vorm, in plaats van per project opnieuw te onderhandelen.

Concrete takeaway voor dbt-projecten

Breng de regels van je dbt-project schriftelijk onder in een korte structuurhandleiding. Controleer daarna per model de vorm, eigenaar, afhankelijkheidsrichting en grain. Geef niet-optelbare metrics een afzonderlijke mart en dwing een expliciete sleutel af voordat een BI-tool ze aggregeert.