Kramp: analistenopleiding verkort van dagen naar minuten met dbt

Samenvatting

Kramp verkort analistenopleiding van dagen naar minuten met een self-service dbt Mesh-fabriek.

dbt Mesh bij Kramp: wat er gebeurt

Kramp bouwde Data Project Factory, een Terraform-module die met alleen een teamnaam en e-mailadres van de eigenaar automatisch een GCP-project, dbt-project en drie GitHub-repositories aanmaakt. Daarmee kunnen domeinteams hun eigen infrastructuur, dbt-project en toegangsrechten beheren binnen vaste technische kaders.

De aanleiding was een kleine centrale datateam dat wekelijks tientallen domeinaanvragen kreeg. Analisten maakten daarom eigen, niet-versiebeheerde BigQuery-query’s onder persoonlijke accounts. Geplande taken vielen stil wanneer de maker vertrok, terwijl het centrale team superuser-toegang had tot onder meer klant- en salarisgegevens.

Kramp bouwde de oplossing in ongeveer twee jaar en voerde drie migraties uit. Een daarvan verplaatste de transformatielaag van Dataform naar dbt Platform voor 1.400 bronnen en 5.000 modellen, zonder bestaande downstreamgebruikers te breken.

Data Project Factory en dbt Mesh: waarom dit belangrijk is

Kramp verdeelt eigenaarschap per domein, maar laat governance niet volledig los. Pull requests krijgen CI-controles en teams volgen een maturity-scoremodel. Elk domein krijgt bovendien alleen toegang tot de presentation layer die andere teams mogen hergebruiken. Dat beperkt de verspreiding van gevoelige gegevens en maakt verantwoordelijkheden zichtbaar.

De aanpak combineert Google BigQuery, dbt Platform, Terraform en GitHub. Data Project Factory vormt daarbij de schakel tussen self-service en controle: teams provisionen hun eigen omgeving, terwijl de inrichting vooraf is vastgelegd. Dat verschilt van de eerdere situatie waarin het centrale team infrastructuur en toegangsrechten handmatig beheerde.

De casus laat ook zien dat een data mesh niet alleen uit domeineigenaarschap bestaat. Kramp koppelt dat eigenaarschap aan catalogisering via dbt Catalog, CI-regels en toegangsbeheer. Zonder die technische grenzen verschuift werk wel naar domeinen, maar blijft het risico op ongecontroleerde queries bestaan.

Concrete takeaway voor dbt-teams

Breng eerst per domein de minimale standaard in kaart: projectstructuur, repositories, rechten, CI-controles en zichtbaarheid in dbt Catalog. Automatiseer die standaard daarna met Terraform, zodat nieuwe teams zelfstandig starten zonder opnieuw superuser-toegang of losse BigQuery-query’s te creëren.