Mitratech: onboarding klantdata teruggebracht van 6 weken naar 3 dagen

Samenvatting

Mitratech brengt onboarding van klantdata met dbt terug van zes weken naar drie dagen.

dbt maakt DataShare beheersbaar

Mitratech bouwde DataShare voor klanten die gegevens uit zijn complianceproducten willen bevragen. Het bedrijf gebruikt dbt daarbij niet alleen voor transformaties, maar ook als orkestratielaag voor provisioning, deprovisioning, metadata en logging.

De oplossing ontstond nadat afdelingen steeds nieuwe verzoeken indienden om data uit SaaS-producten beschikbaar te maken voor dashboards. Die verzoeken vereisten vaak aangepaste Python-scripts en hielden rekening met verschillende schema’s, tenancy-modellen en gevoelige juridische of HR-gegevens.

DataShare gebruikt Snowflake reader accounts voor klanten zonder eigen Snowflake-omgeving. Klanten met een eigen omgeving krijgen een rechtstreekse beveiligde Snowflake-to-Snowflake-share.

dbt scheidt configuratie van code

De herbouw draait om vier control- en logtabellen. Daardoor kan het CloudOps-team een nieuwe klant als data-entrytaak aanmelden, zonder telkens een engineeringverzoek te openen. Eén dbt-opdracht start de provisioning of deprovisioning.

Het pakket wijkt af van een standaard dbt-project. Het bevat geen models, seeds of tests, maar macro’s die Snowflake stored procedures installeren en aanroepen via dbt run-operation. Een pipeline met vijf fasen maakt onder meer schema’s, logtabellen, beveiligde views en Snowflake-share-objecten aan.

De configuratie bepaalt ook filters per tenant en klant, uitsluitingen voor persoonlijk identificeerbare informatie en encryptie. De aanpak veranderde DataShare bovendien van een oplossing voor één product in een productiseerbare dienstverlening. Mitratech beschrijft de dataorganisatie daardoor niet langer alleen als kostenpost, maar ook als bron van upsellomzet.

Concrete takeaway met dbt en Snowflake

Breng bij vergelijkbare datadiensten provisioninglogica, toegangsregels en klantconfiguratie onder in afzonderlijke tabellen en herbruikbare dbt-macro’s. Meet daarna de operationele winst: bij Mitratech daalde de tijd per verzoek met 97 procent, van naar schatting 26 tot 40 uur naar enkele platformopdrachten. De levering ging van drie tot zeven werkdagen naar ongeveer één dag.