Figma: dbt-tests als bugdetectie met meer dan 100 ontdekkingen per maand

Samenvatting

Figma gebruikt dbt-tests als consistency checkers en vindt daarmee in een normale maand meer dan 100 code- en datafouten.

Figma en dbt-consistency checkers

Figma bouwde tijdens een herontwerp van het facturatiemodel meer dan 100 consistency checkers. Deze dbt singular tests controleren bedrijfs- en productregels die gewone unit-tests en bug bashes niet afvangen. Het oude true-up-model maakte plaats voor een model waarin elke gebruikersstoel vooraf goedkeuring nodig heeft. Daarbij stonden meer dan 500.000 betaalde abonnementen en 5 miljoen betalende gebruikers op het spel, naast de nauwkeurigheid die nodig was voor een geplande beursgang.

Dagster voert de controles volgens een schema uit op Snowflake. Fouten worden afzonderlijk en gebundeld opgeslagen. PagerDuty en Slack verzorgen meldingen, Asana en Linear volgen taken, en Hex helpt bij het onderzoek. Engineers kunnen een verwachte fout terugschrijven naar het systeem.

Waarom Figma’s dbt-tests tellen

Tijdens het facturatieproject vonden de checkers minstens vijf afwijkingen die het project of de beursgang hadden kunnen blokkeren. Inmiddels draait Figma meer dan 450 checkers binnen 15 product- en bedrijfsfuncties. In een normale maand signaleren ze meer dan 100 echte code- en datafouten. Dezelfde aanpak controleert ook het AI-creditsysteem, met meer dan 45 AI-functies die door meer dan 700.000 klanten worden gebruikt.

Figma scheidt routinecontroles van bedrijfsgerichte controles. Gewone dbt-tests blijven in de DAG en bewaken modelbrekende fouten. Consistency checkers richten zich op problemen die gebruikers, facturatie of productlogica raken. Software engineering beheert beide soorten controles; data science ondersteunt bij complexe SQL.

De eerste versie produceerde veel ruis: 67 procent van de meldingen was vals positief. Een tweede synchronisatie, hulp van AI-agents bij SQL en toegang tot vollediger datasets met juridische goedkeuring brachten dat aandeel terug naar 33 procent.

Concrete takeaway voor dbt-tests

Maak bij nieuwe controles eerst onderscheid tussen modelintegriteit en bedrijfslogica. Koppel bedrijfsgerichte dbt-tests daarna direct aan meldingen, taakbeheer en onderzoek. Voeg een tweede controle na synchronisatie toe en registreer waarom een fout verwacht was. Zo groeit een losse test uit tot een beheerd controlesysteem.