Sweetwater: gebroken dbt-pijplijnen vroegtijdig opgemerkt met Datadog

Samenvatting

Sweetwater gebruikt Datadog om gebroken dbt-pijplijnen vroeg te signaleren, voordat dashboards fouten tonen.

Datadog en dbt brengen storingen eerder in beeld

Sweetwater Sound bouwde een data-observabilitypraktijk rond Datadog terwijl het zijn dbt-platform uitbreidde. De aanleiding was niet alleen technische schaal: een hourly salesdashboard toonde facturen zonder toegewezen verkoopkanaal, terwijl records nog steeds in de brontabellen binnenkwamen.

De data engineers volgden via bestaande Datadog-dashboards voor Kafka-inserts per topic een piek in transacties naar één websql-bron. Daar vonden ze een verouderd script dat verkeerd stond ingepland. Na het aanpassen van de planning startte Sweetwater een gesprek over het verplaatsen van deze workload naar het cloud warehouse.

De aanpak bouwt voort op een bredere platformmigratie. In 2023 begon Sweetwater met een governed infrastructuur op basis van dbt, waarbij 26 afdelingen en meer dan 100 betrokkenen uit onder meer business intelligence, data engineering en data science meewerkten. In 2025 was Domo volledig uitgefaseerd. Het dbt-project bevat inmiddels meer dan 11.000 kolombeschrijvingen.

Waarom Datadog en dbt belangrijk zijn

Sweetwater laat zien waarom alleen controleren of data aankomt niet genoeg is. In dit geval bleef de bron data leveren, maar ontbrak de juiste toewijzing in het dashboard. Monitoring van volume, herkomst en verwerking gaf het team een route van dashboardsignaal naar bronsysteem en foutieve planning.

Datadog was al in gebruik bij databasebeheerders en data engineers voor het monitoren van bronsystemen. Door dezelfde tool uit te breiden naar de eigen pipelines hoefde Sweetwater geen afzonderlijk observabilityproduct intern te introduceren. Dat verbindt IT-monitoring met de dbt-keten.

Concrete takeaway voor Datadog- en dbt-teams

Controleer naast freshness ook transact volumes, bronafwijkingen en kritieke attributen zoals verkoopkanaal. Leg bovendien vast hoe een dashboardsignaal terugleidt naar Kafka, websql, een script en de dbt-verwerking. Zo krijgt het team een concreet onderzoekspad wanneer data wel binnenkomt, maar inhoudelijk niet klopt.