Samenvatting
PetScreening print dagelijks meer dan 1.000 QR-tags via een dbt-pijplijn die softwaredata rechtstreeks naar machines stuurt.
dbt-pijplijn als productieketen
PetScreening beheert met FIDO Alert een netwerk voor vermiste huisdieren. Leden krijgen een QR-tag die naar hun telefoonnummer verwijst; bij een vermissing verspreidt het netwerk een melding binnen een straal van 10 mijl. FIDO Alert telt 1,6 miljoen gebruikers en 2,2 miljoen huisdieren en hielp meer dan 75.000 dieren herenigen met hun eigenaar.
De tagproductie liep eerst via externe leveranciers. Medewerkers wisselden handmatig gedownloade CSV-bestanden per e-mail uit, zonder controle op de gegevens. Daardoor ontstond een achterstand van drie maanden. PetScreening haalde de productie naar binnen en koppelde de machines aan het bestaande dbt-project. De machine werd daarmee een bestemming voor gemodelleerde data, vergelijkbaar met een dashboard als eindpunt.
FIDO Alert en medallion architecture
FIDO Alert veranderde in drie jaar tijd drie keer van verkoopkanaal: van een ingebouwde winkel in PetScreening naar een aparte Shopify-winkel en daarna naar de huidige inrichting. Elke overstap wijzigde de bron en structuur van de binnenkomende gegevens.
De medallion architecture en modulaire dbt-modellen hielden de productie tijdens die wissels draaiend. Het team kon modellen vervangen zonder de hele keten stil te leggen. Een fuzzy-matchingstap die eerder slechte klantgegevens corrigeerde, verdween toen de schonere Shopify-bron die problemen niet meer veroorzaakte.
De casus maakt een concreet verschil zichtbaar tussen een fout in een rapport en een fout in fysieke productie. Verkeerde data verspilt hier materiaal en kan een bestelling naar de machine sturen die niet klopt. Dat vraagt naast modellering ook om controles op volledigheid, matching en uitvoerbaarheid.
Concrete takeaway voor dbt-teams
Behandel een fysieke machine als een volwaardige bestemming van je datamodel. Leg per bron vast welke velden de productie nodig heeft, test wijzigingen eerst op gevolgen voor materiaal en orders en ontwerp modellen zo dat een bronwissel geen volledige herbouw vereist.
Verdiep je kennis
ETL uitgelegd — Extract, Transform, Load in gewone taal
Wat is ETL? Leer hoe Extract, Transform en Load werkt, het verschil met ELT, en welke tools je kunt gebruiken. Helder ui...
KennisbankData lakehouse uitgelegd — Het beste van twee werelden
Wat is een data lakehouse en waarom combineert het het beste van data warehouses en data lakes? Vergelijking, architectu...
KennisbankDashboard design — 7 regels voor effectieve datavisualisatie
Leer de 7 gouden regels voor effectief dashboard design. Van het kiezen van het juiste grafiektype tot visuele hiërarchi...