WebstaurantStore: Snowflake Cortex AI automatiseert dbt-staging voor 700+ bronnen

Samenvatting

Snowflake Cortex AI automatiseert dbt-staging voor meer dan 700 bronnen in 90 dagen met een team van drie engineers.

Snowflake Cortex AI automatiseert dbt-staging

WebstaurantStore verving een vastgelopen SQL Server-datawarehouse door een pipeline die data vanuit de landinglaag naar een bronzelaag brengt. Het oude systeem bevatte meer dan 1.300 sterk gekoppelde stored procedures. Door een jaarlijkse volumegroei van ongeveer 40 procent liepen batchverwerkingen tegen de grenzen van het nachtelijke verwerkingsvenster aan.

Snowflake Cortex LLM-functies lezen metadata uit legacy-OLTP-bronnen en stellen leesbare kolomnamen en bedrijfsdefinities voor. Die voorstellen komen eerst in een reviewtabel terecht. Engineers controleren of wijzigen ze daar, waarna dbt Jinja-macro’s alleen de goedgekeurde metadata gebruiken voor productie-SQL en YAML-documentatie.

Waarom Snowflake Cortex AI belangrijk is

De opvallendste keuze zit niet alleen in de automatisering, maar in de controle eromheen. WebstaurantStore laat de ruwe AI-uitvoer niet rechtstreeks productiemodellen aansturen. De reviewtabel vormt een vaste scheiding tussen voorstel en uitvoering.

Dat ontwerp maakt de herkomst van naamgeving en definities zichtbaar voor het team. Het vervangt bovendien handmatige staging per tabel door herbruikbare logica in dbt. Daarmee behandelt de pipeline metadata als een beheerd onderdeel van de data-infrastructuur, in plaats van als losse documentatie naast SQL.

De aanpak leverde volgens het team een vertienvoudiging van de inlaadsnelheid op. Met dezelfde drie engineers kwamen meer dan 700 bronnen in 90 dagen beschikbaar. Een bron zonder watermark voor wijzigingsdetectie vormde nog een lastig geval en vereiste aanvullende technische keuzes.

Concrete takeaway voor Snowflake Cortex AI en dbt

Gebruik AI-uitvoer niet rechtstreeks in productie. Bouw eerst een goedkeuringslaag waarin engineers kolomnamen en definities controleren, en laat dbt uitsluitend uit die goedgekeurde tabel compileren. Inventariseer daarnaast bronnen zonder watermark vroeg in het ontwerp; juist daar kan de automatisering extra handwerk vragen.