EF Education First: kost- en waarde laag voor dbt-modellen met Snowflake

Samenvatting

EF Education First koppelt dbt-modellen aan Snowflake-kosten en gebruik, met 40 procent efficiëntiewinst bij zware pipelines.

Snowflake en dbt: wat er gebeurt

EF Education First bouwde met dbt en Snowflake een scoresysteem voor elk model en elke test. Het systeem gebruikt uitvoeringstijd, verbruikte credits en verwerkte rijen per seconde. Modellen krijgen een percentielscore ten opzichte van vergelijkbare modellen, zodat grote fact-tabellen niet automatisch slechter scoren dan kleine modellen.

De aanpak ontstond na de migratie van SQL Server naar Snowflake. Waar kosten eerder vastlagen, brengt Snowflake verbruikskosten per domeinwarehouse met zich mee. EF Education First koppelde daarom Snowflake-gebruiksgegevens aan Power BI-activiteitslogs en plaatste die informatie in een beheerde semantic layer.

Snowflake Cortex Agent: waarom dit belangrijk is

Domeinteams beheren bij EF Education First hun eigen marts en bedrijfslogica. De Snowflake Cortex Agent geeft deze teams toegang tot de scores en houdt rekening met het domein, de gebruiker en het verantwoordelijke team. Daardoor kunnen teams zelf nagaan welke modellen weinig gebruik kennen of relatief veel credits kosten.

De uitkomsten zijn concreet. Zware pipelines werden in sommige gevallen 40 procent efficiënter. Een groot model ging van 10 minuten naar 2 minuten. In sommige Power BI-werkruimtes verdwenen tot 70 procent van de rapporten nadat laag gebruik zichtbaar werd.

Fivetran leverde inmiddels een native Power BI-connector die de aangepaste ingestion-pijplijn in de toekomst kan vervangen. De grootste blijvende uitdaging is volgens EF Education First het gebruik van de agent zelf.

dbt-modellen: concrete takeaway

Maak per dbt-model kosten en gebruik zichtbaar voordat je optimalisaties prioriteert. Vergelijk modellen met vergelijkbare omvang, koppel Snowflake-credits aan Power BI-activiteit en laat het verantwoordelijke domeinteam zelf de laagst scorende modellen beoordelen.