dbt State: stoppen met onnodig opnieuw opbouwen

Samenvatting

dbt State stopt ongewijzigde modellen opnieuw te bouwen en selecteert per run wat moet gebeuren.

dbt State bespaart werk in dbt

dbt State is algemeen beschikbaar op elke plek waar teams dbt uitvoeren, waaronder Airflow, Dagster, GitHub Actions en een laptop. De dienst werkt op Snowflake, BigQuery, Databricks en Redshift en is ook beschikbaar voor dbt-projecten op Snowflake.

Bij elke run leest dbt State de SQL van modellen en metadata uit het datawarehouse. Daarna bepaalt het per onderdeel of het moet bouwen, overslaan, klonen of uitstellen. Teams hoeven daarvoor geen selectiesyntax, manifest-scripts of eigen orkestratie te onderhouden.

Databricks en andere warehouses blijven onderdeel van dezelfde werkwijze. Het verschil zit in de selectie van werk: dbt State vervangt een vast schema door uitvoering op basis van wijzigingen.

dbt State verlaagt warehousegebruik

Volgens dbt bouwen teams dagelijks meer dan 22 miljoen modellen. Wanneer upstreamdata niet is vernieuwd, leveren veel van die herbouwde modellen hetzelfde resultaat als de vorige run. Vroege gebruikers melden gemiddeld 15 tot 30 procent lagere compute-kosten.

RxBenefits rapporteert 59 procent lagere kosten voor geplande jobs op een Snowflake adaptive warehouse. Het bedrijf hergebruikte meer dan 700.000 modellen en verkortte de totale querylooptijd met twee weken over een periode van 60 dagen. Ook Virgin Media O2 meldt 25 procent lagere kosten voor jobruns en BigQuery-compute.

De impact zit niet alleen op de factuur. Teams hoeven minder jobs, tags, selectors en freshness-controles op verschillende schema’s te combineren. Daarmee verschuift orkestratie van handmatig plannen naar het vaststellen welke resultaten werkelijk opnieuw nodig zijn.

dbt State vraagt om gecontroleerde invoering

Start met een vergelijking tussen bestaande runs en de beslissingen van dbt State. Meet jobduur, compute-kosten en het aantal herbouwde modellen voordat je configuraties aanpast.

Test daarna de instellingen per project en controleer vooral freshness-eisen en afhankelijkheden. Snowflake-gebruikers kunnen ook een adaptive warehouse beoordelen, omdat dbt meldt dat afgestemde configuraties en die warehousekeuze de grootste compute-besparing opleveren.