dbt en Dagster: Sigma's 2.883-model semantische laag

Samenvatting

dbt en Dagster ondersteunen Sigma’s semantische laag met 2.883 modellen, verdeeld over zes datagebieden en 63 jobs.

dbt en Dagster: wat er gebeurt

Sigma Computing beheert de semantische definities als versiegestuurde code in een dbt-project. Dagster orkestreert 63 jobs die de modellen bouwen en uitrollen over 2.883 dbt-modellen en zes datagebieden.

De definities staan in SQL en Jinja, met expliciete controle per kolom. Pakketten zoals dbt-sigma-data-model, dbt-semantic-view en dbt-cortex-agent zetten dezelfde definities om naar Sigma-datamodellen, Snowflake semantic views en Cortex-agents. Dagster haalt het dbt-manifest uit S3, voert een state-aware dbt build uit en synchroniseert de resultaten via de Sigma-API.

Waarom de semantische laag belangrijk is

Sigma gebruikt de semantische laag niet alleen voor rapportage, maar ook als instructielaag voor AI-toepassingen. Die laag legt regels vast voor onder meer PII en SQL-opmaak, zodat AI-oppervlakken dezelfde metriekdefinities gebruiken. Context, synoniemen en geverifieerde queries geven agents bovendien meer houvast dan generieke text-to-SQL.

De architectuur scheidt metriekdefinities van de toepassingen die ze gebruiken. Daardoor kunnen dezelfde dbt-nodes meerdere uitvoervormen opleveren, zonder de logica telkens opnieuw te schrijven. Open Semantic Interchange, bijgenaamd Ossie, verkent daarnaast conversie tussen een Snowflake semantic view, een dbt-metriek en een Sigma-datamodel. Dat adresseert direct het risico dat definities aan één leveranciersformaat vastzitten.

Concrete takeaway voor dbt en Dagster

Behandel metriekdefinities als code: versioneer ze in dbt, beperk de zichtbaarheid per kolom en leg vast welke queries een agent mag gebruiken. Ontwerp de orkestratie vervolgens rond manifesten, regio’s en synchronisatie, zoals Sigma dat met Dagster uitvoert. Controleer ook of je definities later naar andere formaten kunnen worden vertaald; Ossie laat zien dat die uitwisselbaarheid een afzonderlijk ontwerpcriterium wordt.