Open Data Infrastructure: hoe dbt Mesh eruitziet

Samenvatting

Open Data Infrastructure met dbt Mesh verbindt Snowflake en Databricks via Apache Iceberg, zonder onderliggende tabellen te kopiëren.

Open Data Infrastructure en dbt Mesh: wat er gebeurt

Tijdens een breakoutsessie op dbt Summit 2026 demonstreerden Jack Lowery van Fivetran en Anna Lee van dbt Labs een dbt Mesh over drie teams. De technische basis bestaat uit Apache Iceberg, gedeelde catalogi en de nieuwe specificatie catalogs.yml v2.

Een platformteam op Snowflake schreef naar Horizon, een financeteam op Databricks naar Unity en een marketingteam op Snowflake las uit beide catalogi. Catalog federation en catalog-linked databases maakten de tabellen van de ene engine zichtbaar voor de andere, zonder de onderliggende data te kopiëren.

dbt presenteerde daarnaast Managed Data Lake en Lake Compute. Managed Data Lake schrijft Iceberg- of Delta Lake-metadata naar de cloudopslag van de klant via de open-sourcecatalogus Polaris. Lake Compute draait momenteel in private beta op DuckDB en kan één dbt-model op een andere engine uitvoeren dan de rest van het project.

Waarom Open Data Infrastructure belangrijk is

ODI verplaatst de technische afspraak tussen teams van één warehouse naar twee gedeelde bouwstenen: een open tabelindeling en een catalogus die elke betrokken engine begrijpt. Snowflake en Databricks blijven hun eigen compute gebruiken, terwijl teams tabellen delen via Iceberg.

Dat verschilt van een architectuur waarin proprietary storage één warehouse centraal stelt. De demonstratie maakt ook duidelijk dat cross-platform werken meer vraagt dan meerdere aansluitingen: catalog federation, catalog-linked databases en een governance-model zoals dbt Mesh moeten samenkomen.

Lake Compute voegt daar een tweede scheiding aan toe. Een team kan een specifiek model naar DuckDB sturen, terwijl de rest van het project op Snowflake draait. Een platformmigratie is daarvoor niet nodig.

Concrete takeaway voor dbt Mesh

Breng in je dbt-project eerst de tabelindeling, catalogi en schrijvende engines in kaart. Controleer daarna of catalogs.yml v2, Apache Iceberg en catalog federation passen bij het delen van tabellen tussen Snowflake en Databricks. Bekijk Lake Compute afzonderlijk als één model op DuckDB moet draaien.