dbt v2: snellere parsing en gedeelde adapterlaag

Samenvatting

dbt v2 parseert een project met 1.800 modellen in ongeveer drie seconden, tegenover tien tot dertien seconden in v1.

dbt v2 en de gedeelde adapterlaag: wat er gebeurt

dbt v2 bereikte op de meeste adapters algemene beschikbaarheid. dbt Labs brengt overlappende onderdelen van v1 en v2 samen in één engine en één binary, al duurt de volledige migratie volgens het bedrijf nog jaren.

De nieuwe architectuur plaatst adapters op een gedeelde laag die steunt op de ADBC-driverstandaard. Snowflake en Databricks draaiden in de demonstratie naast elkaar zonder versieconflicten. Teams kunnen de v2-parser al gebruiken vanuit dbt v1.12 om compatibiliteit vooraf te controleren. Met dbt autofix deprecations werden 22 gemelde problemen in ongeveer vijf minuten opgelost.

Waarom dbt v2 belangrijk is

De adapterlaag verbergt verschillen tussen databases. Snowflake maakt identifiers bijvoorbeeld hoofdlettergevoelig, terwijl Postgres ze naar kleine letters omzet. Ook verschillen de databases in hun ondersteuning voor timestamp-typen. In v1 zat elke adapter in een eigen repository met een eigen afhankelijkheidsketen. Het installeren van een tweede adapter kon daardoor dbt Core downgraden of conflicterende SDK’s binnenhalen.

dbt v2 koppelt die adapters aan dezelfde engine. Dat maakt het gedrag consistenter bij projecten die meerdere warehouses gebruiken. De parserwinst is eveneens concreet: een synthetisch project met 1.800 modellen en 72 YAML-bestanden ging van ongeveer tien tot dertien seconden naar ongeveer drie seconden.

Voor documentatie vervangt Docs v2 het omvangrijke manifest.json door kleine, bevraagbare Parquet-bestanden. In dezelfde test bevatte het manifest bijna een half miljoen regels JSON. Queries konden vervolgens kolomlijnage en de downstream-impact van een hernoemde kolom tonen.

Concrete takeaway voor dbt-teams

Gebruik de parser in dbt v1.12 vóór een migratie naar v2 en draai dbt autofix deprecations op bestaande projecten. Test daarna de gebruikte adapters samen, vooral wanneer Snowflake en Databricks in één omgeving voorkomen.