dbt zonder warehouse: DuckDB end-to-end oplossing

Samenvatting

DuckDB koppelt dbt v2 aan een ingebouwde adapter en draait offline builds zonder warehousekosten.

Wat dbt v2 en DuckDB samen brengen

dbt v2 wordt geleverd met een ingebouwde DuckDB-adapter. Een profiel hoeft alleen het uitvoertype duckdb en een bestandspad te bevatten; authenticatie en creditcardgegevens zijn niet nodig. Zonder bestandspad ontstaat een tijdelijke database in het geheugen, geschikt voor tests.

Tijdens dbt Summit 2026 demonstreerde DuckDB-medeoprichter Hannes Mühleisen een volledig offline dbt-build. Zijn laptop verwerkte ongeveer 10 gigabyte aan gecomprimeerde Wikipedia-paginabezoeken, met window functions over miljoenen titels en een aggregatie over ongeveer 300 miljoen rijen. De build was na ongeveer drie seconden klaar.

Waarom dbt en DuckDB belangrijk zijn

DuckDB richt zich op analytische verwerking op één machine. Mühleisen plaatste de technologie tussen spreadsheettools zoals Excel en gedistribueerde systemen zoals Spark. Volgens een aangehaalde analyse van Fivetran scant de mediane warehousequery ongeveer 100 megabyte; bij het 99,9e percentiel gaat het om ongeveer 300 gigabyte. Beide volumes passen volgens de presentatie op een laptop.

Dat maakt de keuze voor een warehouse minder vanzelfsprekend bij lokale analyses, tests en datasets die geen gedistribueerde rekenkracht nodig hebben. DuckDB leest CSV-, Parquet- en Iceberg-bestanden rechtstreeks, zonder importstap. Ook bevat het SQL-functies zoals GROUP BY ALL, UNION BY NAME, PIVOT en summarize. GROUP BY ALL is inmiddels ook overgenomen door Snowflake, Databricks en Postgres.

DuckDB 2.0 staat gepland rond oktober 2026, met een herschreven SQL-parser, een variant-datatype en algemene beschikbaarheid van het client-serverprotocol Quark.

Concrete takeaway voor dbt-gebruikers

Test dbt v2 met DuckDB op een representatieve lokale dataset voordat je automatisch een warehouse inzet. Gebruik een bestandspad voor herhaalbare builds en een tijdelijke database voor geïsoleerde tests. Houd DuckDB 2.0 en Quark in de gaten als je lokale verwerking later met client-servertoegang wilt combineren.