DuckLake: bouw een Lakehouse op DuckDB in minder dan een uur

Samenvatting

DuckLake 1.0 bouwt op DuckDB een lakehouse met SQL-metadata en Parquet-bestanden, inclusief time travel en onderhoud.

Wat DuckLake 1.0 toevoegt

DuckLake is een open table-formaat van het DuckDB-team. De tabellen staan als Parquet-bestanden in een map of object store, terwijl metadata zoals tabellen, schema’s, snapshots en bestandsstatistieken in een SQL-database staat.

DuckLake 1.0 verscheen in april 2026 met een stabiele specificatie en gegarandeerde achterwaartse compatibiliteit. De Python-handleiding gebruikt DuckDB als catalogus en laat zien hoe je Parquet-data laadt, rijen en schema’s wijzigt, eerdere versies terugleest met time travel en onderhoud uitvoert.

Voor DuckLake 1.0 heb je DuckDB 1.5.2 of nieuwer nodig. De DuckDB-extensie wordt bij het eerste gebruik gedownload.

Waarom DuckLake relevant is

De architectuur maakt een duidelijk onderscheid tussen opslag en catalogus. Parquet bevat de gegevens; de catalogus beheert de structuur en verwijzingen naar bestanden. DuckLake gebruikt daarvoor SQL-query’s, terwijl Apache Iceberg en Delta Lake een groot deel van hun metadata in bestanden bijhouden.

De keuze voor de catalogus hangt af van de werkomgeving. DuckDB past bij één client, SQLite bij meerdere lokale clients en PostgreSQL bij een lakehouse met meerdere gebruikers. Dat maakt de installatie overzichtelijk, maar de aanpak heeft ook grenzen: DuckLake ondersteunt geen indexen, primary keys, foreign keys, UNIQUE- of CHECK-constraints.

De handleiding laat daarmee niet alleen een installatie zien, maar ook de operationele onderdelen van een lakehouse. Je krijgt een werkend project met zes Python-scripts, waaronder scripts voor data-invoer, wijzigingen, time travel en onderhoud.

Concrete takeaway voor DuckLake

Wil je DuckLake testen, begin dan met DuckDB 1.5.2 of nieuwer en een lokale catalogus. Controleer vóór migratie van bestaande tabellen welke constraints en indexen je nodig hebt, omdat DuckLake die niet ondersteunt. Kies PostgreSQL zodra meerdere gebruikers dezelfde catalogus moeten delen.