Onelake Iceberg op één node komt eindelijk samen

Samenvatting

OneLake Iceberg brengt meerdere query-engines samen op één catalogus, zonder Fabric-compute buiten opslagtransacties.

Wat OneLake Iceberg laat zien

Een gebruiker zette twee Fabric-notebooks over naar GitHub Actions. De tests gebruikten DuckDB, Polars, chDB, LakeSail, Spark OSS en Daft tegen dezelfde OneLake Iceberg REST-catalogus.

De proef omvatte 22 TPC-H-query’s op SF10 en het laden van 1000 CSV-bestanden, samen 52 GB, in één Iceberg-tabel. Daarvoor draaide geen Fabric-compute; alleen opslagtransacties kwamen voor rekening van OneLake.

Waarom OneLake Iceberg telt

De opzet laat zien dat verschillende engines dezelfde Iceberg-tabel en catalogus kunnen gebruiken zonder dat elke test een eigen Fabric-runtime nodig heeft. Dat maakt de vergelijking tussen query-engines overzichtelijker: de catalogus en dataset blijven gelijk, terwijl de uitvoeromgeving wisselt.

Ook de uitvoering buiten Fabric verdient aandacht. GitHub Actions neemt de notebooks over, terwijl de repository het ruwe JSON van elke run bewaart. BI-teams krijgen daarmee een controleerbaar spoor van testinstellingen en resultaten, zonder opgeslagen secrets in de workflow.

De bron beschrijft geen winnaar tussen de engines en meldt ook geen querytijden. De waarde zit hier dus in de testopzet: één tabel, één catalogus en meerdere verwerkingslagen. Dat sluit aan bij een lakehouse-architectuur waarin opslag en rekenkracht losser van elkaar worden gebruikt.

Concrete takeaway voor OneLake Iceberg

Zet een kleine reproduceerbare proef op met een gedeelde OneLake Iceberg REST-catalogus, een vaste dataset en de engines die je team gebruikt. Laat GitHub Actions de notebooks uitvoeren en bewaar per run het ruwe JSON. Vergelijk pas daarna prestaties of kosten; zonder identieke data en catalogus zegt een enginevergelijking weinig.