Unity Catalog: verbeteringen voor open lakehouse besproken

Samenvatting

Unity Catalog ondersteunt REGISTER en UNREGISTER voor Apache Iceberg, zodat tabellen van catalogus kunnen wisselen zonder data te kopiëren.

Unity Catalog: wat er gebeurt

Databricks beschrijft Unity Catalog als een open catalogus voor het lakehouse. De catalogus gebruikt opslag die de klant bezit en laat tabellen daar staan, terwijl geavanceerde tabelmogelijkheden ook op die opslag beschikbaar blijven.

De opvallendste uitbreiding zit in ondersteuning voor zowel REGISTER als UNREGISTER uit de Apache Iceberg REST-catalogusspecificatie. Daardoor kunnen bestaande Iceberg-tabellen een catalogus binnenkomen of verlaten zonder dat Databricks de onderliggende data hoeft te verplaatsen. Databricks droeg UNREGISTER bij aan de Iceberg-specificatie als open standaard.

Waarom Unity Catalog belangrijk is

Open tabelindelingen alleen maken een catalogus nog niet open. Volgens Databricks moet een open catalogus aan drie voorwaarden voldoen: opslag in een omgeving die de klant bezit, volledige tabelmogelijkheden op die opslag en de mogelijkheid om tabellen zonder kopieeractie te verplaatsen.

Dat onderscheid raakt de inrichting van lakehouses. Bij providergecontroleerde opslag bepaalt de aanbieder waar de bestanden staan en kunnen kosten of extra stappen ontstaan wanneer data de omgeving verlaat. Ontbreken functies op klantopslag, dan kan een team bovendien worden gedwongen tabellen naar provideropslag te verplaatsen om die functies te gebruiken.

Voor BI- en analytics-teams verschuift de beoordeling van een catalogus daarmee van alleen formaatondersteuning naar controle over opslag en verplaatsbaarheid. Bij een platformvergelijking hoort dus niet alleen de vraag of Apache Iceberg wordt ondersteund, maar ook wat er gebeurt met een bestaande Iceberg-tabel bij REGISTER en UNREGISTER.

Concrete takeaway

Leg bij een catalogusevaluatie drie controles vast: waar de tabel fysiek staat, welke functies op klantopslag werken en of je een bestaande Iceberg-tabel zonder datakopie kunt registreren en verwijderen. Test die laatste stap expliciet met REGISTER en UNREGISTER.