Dataportabiliteit: voorkomen van catalogus lock-in met APIs

Samenvatting

Dataportabiliteit krijgt met REGISTER en UNREGISTER een overdraagbare catalogus zonder dat tabellen of bestanden worden gekopieerd.

Dataportabiliteit met REGISTER en UNREGISTER: wat er gebeurt

Databricks beschrijft twee endpoints voor het overdragen van catalogusbeheer over een bestaande tabel. REGISTER koppelt een tabel aan een andere catalogus via de locatie van de bestaande metadata. De data blijft staan in de bucket van de klant.

UNREGISTER voorkomt dat de oude catalogus de tabel nog beheert. De endpoint laat die catalogus de tabel vergeten en geeft de exacte verwijzing terug die de volgende catalogus nodig heeft. Daardoor ontstaat geen split-brain-situatie waarin twee catalogi tegelijk denken dat zij de actuele eigenaar zijn.

De aanpak sluit aan op de Apache Iceberg REST catalog-specificatie. Een tabel verplaatsen via DROP is riskant, omdat die handeling ook onderliggende data en metadata kan opruimen.

Waarom dataportabiliteit belangrijk is

Open tabelindelingen lossen slechts een deel van catalogusafhankelijkheid op. Met opslag in een klantgestuurde bucket kunnen engines zoals Spark en Trino dezelfde tabellen lezen zonder duplicatie, maar de catalogus blijft verantwoordelijk voor schema, historie, statistieken en de actuele tabelstatus.

Databricks maakt daarmee een onderscheid tussen open opslag en open beheer. REGISTER en UNREGISTER verplaatsen het beheer zonder herschrijven, exporteren of kopiëren van bestanden. Dat geeft architectuurteams meer controle wanneer zij van catalogus wisselen of meerdere catalogi naast elkaar gebruiken.

De catalogus coördineert bovendien commits en voorkomt dat twee schrijvers elkaar stil overschrijven. Een overdracht moet die controle dus expliciet meenemen; alleen een tabel opnieuw registreren volstaat niet.

Concrete takeaway voor dataportabiliteit

Leg bij elke Iceberg-migratie eerst de metadata-locatie en eigendomsoverdracht vast. Gebruik REGISTER voor de nieuwe catalogus en UNREGISTER voor de oude, en vermijd DROP wanneer de bestanden in de klantbucket moeten blijven staan.