OpenSharing: vervangen van bestand- en API-feeds in deel 1

Samenvatting

OpenSharing vervangt SFTP- en API-feeds door tabellen rechtstreeks te lezen, met incrementele updates en toegangslogs.

OpenSharing leest gedeelde tabellen rechtstreeks

Databricks beschrijft OpenSharing als een open protocol waarmee afnemers een tabel op de locatie van de aanbieder lezen, in plaats van een kopie op te slaan. Het protocol werkt met open table formats zoals Delta Lake en Iceberg. Daardoor hoeft de afnemer niet op Databricks te draaien om gedeelde tabellen te lezen.

OpenSharing volgt wijzigingen via streaming of change data feed. Nieuwe records worden beschikbaar zodra de eigenaar ze naar de tabel schrijft. Een ontvanger hoeft daardoor niet zelf bij te houden welke delen van bestanden al zijn verwerkt.

Waarom OpenSharing relevant is voor feeds

SFTP-bestanden, API-koppelingen en managed connectors blijven bruikbare patronen, maar elke klantfeed vraagt eigen monitoring en foutafhandeling. Bestanden kunnen opnieuw moeten worden verwerkt, incrementele ladingen kunnen breken en historische backfills kunnen afhangen van een nieuwe export door de klant. Daarnaast slaan ontvangers vaak een tweede kopie van dezelfde gegevens op.

OpenSharing verplaatst een deel van die verantwoordelijkheid naar de gedeelde tabel zelf. De eigenaar geeft toegang met een grant op een tabel die al wordt onderhouden. Auditlogs leggen vervolgens vast wanneer een ontvanger de gedeelde gegevens benadert. Dat geeft de aanbieder meer zicht op het gebruik, zonder voor elke ontvanger een aparte API of SFTP-koppeling te beheren.

De aanpak markeert geen vervanging van elk bestaand feedpatroon. Wel biedt OpenSharing een alternatief voor situaties waarin incrementele wijzigingen, verse records en historische teruglezing zwaar drukken op de bestaande inrichting.

Concrete takeaway voor OpenSharing

Breng bestaande SFTP-, API- en connectorfeeds per klant in kaart en noteer waar monitoring, backfills of dubbele opslag het meeste werk veroorzaken. Controleer daarna of de bron tabellen op Delta Lake of Iceberg kan delen en of streaming of change data feed past bij de gewenste verwerking. Leg tegelijk vast wie toegang krijgt en hoe auditlogs worden gecontroleerd. Zo vergelijk je OpenSharing op concrete operationele lasten, zonder meteen elke bestaande feed te vervangen.