OpenSharing: vervangen van bestandfeeds in deel 2

Samenvatting

OpenSharing vervangt periodieke bestandfeeds door live toegang tot een gedeelde Delta-tabel.

OpenSharing: wat er gebeurt

Databricks beschrijft in deel 2 hoe ontvangers een gedeelde Delta-tabel lezen via OpenSharing, zonder de tabel eerst als bestand of API-export te kopiëren. De ontvanger gebruikt een Structured Streaming-reader; checkpoints bewaren waar de verwerking is gebleven, zodat alleen nieuwe wijzigingen worden opgehaald.

De provider publiceert de tabel met geschiedenis in een share. In een Databricks-to-Databricks-opstelling krijgt de ontvanger toegang via een shared catalog in een Unity Catalog-enabled workspace. Change Data Feed levert daarbij wijzigingen op rijniveau, waaronder inserts, updates en deletes.

OpenSharing: waarom dit belangrijk is

Bij een traditionele feed exporteert de provider volgens een schema een bestand naar bijvoorbeeld een bucket of SFTP-endpoint. De ontvanger moet daarna nieuwe bestanden detecteren, laden, dedupliceren en bijhouden wat al verwerkt is. Updates en verwijderingen vragen aanvullende afspraken of reconciliatiejobs.

OpenSharing verplaatst die verwerking naar de gedeelde tabel. De data blijft in de opslag van de provider, terwijl de ontvanger de wijzigingsgeschiedenis incrementeel leest. Toegangsbeheer en lineage blijven onderdeel van de gedeelde omgeving. Dat maakt het verschil met losse CSV-, bestands- en API-feeds concreet: de ontvanger beheert niet langer per export een afzonderlijke verwerkingsketen.

Een lokale kopie blijft mogelijk. Wie data nodig heeft voor analyses of downstream-workloads, materialiseert de wijzigingen incrementeel in een eigen Delta-tabel. De provider hoeft de bron maar één keer in te richten en te delen.

OpenSharing: concrete takeaway

Controleer bij een nieuwe Databricks-deeloplossing eerst of een gedeelde Delta-tabel als Structured Streaming-bron volstaat. Richt aan providerzijde een share met history in en bepaal vervolgens of Change Data Feed nodig is voor het verwerken van upserts en deletes; zonder history ontvangt de ontvanger alleen een statische momentopname.