Push-gebaseerde CDC in Unity Catalog met Zerobus Ingest en Debezium

Samenvatting

Debezium Server 3.7 stuurt CDC-events via Zerobus Ingest rechtstreeks naar Unity Catalog Delta-tabellen.

Debezium Server 3.7 en Zerobus Ingest: wat er gebeurt

Databricks en NVIDIA koppelen Debezium Server aan Zerobus Ingest. Debezium leest de write-ahead log van een operationele database, waarna de nieuwe, gewijzigde en verwijderde records direct naar Delta-tabellen in Unity Catalog gaan. De architectuur gebruikt een pushmodel: de bronomgeving maakt zelf uitgaande verbindingen, zonder inkomende toegang vanuit Databricks.

De koppeling vermijdt een traditioneel Kafka-cluster tussen de database en het lakehouse. De open-source Zerobus-sink voor Debezium Server zit in release 3.7. Databricks bouwde de getypeerde sink; NVIDIA droeg envelope mode bij, inclusief het volledige Debezium-change-event en afleveringswaarborgen zoals idempotency keys en duurzame bevestigingen.

Waarom Zerobus Ingest en Unity Catalog belangrijk zijn

Private netwerken, klantomgevingen en afgeschermde subnetten blokkeren vaak inkomende verbindingen. Een pull-connector loopt daar direct tegen netwerkbeleid aan. Met deze aanpak blijft de database-eigenaar verantwoordelijk voor het uitlezen van de write-ahead log en bepaalt die welke verbindingen de omgeving verlaten.

De volledige wijzigingsgebeurtenissen landen vervolgens in beheerde Delta-tabellen. Daardoor behouden downstream-processen de informatie om bronvolgorde te respecteren en deletes mee te nemen. Dat onderscheidt deze aanpak van een eenvoudige tabelkopie, die verwijderde rijen mist en geen volledige wijzigingsstroom bewaart. Engineers kunnen de gelande events gebruiken voor current-state-tabellen of historische tabellen.

Concrete takeaway voor Zerobus Ingest

Breng eerst de netwerkgrenzen en eigenaarschap rond je PostgreSQL-bron in kaart. Test daarna met Debezium Server 3.7 of de Zerobus-sink inserts, updates en deletes in bronvolgorde aflevert. Controleer daarbij idempotency keys, duurzame acknowledgments en de keuze tussen envelope mode en een current-state-tabel voordat je Kafka of een pull-connector vervangt.