Gebruik van Git voor datasetcontrole?

Samenvatting

Git staat centraal in een voorgestelde PoC voor datasetgovernance, ETL-pijplijnen en releases van bronze naar gold.

Git en datasetgovernance: wat er gebeurt

Een Reddit-gebruiker onderzoekt of Git als controlelaag kan dienen voor datasetgovernance, ETL-pijplijnen en releases. Het voorgestelde proces start met data in een bronze-laag en transformeert die via CI/CD naar silver en gold.

De PoC moet onder meer gedefinieerde ETL-pijplijnen, manifests en schema’s bevatten. De initiatiefnemer wil het proces eerst in Git demonstreren en daarna migreren naar GCP. Daarbij geeft diegene aan geen achtergrond in data engineering te hebben en nog te twijfelen of deze opzet geschikt is.

Waarom Git voor datasetgovernance belangrijk is

De vraag raakt aan een concrete ontwerpkeuze: welke onderdelen leg je vast in Git, en welke onderdelen voert een ander platform uit? Git kan in deze voorgestelde werkwijze de definities van pijplijnen, schema’s, manifests en releases beheren. De uitvoering van de transformaties blijft vervolgens een afzonderlijke stap binnen de gekozen omgeving.

De indeling in bronze, silver en gold geeft de PoC een duidelijke structuur. Daardoor kan de initiatiefnemer per laag vastleggen welke transformatie plaatsvindt en welke schema’s gelden. CI/CD koppelt wijzigingen in die definities aan een gecontroleerd releaseproces, maar de PoC moet nog aantonen hoe die koppeling precies werkt.

GCP vormt de beoogde vervolgomgeving. Dat maakt migratie een apart aandachtspunt: een demo die in Git werkt, moet ook laten zien hoe configuratie, schema’s en pipeline-definities naar GCP gaan zonder dat de betekenis van de lagen verloren gaat.

Concrete takeaway voor Git en datasetgovernance

Bouw de PoC rond één kleine pipeline en leg eerst vast welke bestanden Git beheert: ETL-definities, manifests, schema’s en release-informatie. Beschrijf daarnaast per stap wie een wijziging goedkeurt, wanneer CI/CD draait en hoe een dataset van bronze naar silver en gold promoveert. Test pas daarna de migratie naar GCP; zo blijft duidelijk of het ontwerp werkt, los van de gekozen uitvoeringsomgeving.