Data governance: kennis, context en ontologie in lakehouse

Samenvatting

Data governance wordt bij Databricks de kennislaag voor AI, met Unity Catalog als plek voor context, ontologie en gecontroleerde metadata.

Data governance met Unity Catalog

Databricks beschrijft in het Data Empowerment Program een bredere rol voor data governance. Classificatietags, de-identificatiebeleid, datacontracten, modelkaarten en lineage gelden niet alleen als auditmateriaal, maar vormen samen de semantiek van bedrijfsdata.

Unity Catalog fungeert daarbij als catalogus voor die metadata. Vanuit een gecontroleerde catalogus kunnen AI-agents data en modellen bouwen, testen, de-identificeren en uitrollen. Menselijke controlepunten certificeren zowel het dataproduct als de agent. Productiegegevens met PHI verlaten de beheerde grens niet.

Waarom data governance verder gaat dan security

Security bepaalt wie data mag aanraken. Volgens Databricks verklaart dat op zichzelf niet wat data betekent, of de inhoud betrouwbaar is en of een AI-model ervan mag leren. Die vragen vragen om context, gedeelde definities en relaties tussen datasets, modellen en producten.

Databricks ordent de aanpak rond vijf pijlers: data governance, AI- en ML-governance, kennis, dataproducten en de gedeelde context die deze onderdelen verbindt. In die benadering wordt een classificatietag een concept, een modelkaart context, een datacontract een gedeelde definitie en een lineage-link een relatie.

De catalogus krijgt daardoor een andere functie dan een controlelaag alleen. Omdat betekenis en context in metadata staan in plaats van in duurdere LLM-tokens, beschrijft Databricks het gebruik van goedkopere modellen voor de meeste behoeften, met meer vertrouwen in de uitkomst.

Concrete takeaway voor data governance

Behandel bestaande governance-artefacten niet als losse compliance-documenten. Leg vast welke betekenis, relaties en gebruiksvoorwaarden ze bevatten en breng die onder in Unity Catalog. Controleer daarnaast of AI-agents, modellen en dataproducten dezelfde menselijke goedkeuringsmomenten volgen. Zo wordt auditwerk direct onderdeel van de basis waarop AI draait.