Data Cultuur: van zero trust naar leverbaar AI-analyselayer

Samenvatting

Data Culture meet de betrouwbaarheid van AI-analyticsagents voordat stakeholders hun output zien.

Data Culture en evaluation-driven development

Data Culture ontwikkelde een meetmethode voor AI-analyticsagents nadat het team bij een eerste klantimplementatie geen antwoord had op één vraag: hoe nauwkeurig is deze agent? De consultancy had een agent verbonden met een Snowflake MCP-server voor een testgroep, maar beschikte niet over een betrouwbaar accuraatheidsgetal.

Opeyemi Fabiyi presenteerde tijdens een breakout-sessie op dbt Summit 2026 een framework met drie stappen. Het uitgangspunt: lever niets op wat je niet kunt meten. Data Culture gebruikte de aanpak inmiddels bij twee productieklanten: een zorgaanbieder voor klinische operationele analyses en een e-commercebedrijf voor product- en verkoopanalyses.

AI-analyticsagents en vertrouwen

De casus verschuift de aandacht van het bouwen van een agent naar het aantonen dat stakeholders de output kunnen vertrouwen. In het rapport State of Analytics Engineering 2026 van dbt Labs noemt 71 procent van de respondenten onjuiste of verzonnen data richting besluitvormers als zorgpunt; 83 procent noemt vertrouwen een organisatorische prioriteit.

De eerste evaluatiepipeline van Data Culture liet bovendien zien dat een exacte vergelijking te streng kan uitvallen. Een agent gaf de juiste omzetcijfers, maar gebruikte een andere kolomnaam. In andere gevallen leverde het systeem de juiste productcategorieën met een legitieme extra rij, of correcte cijfers met een aanvullende kolom. Een simpele exact-matchtest markeerde zulke antwoorden als fout, terwijl een analist ze correct zou noemen.

Concrete takeaway voor AI-analyticsagents

Definieer vóór een productie-uitrol wat correct betekent en hoe je resultaten vergelijkt. Test niet alleen op tekstuele gelijkheid, maar beoordeel ook of cijfers, categorieën en aanvullende velden inhoudelijk kloppen. Leg die meetmethode vast als onderdeel van je releaseproces. Zo krijgt elk AI-analyticsagentproject een controleerbare grens voor betrouwbaarheid, in plaats van alleen een demonstratie met testvragen.