Checkr: urenlange metrics-onderzoeksduur teruggebracht tot minuten

Samenvatting

Checkr bracht metrics-onderzoek van uren naar minuten met AI-context rond dbt en Omni.

Checkr, dbt en Omni: wat er gebeurt

Checkr bouwde gedurende twee jaar aan een datafundament voor AI, naast een centraal analytics-engineeringteam en ongeveer vijftig analisten die in de bedrijfsonderdelen werken. Het Snowflake-platform en dbt-project bevatten meer dan 6.000 modellen.

Een AI-agent die via MCP rechtstreeks met Snowflake verbonden was, gaf bij dezelfde vraag telkens een ander fout antwoord. Dat probleem noemt Checkr metric drift. Bij een vraag over FRT, de First Reply Time en een operationele SLA, begreep de agent niet wat FRT, queues of de grens van 90 procent betekenden. De tabellen bevatten wel veldnamen, maar niet de bedrijfslogica.

Omni voegt daarom een derde laag toe aan het datafundament. De warehouse-laag beschrijft welke datapunten bestaan; de semantic layer definieert geldige joins, berekeningen en metrics; AI-context vertaalt bedrijfsbegrippen naar gesprekken met een agent. Die context bestaat uit vijf velden: synoniemen, voorbeeldwaarden, veldbeschrijvingen, gedragsregels voor uitzonderingen en vooraf gemaakte voorbeeldquery’s.

AI-context en de semantische laag: waarom dit belangrijk is

De casus maakt duidelijk waarom een directe koppeling tussen een AI-agent en Snowflake onvoldoende is. Een warehouse toont structuur, maar niet automatisch de betekenis achter een metric. De semantic layer beperkt interpretatiefouten, terwijl AI-context termen uit de organisatie koppelt aan de juiste velden en querylogica.

Checkr schrijft die context niet volledig nieuw. Het team gebruikt bestaande informatie uit Confluence, vergaderverslagen, PRD’s en Slack-gesprekken. Daarmee verschuift analytics engineering naast modelbouw ook naar het selecteren, structureren en testen van bedrijfskennis.

Checkr en Omni: concrete takeaway

Maak eerst een golden set met echte vragen van stakeholders en het juiste queryplan. Laat een AI-assistent bestaande documentatie naast dbt-modellen leggen om synoniemen en gedragsregels voor te stellen. Voeg de context gecontroleerd toe aan Omni en laat mislukte evaluaties opnieuw draaien voordat een subject-matter expert een merge request beoordeelt.