AI: 4 signalen van een contextprobleem in plaats van modelprobleem

Samenvatting

AI-agents schrijven vaak correcte SQL tegen de verkeerde omzetdefinitie, waardoor een modelprobleem eigenlijk een contextprobleem blijkt.

AI-agents en contextproblemen: wat er gebeurt

AI-agents kunnen SQL schrijven, maar halen soms de verkeerde bedrijfsdefinitie, het verkeerde team of de verkeerde regels uit de beschikbare context. Een demonstratie laat die fout vaak niet zien. ThoughtSpot adviseert daarom om eerst governance en definities vast te leggen, voordat je een semantic layer of leverancier beoordeelt.

De semantic-layermarkt telt inmiddels veel aanbieders uit analytics, dataplatforms en BI. Toch lost geen enkele laag onenigheid over kernbegrippen zelfstandig op. Als finance, sales en marketing revenue, active user of churn anders definiëren, kiest een agent de eerste definitie die hij vindt en geeft die met overtuiging terug.

Semantic layer en governance: waarom dit belangrijk is

Governance vormt volgens ThoughtSpot de technische basis voor betrouwbare antwoorden. Daarvoor moeten business- en technische teams samenwerken, data-eigenaarschap vastleggen en kritieke KPI’s en termen schriftelijk definiëren. Zonder die afspraken produceert een semantic layer inconsistente antwoorden op grotere schaal.

De leveranciersbeoordeling moet vervolgens verder gaan dan een vooraf ingerichte demo. Test native SQL-dialecten op de gebruikte dataplatforms, de analytics-, BI- en AI-oppervlakken die één laag bedient en bidirectionele synchronisatie. Als een metricnaam in Snowflake of dbt verandert, moet je controleren of die wijziging terugkomt in de semantic layer. Ook de beoogde gebruiker telt: een interface voor een data engineer werkt anders dan een interface voor een businessanalist.

AI-evaluatie: concrete takeaway

Leg vóór elk leveranciersgesprek drie kernmetrics vast met één gedeelde definitie. Lukt die afstemming niet, pauzeer dan de toolselectie: geen semantic layer kan het conflict achteraf voor je oplossen.

Vraag daarna om een proof of concept in je eigen stack, met eigen data en de SQL-dialecten die je werkelijk gebruikt. ThoughtSpot noemt ondersteuning voor native dialecten in Snowflake, Databricks en BigQuery, plus een interface voor businessanalisten. Beoordeel zulke claims pas na een test die productiefrictie zichtbaar maakt.