dbt-project: waarde voor een agent

Samenvatting

dbt-project: de Semantic Layer bracht twee AI-agents naar nul foute antwoorden tegen de laagste kosten per vertrouwd antwoord.

dbt-project en Semantic Layer: wat er gebeurt

Fivetran onderzocht hoe twee AI-agents dezelfde zakelijke vragen beantwoorden op basis van vier demonstratietabellen uit de retail. Een agent met Haiku telde alle orderregels op, terwijl een agent met Opus geannuleerde orders uitsloot en dat toelichtte. Beide antwoorden klonken overtuigend, maar volgden een andere bedrijfsregel.

De test vergeleek vijf interfaces naar hetzelfde dbt-project. De onderzoekers hielden de modellen en vragen gelijk en veranderden alleen de toegang tot de gegevens. Bij de variant waarin Haiku eerst de dbt-documentatie moest lezen, daalde het aantal foute antwoorden op join-vragen van vier naar nul. Alleen de Semantic Layer bracht beide modellen naar nul foute antwoorden en deed dat tegen de laagste kosten per vertrouwd antwoord.

Waarom een dbt-project voor AI-agents belangrijk is

De test laat zien dat de interface rond een dbt-project zwaar meeweegt in conversational analytics. Een groter model lost niet automatisch onduidelijkheid over bedrijfsregels op. Opus herkende in deze test wel dat geannuleerde orders buiten de omzet konden vallen, maar de andere agent deed dat niet.

De onderzochte alternatieven waren onder meer raw SQL over tabellen, de Semantic Layer en Agents Schema met context uit het manifest en de documentatie. Daarmee verschuift de vraag van welk model gebruik je naar welke gecontroleerde toegang krijgt het model. Voor teams die AI-agents aan een dbt-project koppelen, horen definities, joins en uitzonderingen dus bij de gegevensvoorziening zelf.

Concrete takeaway voor een dbt-project

Test een AI-agent niet alleen op modelkeuze, maar ook op de interface naar je dbt-project. Vergelijk raw SQL, documentatie, Agents Schema en de Semantic Layer met vaste vragen en gecontroleerde antwoorden. Meet naast juistheid ook vertrouwde antwoorden en kosten; deze test wijst erop dat een goed ingerichte Semantic Layer een kleiner model bruikbaar kan maken zonder de gemeten nauwkeurigheid op te offeren.