AWS: probleem met AI-agentenquery van 3,5 miljoen opgelost met dbt

Samenvatting

AWS corrigeerde een AI-agent die omzet met 30,8 procent overschatte dankzij dbt Semantic Layer en Amazon Redshift.

dbt Semantic Layer voorkomt foutieve omzetquery’s

AWS presenteerde in 2026 een architectuur waarmee AI-agenten productiegegevens in Amazon Redshift kunnen bevragen zonder zelf SQL te schrijven. De oplossing combineert de dbt Semantic Layer, het dbt MCP Server en het Amazon Redshift MCP Server.

Een eenvoudige query op `fct_orders` kwam uit op 14,86 miljoen dollar, terwijl de werkelijke omzet 11,36 miljoen dollar bedroeg. De fout ontstond doordat de query kortingen, terugbetalingen, geannuleerde en openstaande orders en interne testaccounts niet correct verwerkte. Die regels stonden alleen in de semantic layer en niet in het databaseschema.

Waarom deze AI-agentarchitectuur telt

Zelfgeschreven SQL door een agent kan verkeerde joins, definities en filters opleveren zonder dat het antwoord onwaarschijnlijk lijkt. Het artikel koppelt dit risico aan Gartner-cijfers: slechte datakwaliteit kost gemiddeld 12,9 miljoen dollar per organisatie per jaar, terwijl 73 procent datakwaliteit noemt als grootste hindernis voor AI-succes.

De voorgestelde architectuur splitst de controle op. Het dbt MCP Server vertaalt een zakelijke vraag naar gecertificeerde metrics en dimensies via onder meer `list_metrics`, `get_dimensions` en `query_metrics`. MetricFlow compileert daarna de SQL. Het Amazon Redshift MCP Server controleert de uitvoering met read-only toegang, single-statement-executie en rechten op drie niveaus.

Die afbakening staat tegenover een agent die zelf metriek-namen en SQL verzint. Volgens de beschreven opzet kan de agent alleen kiezen uit vooraf gedefinieerde metrics. Het BEAVER-onderzoek, mede uitgevoerd door AWS-onderzoekers, rapporteerde voor geavanceerde agenten slechts 10,8 procent nauwkeurigheid op echte datawarehousequery’s.

Concrete takeaway voor BI-professionals

Laat AI-agenten niet rechtstreeks SQL tegen productiegegevens schrijven. Leg definities vast in de dbt Semantic Layer, laat MetricFlow de query samenstellen en beperk uitvoering via Amazon Redshift MCP Server, IAM en database-rechten.