Dashboard-debugging: in zes minuten opgelost met AI-agent

Samenvatting

Dashboard-debugging is met een MCP-gekoppelde AI-agent teruggebracht tot drie vragen in ongeveer zes minuten.

AI-agent voor dashboard-debugging

Mars Dauer van Integral Ad Science laat zien waarom een ingebouwde BI-copilot niet altijd kan verklaren waarom een getal fout is. In dbt’s jaffle_shop-demo toont een dashboard te hoge voedselomzet, omdat Tangaroo als voedsel staat geregistreerd terwijl het een smoothie is. De dashboard-AI geeft vervolgens alleen de bestaande, verkeerde classificatie terug.

De oorzaak zit buiten de BI-laag. De copilot ziet de gold tables, maar niet de bedrijfslogica in de onderliggende dbt-modellen. De traditionele controle loopt daarom via Looker, LookML, dbt en gecompileerde SQL, gevolgd door validatiequery’s in het datawarehouse. Dat proces kon een hele middag duren.

MCP en dashboard-debugging

Dauers team koppelde één agent aan drie MCP-servers: de dbt MCP-server voor lineage, modelmetadata en gecompileerde SQL; een alleen-lezen Databricks SQL MCP-server met Unity Catalog; en een Looker MCP-server voor BI-toegang. Een router verdeelt het werk over vier specialisten, waaronder een Looker-resolver, een dbt-analist en een Databricks-analist.

Tijdens de demonstratie volgde de agent de fout terug naar een CASE-statement. Daarna controleerde hij welke andere uitkomsten door een wijziging konden breken en maakte hij een Jira-ticket met QA-query’s. De eerste analyse duurde minder dan drie minuten; drie onderzoeken samen ongeveer zes minuten.

De aanpak scheidt daarmee twee functies die vaak door elkaar lopen: antwoorden samenvatten vanuit de BI-laag en de logica achter een antwoord onderzoeken. De agent kan technische details tonen in analyst mode of dezelfde bevinding in gewone taal uitleggen in business mode.

Concrete takeaway voor dashboard-debugging

Test bij foutieve dashboardcijfers niet alleen de ingebouwde copilot. Controleer of een agent toegang heeft tot lineage, dbt-modellen, gecompileerde SQL en warehouse-query’s, met dezelfde toegangsrechten als de gebruiker. In deze opzet blijft alles alleen-lezen, verschijnt elke query in het auditspoor van het warehouse en ziet de agent geen data buiten de bestaande rechten. De volgende stap die het team onderzoekt, is een pull request laten opstellen waarna een mens de wijziging beoordeelt.