Samenvatting
Unity Gateway Insights analyseert agent-traces en toont waar tokens en AI-kosten weglekken.
Unity Gateway Insights brengt verspilling in agent-traces in kaart
Databricks introduceert Unity Gateway Insights, een functie die Genie inzet om miljoenen agent-traces te analyseren naast bedrijfsdata en een ontology. De rapporten tonen onder meer terugkerende MCP-fouten, eenvoudige taken die dure frontier-modellen gebruiken en workflows die geschikt zijn als gedeelde skills.
Gebruikers openen de functie via AI Gateway, Observability en Insights binnen Unity Gateway. Ze kunnen rapporten genereren over de afgelopen dag, zeven dagen of dertig dagen en maximaal tien eigen vragen toevoegen. Elk resultaat verwijst naar voorbeeldsessies, zodat teams de onderliggende traces kunnen controleren.
Unity Gateway Insights koppelt kosten aan concreet agentgedrag
De functie kijkt niet alleen naar budgetten of modelprijzen. Ze vergelijkt het aandeel sessies per werkstroom met het aandeel tokens. Een werkstroom met tien procent van de sessies en 35 procent van de tokens krijgt daardoor direct aandacht.
Databricks beschrijft drie bronnen van verspilling. Zeven kleine bugs in MCP-servers leidden intern tot naar schatting 1,2 miljoen dollar aan jaarlijkse kosten, waaronder 499.000 dollar aan verspilde tokens en 12.000 uur wachttijd voor engineers. Het oplossen van die bugs kostte ongeveer een uur. Daarnaast liet trace-analyse zien dat een upgrade van Opus 4.8 naar Opus 5 geen prestatiewinst gaf, terwijl 4.8 goedkoper bleef.
Unity Gateway Insights verbindt observability met Smart Routing en gedeelde skills. Genie kan bijvoorbeeld aangeven welke MCP-server de meeste tokens verspilde en wie daarvoor verantwoordelijk is.
Concrete takeaway voor Unity Gateway-gebruikers
Gebruik eerst een rapport over zeven of dertig dagen en controleer de duurste werkstromen via de gekoppelde sessies. Prioriteer terugkerende MCP-fouten, stuur eenvoudige taken met Smart Routing naar een goedkoper model en maak workflows die minstens drie keer terugkeren, of bij twee engineers voorkomen, tot gedeelde skills.
Verdiep je kennis
ChatGPT en BI — Hoe AI je data-analyse verandert
Ontdek hoe ChatGPT en generatieve AI de wereld van business intelligence veranderen. Van SQL en DAX genereren tot data-a...
KennisbankAI in Power BI — Copilot, Smart Narratives en meer
Ontdek alle AI-functies in Power BI: van Copilot en Smart Narratives tot anomaliedetectie en Q&A. Compleet overzicht met...
KennisbankPredictive Analytics — Wat kan het voor jouw bedrijf?
Ontdek wat predictive analytics is, hoe het werkt en hoe je het inzet voor je bedrijf. Van de 4 niveaus van analytics to...