AI-wetgeving: nieuwe regelgeving in aantocht

Samenvatting

Databricks verlaagt AI-kosten tot 90% met modelrouting, spendinzicht en een AI-gateway als controlelaag.

Databricks AI-gateway maakt kosten zichtbaar

Databricks beschrijft hoe het de oplopende kosten van AI-codingtools heeft aangepakt. De tools rekenen per gebruik, niet per gebruiker. Daardoor kan één gebruiker onbeperkt tokens verbruiken, vooral wanneer een duur model in een herhalende lus wordt ingezet.

Onbeperkte tokens en harde budgetplafonds boden geen goede oplossing. Databricks koos voor zichtbaarheid en oplopende gebruiksbeperkingen. Vier ingrepen verlaagden de kosten per eenheid met maximaal 90 procent: efficiëntere modellen als standaard instellen, taken routeren naar het goedkoopste model dat ze aankan, ontwikkelaars inzicht geven in hun uitgaven en overbodig tokengebruik verminderen.

AI-kosten vragen meer dan tokenprijzen

De prijs per token zegt volgens Databricks weinig over de werkelijke modelkosten. Het aantal tokens, de modelkeuze en de manier waarop ontwikkelaars een tool gebruiken bepalen samen de rekening. Daarmee verschuift kostenbeheer van een vaste licentiecontrole naar toezicht op afzonderlijke AI-aanroepen.

Een AI-gateway vormt de controlelaag tussen ontwikkelaars en modellen. Unity Gateway ontstond vanuit Databricks eigen AI-rekening en regelt toegang, routering, budgetten en tracing. Dat maakt AI-uitgaven zichtbaar, bestuurbaar en voorspelbaar zonder ontwikkelaars volledig af te sluiten van de tools.

Databricks koppelt de kostenaanpak aan productiviteit. Het bedrijf meet onder meer pull requests, opgeleverde functies en regels code. In totaal kwam de output volgens het artikel bijna op het dubbele uit met hetzelfde team; teams die hun processen rond AI herbouwden, gingen nog sneller.

Unity Gateway vraagt om operationele controle

BI-teams die AI-codingtools gebruiken, moeten niet alleen naar de tokenprijs van een model kijken. Richt een centrale AI-gateway in voor toegangsbeheer, modelroutering, budgetten en tracing. Stel efficiëntere modellen als standaard in en controleer welke taken onnodig veel tokens verbruiken. Zo volgt kostenbeheer het werkelijke gebruik in plaats van alleen het aantal gebruikers.