Databricks: Zepto schaalt klantenservice met AI-agents

Samenvatting

Databricks: Zepto verlaagt supportkosten met 65% dankzij AI-agents, evaluaties en een kwaliteitspoort in MLflow.

Databricks en MLflow: evaluatie als infrastructuur

Zepto gebruikt een multi-agent AI-systeem voor klantenservice dat meer dan 100.000 tickets per dag verwerkt. Het bedrijf bouwde samen met Databricks een evaluatiekader op Databricks en MLflow, met traces, golden datasets en beoordelingen door een LLM-as-judge.

De architectuur verbindt een ontwikkellus met een productielus. Een strikte kwaliteitspoort controleert wijzigingen voordat nieuwe agentversies in productie komen. Zo worden fouten niet pas zichtbaar nadat klanten een probleem melden.

AI-agents op schaal vragen om controle

Zepto opereert in meer dan 60 steden en levert bestellingen binnen enkele minuten. De klantenservice kreeg te maken met pieken door weersomstandigheden, Diwali en de start van de zomer. Ook de uitbreiding naar kleding, elektronica en beauty bracht nieuwe retour-, terugbetalings- en omruilprocessen met zich mee.

Bij meer dan 100.000 tickets per dag veroorzaakt zelfs een foutpercentage van 1% duizenden slechte uitkomsten. Bij multi-step agents kan een fout ontstaan tijdens intentclassificatie, kennisophaling, besluitvorming, toolgebruik of het uiteindelijke antwoord. Alleen het eindantwoord controleren verbergt dus een deel van de problemen.

De aanpak koppelt ontwikkeltests aan productiegegevens. Daardoor krijgen teams zicht op kwaliteit, kosten en prestaties binnen dezelfde werkwijze. Databricks rapporteert voor Zepto een daling van 65% in supportkosten en een terugverdientijd van minder dan een maand.

Concrete takeaway

Wie AI-agents bouwt, moet traces en golden datasets vanaf het begin in het ontwikkelproces opnemen. Richt daarnaast een expliciete kwaliteitspoort in tussen testen en productie, zodat elke wijziging controleerbaar blijft voordat de agent nieuwe klantvragen afhandelt.