TinyFish: web-native model draaien op Databricks AI Runtime

Samenvatting

TinyFish gebruikt Databricks AI Runtime om zijn web-native model te trainen, evalueren en serveren; het model haalt 77,6% op 2.178 taken.

Databricks AI Runtime verbindt modelontwikkeling

TinyFish bouwt een gespecialiseerd model voor agents die websites navigeren, informatie ophalen en handelingen uitvoeren. Het bedrijf gebruikt Databricks AI Runtime voor training en fine-tuning op beheerde GPU-infrastructuur, MLflow voor evaluatie en Databricks Model Serving voor productie-inferentie.

In een interne go/no-go-benchmark voltooide het model 1.691 van 2.178 web-agenttaken. Dat komt neer op een task-success rate van 77,6 procent. Een afzonderlijke LLM-beoordelaar controleert daarbij het oorspronkelijke verzoek, de acties van de agent en het eindresultaat.

TinyFish begon met supervised fine-tuning en werkt toe naar Direct Preference Optimization, oftewel DPO. De teams hoeven de GPU-infrastructuur voor deze workloads niet zelf als afzonderlijk trainingsplatform te beheren.

Waarom Databricks AI Runtime relevant is

De aanpak koppelt modeltraining aan de beoordeling van het volledige agentgedrag. Een losse beoordeling van één modelantwoord laat volgens TinyFish slechts een deel zien; de benchmark kijkt of de agent de gevraagde taak werkelijk afrondt of het juiste antwoord geeft.

Dat onderscheid raakt direct aan de manier waarop AI-systemen in productie worden beheerd. TinyFish gebruikt één samenhangende werkwijze voor post-training, evaluatie en deployment, in plaats van deze onderdelen over afzonderlijke systemen te verdelen. Voor BI-teams die agentresultaten beoordelen, ligt daar een concrete les: meet niet alleen de kwaliteit van tekst of afzonderlijke antwoorden, maar ook het resultaat van de volledige workflow.

De combinatie van AI Runtime, MLflow en Model Serving maakt bovendien zichtbaar waar een verbetering wordt getraind, getest en aangeboden. De bron noemt geen andere platformen of concurrenten; de toegevoegde waarde zit hier in de aansluiting tussen deze drie Databricks-componenten.

Concrete takeaway voor Databricks-teams

Gebruik taakvoltooiing als beoordelingsmaatstaf wanneer een model onderdeel is van een agent. Leg in MLflow vast welke modelwijziging het resultaat beïnvloedt en koppel een go/no-go-besluit aan de uitkomst van de volledige taak, voordat je een versie via Databricks Model Serving beschikbaar maakt.