FactSet: modeltraining en -implementatie van dagen naar uren met Databricks AI Runtime

Samenvatting

Databricks AI Runtime brengt FactSets modeltraining en -implementatie van dagen naar uren.

Databricks AI Runtime versnelt FactSets modeltraining

FactSets Text-to-Formula-systeem vertaalt natuurlijke taal van beleggingsprofessionals naar formules in FactSet Query Language. Het systeem begon met retrieval-augmented generation, maar liep bij gespecialiseerde verzoeken en complexe formules tegen een kwaliteitsgrens aan. FactSet gebruikt daarom fijn afgestemde open modellen binnen zijn Compound AI-architectuur.

Die aanpak verlaagde in eerder werk de end-to-end-latentie met ongeveer 60 procent. FactSet traint de modellen inmiddels ongeveer elke twee tot drie weken, zodra nieuwe trainingsdata beschikbaar komt. Daardoor werd de tijd voor infrastructuur, GPU-configuratie, training en implementatie een vast onderdeel van de ontwikkelcyclus.

Waarom Databricks AI Runtime telt

Databricks AI Runtime laat FactSet serverless GPU-rekenkracht selecteren per trainingsrun. Engineers hoeven de onderliggende GPU-omgeving niet vooraf in te richten. Dat past bij een proces waarin modellen, promptlengtes en uitvoerkenmerken per experiment kunnen verschillen.

FactSet werkt met Llama-gebaseerde modellen en onderzoekt ook nieuwere open modellen. Een vaste GPU-configuratie zou die variatie minder goed ondersteunen. Door de training naast bestaande Lakehouse-workflows uit te voeren, blijven data, experimenten, modelbeheer en governance in dezelfde Databricks-omgeving verbonden.

De keuze tussen RAG en fine-tuning hangt hier samen met de taak. RAG leverde relevante voorbeelden, maar fine-tuning leert het model de structuur en patronen van FQL. Voor BI-teams die vergelijkbare taal-naar-formuletoepassingen bouwen, laat dit zien dat modelkwaliteit niet losstaat van de inrichting van de trainingscyclus.

Concrete takeaway voor Databricks AI Runtime

Breng bij iedere trainingsrun de vereisten van model, promptlengte en uitvoer eerst in kaart en kies daarna de GPU-configuratie. Richt daarnaast de terugkerende cyclus rond nieuwe data in met MLflow voor modeltracking, zodat experimenten en implementaties controleerbaar naast de bestaande Lakehouse-workflows blijven staan.