Databricks AI Runtime: Flo Health bouwt veilige open modellen

Samenvatting

Databricks AI Runtime helpt Flo Health open modellen verbeteren: medische veiligheid stijgt van 34% naar circa 61%.

Wat er gebeurt met Databricks AI Runtime

Flo Health ontwikkelde een evaluatiekader dat AI-antwoorden beoordeelt op medische veiligheid en bruikbaarheid. Clinici kalibreerden deze beoordeling, waarna Flo privacygerichte synthetische data en AI-beoordelaars gebruikte om trainingsdata samen te stellen zonder door mensen geannoteerde trainingsparen.

Met supervised fine-tuning en Direct Preference Optimization verbeterde Flo een open model. Databricks AI Runtime draaide de gedistribueerde fine-tuning op 32 NVIDIA H100-GPU’s. De score voor bruikbaarheid steeg van 42% naar 76%; de gecombineerde score ging van 16% naar 47%.

Waarom Flo Healths open modellen tellen

Flo Health bedient 81 miljoen maandelijks actieve gebruikers met producten rond gezondheid en welzijn. Daardoor moet een antwoord niet alleen onveilige medische adviezen vermijden, maar ook voldoende context en praktische waarde bieden. Een antwoord dat uitsluitend naar een arts verwijst, kan veilig zijn maar weinig helpen. Een uitgebreid antwoord zonder medische veiligheidswaarschuwing schiet eveneens tekort.

De aanpak verschuift de aandacht van alleen modeltraining naar meetbare kwaliteit. Flo gebruikt veiligheid als basis en bruikbaarheid als tweede beoordelingsas. Dat voorkomt dat optimalisatie voor één score de andere verzwakt.

Een eigen, fijn afgestemd open model geeft Flo bovendien meer controle over modelgedrag en de levenscyclus. De organisatie schat dat zulke modellen de inferentiekosten met een orde van grootte kunnen verlagen tegenover frontier-model-API’s. Dat is een inschatting van Flo, geen algemene benchmark.

Concrete takeaway voor Databricks AI Runtime

Begin bij evaluatiecriteria die een domeinexpert kan controleren. Leg medische veiligheid en bruikbaarheid afzonderlijk vast, test beide met privacygerichte synthetische data en gebruik daarna pas supervised fine-tuning of DPO. Wie Databricks AI Runtime inzet, moet bovendien GPU-capaciteit, beoordelingsdata en scoreveranderingen per modelversie documenteren.