AI & Analytics

Databricks: tabulaire foundation models op AI Runtime

Databricks Blog
Databricks: tabulaire foundation models op AI Runtime

Samenvatting

Databricks AI Runtime ondersteunt tabulaire foundation models die voorspellingen doen zonder modelspecifieke training.

Wat Databricks AI Runtime doet met tabulaire foundation models

Tabular foundation models, of TFMs, zijn vooraf getrainde modellen die voorspellingen maken op nieuwe datasets. Ze gebruiken gelabelde rijen als context voor de rijen die een team wil voorspellen. Daardoor is geen training op elke afzonderlijke dataset nodig.

Databricks AI Runtime biedt beheerde GPU’s, MLflow-tracking en integratie met Unity Catalog voor experimenten en fine-tuning. Teams kunnen modellen vergelijken op nauwkeurigheid, inferentievertraging, GPU-geheugen en kosten voordat ze een keuze maken.

TFM’s leren relaties tussen variabelen uit miljoenen synthetische datasets. De transformerarchitectuur koppelt nieuwe rijen aan voorbeelddata tijdens het voorspellen. Dat verschilt van de gebruikelijke aanpak, waarbij teams per taak data voorbereiden, kenmerken selecteren, modellen trainen en retraining-pijplijnen onderhouden.

Waarom tabulaire foundation models belangrijk zijn

Voorspellende machine learning met tabulaire data ondersteunt toepassingen zoals kredietrisico, klantverloop, vraagvoorspelling en voorspellend onderhoud. Tot nu toe bouwden teams daarvoor doorgaans een afzonderlijk model per voorspeltaak. Na ingebruikname moesten ze bovendien prestaties en datadrift volgen.

TFM’s verschuiven een deel van dat werk naar vooraf getrainde modellen. De bron beschrijft ook duidelijke beperkingen: het onderzoeksgebied is jong, veel professionals kennen de modellen nog niet en de benodigde rekeninfrastructuur vormt een drempel. Hoge nauwkeurigheid op openbare benchmarks volstaat daarom niet als enige selectiecriterium.

Voor enterprise-ML telt de vergelijking tussen modellen. Een model met goede nauwkeurigheid kan alsnog ongeschikt zijn als de inferentievertraging, het GPU-gebruik of de kosten niet passen bij de toepassing. Databricks koppelt die experimenten aan MLflow en Unity Catalog, zodat ontwikkeling en modelbeheer binnen dezelfde omgeving plaatsvinden.

Concrete takeaway voor Databricks AI Runtime

Gebruik Databricks AI Runtime om een TFM naast bestaande baselines te testen op nauwkeurigheid, inferentievertraging, GPU-geheugen en kosten. Leg daarnaast vast welke datasets, contextregels en governance-instellingen bij elke proef horen voordat je een model voor een voorspeltaak selecteert.

Lees het volledige artikel
Meer over AI & Analytics →