Databricks: open-Jev draait in SQL miljarden rijen

Samenvatting

Databricks draait open-Jev-modellen via SQL op governed data, met serverless GPU’s en beheerde Model Serving-endpoints.

Databricks en open-Jev: wat er gebeurt

Databricks laat modellen zoals SemIf-OpenJev rechtstreeks werken op data binnen het platform. Serverless GPU’s leveren de rekenkracht, terwijl Managed Model Serving het model beschikbaar maakt via een beheerd endpoint.

Een importeerbaar Databricks Notebook automatiseert de start: kies de modelnaam en het schema, selecteer Serverless GPU en klik op Run All. Het notebook downloadt de modelbestanden, registreert het model met Express Deployments en maakt automatisch een GPU Model Serving-endpoint aan.

Databricks ai_query en SQL: waarom dit belangrijk is

Met ai_query roep je een aangepast model-endpoint direct aan vanuit SQL of vanuit Lakeflow-jobs. Dat endpoint hoeft geen standaard chat-completionsinterface te gebruiken. SemIf-OpenJev accepteert zijn eigen gestructureerde aanvraagformaat en geeft een classificatie plus waarschijnlijkheden voor de opties terug als gestructureerde kolommen.

Het voorbeeld gebruikt hotelreviews en deelt die in als goed of slecht. Daarmee blijft de analyse dicht bij de data die al in Databricks staat. AI Runtime levert serverless, on-demand GPU-compute en ondersteunt het aanpassen of post-trainen van modellen voor een specifieke context.

Open gewicht-modellen zoals Smelf-open-jev, Laya en Kev laten zien dat SemIf-OpenJev niet de enige route is. Het verschil zit vervolgens niet alleen in het model, maar ook in de manier waarop je het model registreert, serveert en vanuit SQL aanroept.

Databricks: concrete takeaway

Importeer het notebook in je Databricks-workspace en test eerst SemIf-OpenJev met Serverless GPU en Run All. Controleer daarna het aanvraagformaat, de classificatiekolommen en de teruggegeven optieprobabiliteiten voordat je het model op eigen gegevens toepast. Leg vooraf vast welke beslissingen het model mag nemen en pas het schema en de besliscriteria daarop aan. Lakeflow-jobs en ai_query vormen daarbij de route van een notebooktest naar een terugkerende SQL- of productieaanroep.