Databricks: schaalvergroting vectorsearch met NEAREST BY Join

Samenvatting

Databricks introduceert NEAREST BY Join voor batch-vectorsearch met exacte of benaderde nearest-neighbor-zoekopdrachten.

NEAREST BY Join: wat er gebeurt

NEAREST BY is een nieuwe SQL-join in Databricks Runtime. Voor elke rij met een queryvector zoekt de join de k dichtstbijzijnde rijen op basis van vectorsimilariteit of afstand, exact of benaderd.

Photon voert de afstandsberekening uit met een gespecialiseerde blocked GEMM-kernel. Een IVF-vectorindex in een liquid-clustered Delta-tabel beperkt het aantal partities dat tijdens het lezen nodig is. Daardoor blijft de vectoropslag binnen het Lakehouse en is geen afzonderlijk systeem voor synchronisatie of beheer nodig.

NEAREST BY Join voor batchverwerking

Databricks richt de uitvoering op totale batchdoorvoer, niet op de responstijd van één zoekopdracht. Dat past bij entity resolution, deduplicatie, semantische tagging, classificatie, record enrichment en batchaanbevelingen.

De bron noemt concrete workloads: een betalingsbedrijf vergelijkt dagelijks meer dan 100 miljoen transacties met 140 miljoen merchant-embeddings. Een datafirma verrijkt ’s nachts tientallen miljoenen historische records. Een kwantitatief fonds verwerkt miljoenen queries tegen een corpus van 50 miljoen vectoren.

Databricks Runtime verdeelt zulke taken over honderden tot duizenden cores, schaalt de rekenkracht voor de uitvoering op en brengt die daarna terug naar nul. Fault tolerance, spilling naar disk en herstel na worker- of taakuitval horen bij de uitvoeringsengine.

Concrete takeaway voor NEAREST BY Join

Gebruik NEAREST BY Join wanneer je vectorvergelijkingen als geplande batch uitvoert, niet wanneer één embedding binnen tientallen milliseconden een resultaat moet opleveren. Breng query- en basisaantallen, de gewenste k en het verschil tussen exacte en benaderde zoekopdrachten vooraf in kaart.

Controleer daarnaast of een liquid-clustered Delta-tabel met een IVF-index past bij je Lakehouse-architectuur. Voor bestaande Databricks-workloads ligt de belangrijkste verschuiving in de uitvoering: vector search wordt onderdeel van een fault-tolerante SQL-batchjob, in plaats van een los serving-endpoint.