Databricks: lessen uit real-app over Lakebase Search

Samenvatting

Databricks Lakebase Search combineert vector- en BM25-zoekopdrachten rechtstreeks in de Postgres-database van een applicatie.

Lakebase Search draait naast applicatietabellen

Lakebase Search bestaat uit Postgres-extensies voor hybride zoekopdrachten. `lakebase_vector` bewaart embeddings en ondersteunt ANN-zoekopdrachten met `lakebase_ann`; `lakebase_text` levert BM25-ranking. Daardoor staan applicatietabellen, zoekindexen, telemetry en wijzigingshistorie in dezelfde Lakebase Postgres-instantie.

Databricks testte de aanpak met Slide Hub, een interne applicatie waarin field engineers slides uit ongeveer 700 presentaties vinden en hergebruiken. De toepassing bevat ongeveer 23.000 slides en biedt zoeken op betekenis en trefwoord. Een MCP-server geeft AI-agents toegang tot dezelfde zoekfunctie.

Waarom Lakebase Search relevant is voor Databricks-applicaties

De benchmarks maken vooral de technische afwegingen zichtbaar. Een Local File Cache die ongeveer even groot is als de vectorindex houdt 95 tot 98 procent van de pagina’s in het geheugen. Daardoor blijft de warme vectorlatentie onder enkele milliseconden. Een kandidaatpool van 200 in plaats van 1.000 behoudt 90,5 procent van de top-10-resultaten, terwijl de database een derde van het aantal paginalezingen uitvoert.

De aanpak verplaatst zoekfunctionaliteit naar de database waarin de applicatie al werkt. Dat voorkomt een afzonderlijk zoeksysteem en een tweede transactieroute, maar de prestaties hangen wel af van cachegrootte, kandidaatselectie en belasting. De test liep over 1 miljoen tot 4 miljoen rijen van een publiek corpus en laat zien welke instellingen architecten vóór productie moeten beoordelen.

Concrete takeaway voor Lakebase Search

Gebruik de Slide Hub-benchmarks als startpunt: stem de Local File Cache af op de vectorindex, test de kandidaatpool op resultaatkwaliteit en reserveer voor productie een always-on Lakebase Postgres-configuratie van 0,5 CU met een geschatte kost van 31 tot 40 dollar per maand. Tijdens een belastingtest van 14 minuten met 109.000 verzoeken verbruikte Lakebase Postgres 0,02 dollar aan compute, maar een vaste basis voorkomt cold starts.