Keyword Search: 8 miljard embeddingmodel voor agenttools

Samenvatting

Keyword Search laat BM25 bij toolselectie voor agenttools op een CPU ongeveer 40 keer sneller werken dan BGE-large.

Keyword Search en BM25: wat er gebeurt

Het artikel vergelijkt keyword search met een 8 miljard parameters tellend embeddingmodel bij het kiezen van tools voor agenten. De test gebruikte 200 ToolRet-vragen en een catalogus met maximaal 3.794 tools.

BM25, een methode voor lexicale zoekopdrachten, draaide op alleen een CPU ongeveer 40 keer sneller dan BGE-large. De beste geteste configuratie gebruikte de volledige documentatie van de tools.

Waarom BM25 en BGE-large belangrijk zijn

De vergelijking laat zien dat toolselectie niet alleen om modelgrootte draait. Een embeddingmodel vertegenwoordigt tekst semantisch, terwijl BM25 zoekt op termen en hun voorkomen in documenten. Voor een agent die uit duizenden beschikbare tools moet kiezen, beïnvloedt die keuze zowel de rekentijd als de manier waarop documentatie wordt geraadpleegd.

De uitkomst geeft geen algemene winnaar voor elke catalogus. Wel maakt de test een concreet onderscheid zichtbaar: BM25 levert in deze opzet veel lagere rekentijd op, terwijl de combinatie met volledige tooldocumentatie de beste configuratie binnen het onderzoek vormde. BI-professionals die agenten koppelen aan query-, rapportage- of datacatalogustools moeten daarom niet alleen naar embeddings kijken. De zoekmethode en de hoeveelheid meegegeven documentatie horen bij dezelfde evaluatie.

Concrete takeaway voor Keyword Search

Bouw bij een toolzoeker minstens twee meetbare varianten: BM25 en BGE-large. Test ze met je eigen toolbeschrijvingen, registreer de zoektijd op CPU en vergelijk welke configuratie de juiste tool bovenaan plaatst.

Neem daarbij volledige tooldocumentatie mee als aparte testconditie. De resultaten uit ToolRet laten zien dat die keuze de uitkomst van de vergelijking rechtstreeks beïnvloedt.