DAXBench V2 beschikbaar (in samenwerking met SQLBI)

Samenvatting

DAXBench V2 groeit van 30 naar 94 taken en test LLM’s met complexere DAX-patronen, samen met SQLBI.

DAXBench V2 breidt de DAX-benchmark uit

DAXBench V2 is publiek beschikbaar als benchmark voor de kwaliteit waarmee LLM’s DAX schrijven. De eerste versie kwam van de maker zelf; versie 2 ontstond in samenwerking met SQLBI en Marco Russo.

De uitbreiding gaat verder dan extra opdrachten. De benchmark bevat nu ook taken voor het herstellen en optimaliseren van bestaande code, user-defined functions, berekende kolommen en berekende tabellen. De antwoorden worden uitgevoerd, zodat de beoordeling niet alleen naar de tekst van de gegenereerde DAX kijkt.

Waarom DAXBench V2 relevant is voor DAX-evaluatie

De nieuwe taken sluiten aan op situaties die in modellen meer denkwerk vragen dan een eenvoudige maatstaf. Voorbeelden zijn many-to-many-relaties, inactieve relaties, semi-additieve metingen, nieuwe versus terugkerende klanten en window functions.

Daarmee ontstaat een fijnmaziger beeld van waar een LLM goed of minder goed presteert. Een model kan bijvoorbeeld correcte syntaxis produceren, maar moeite hebben met filtercontext, tijdslogica of een bestaande expressie die aangepast moet worden. DAXBench V2 maakt die verschillen zichtbaar per taaktype, zonder prestaties terug te brengen tot één simpele codevraag.

De samenwerking met SQLBI geeft de tweede versie bovendien een directe verbinding met specialistische kennis over DAX. De benchmark vervangt eigen tests niet, maar biedt wel een vaste basis om modellen onder dezelfde omstandigheden naast elkaar te leggen.

Concrete takeaway voor DAX-teams

Gebruik DAXBench V2 als startpunt voor een eigen evaluatieset. Vergelijk LLM-antwoorden afzonderlijk op codeherstel, berekende kolommen, relaties en window functions, en voer elke oplossing uit voordat je kwaliteit beoordeelt. Zo zie je niet alleen of een model DAX syntactisch schrijft, maar ook hoe het omgaat met de modelpatronen die in je werk terugkomen.