DISTINCTCOUNT versus APPROXIMATEDISTINCTCOUNT: belangrijkste verschillen

Samenvatting

APPROXIMATEDISTINCTCOUNT gebruikt HyperLogLog om miljarden rijen direct te verwerken, tegenover de exacte telling van DISTINCTCOUNT.

DISTINCTCOUNT versus APPROXIMATEDISTINCTCOUNT: wat er gebeurt

Het artikel vergelijkt twee functies voor het tellen van unieke waarden. DISTINCTCOUNT voert een exacte telling uit, terwijl APPROXIMATEDISTINCTCOUNT een wiskundige benadering gebruikt.

Die benadering heet HyperLogLog. Volgens de bron verwerkt APPROXIMATEDISTINCTCOUNT daarmee miljarden rijen direct. Het verschil zit dus niet alleen in de functienaam, maar in de manier waarop de unieke waarden worden berekend.

DISTINCTCOUNT beantwoordt de vraag hoeveel unieke waarden er precies zijn. APPROXIMATEDISTINCTCOUNT berekent een schatting van die kardinaliteit. De tweede functie ruilt daarmee exacte uitkomst in voor een andere verwerkingsmethode bij zeer grote hoeveelheden rijen.

Waarom DISTINCTCOUNT versus APPROXIMATEDISTINCTCOUNT belangrijk is

De keuze tussen beide functies begint bij de betekenis van het resultaat. Een exact aantal is nodig wanneer een rapport een definitieve telling moet tonen, bijvoorbeeld voor een formele rapportage of een controle waarbij afwijkingen niet passen.

Een benadering heeft een andere plaats. De bron koppelt APPROXIMATEDISTINCTCOUNT expliciet aan het verwerken van miljarden rijen. Dat maakt de functie relevant voor situaties waarin de omvang van de gegevens de belangrijkste technische factor vormt en een schatting volstaat.

HyperLogLog is daarbij geen alternatieve naam voor DISTINCTCOUNT, maar het onderliggende wiskundige principe achter de benadering. BI-professionals moeten daarom niet alleen naar de uitvoertijd kijken. Ook de vraag of een geschat aantal acceptabel is, hoort bij de modelkeuze.

De twee functies lossen dus niet hetzelfde probleem op. DISTINCTCOUNT legt de nadruk op nauwkeurigheid. APPROXIMATEDISTINCTCOUNT legt de nadruk op het verwerken van zeer grote aantallen rijen met een benaderde uitkomst.

Concrete takeaway voor DISTINCTCOUNT en APPROXIMATEDISTCOUNT

Leg per meetwaarde vast of een exacte telling verplicht is. Kies DISTINCTCOUNT wanneer het resultaat exact moet zijn; gebruik APPROXIMATEDISTINCTCOUNT alleen wanneer een schatting past bij de rapportage en test vervolgens of die uitkomst voor gebruikers aanvaardbaar blijft.