Optimalisatie van verkeersallocatie bij variantiekosten

Samenvatting

Verkeersallocatie bij variantiekosten kan 5% tot 15% budget besparen door kosten per deelnemer en statistische precisie samen te wegen.

Verkeersallocatie bij variantiekosten: wat er gebeurt

Bij een experiment kan deelname aan de treatmentgroep twee keer zoveel kosten als deelname aan de controlegroep. De voor de hand liggende keuze is dan om de helft zoveel gebruikers naar treatment te sturen, zodat beide groepen hetzelfde budget gebruiken. Die verdeling levert echter niet automatisch de goedkoopste opzet op.

Cost-optimal allocation combineert de kosten per deelnemer met de extra statistische precisie die een deelnemer oplevert. Daarbij spelen de varianties van beide groepen mee. De auteur noemt een mogelijke budgetbesparing van 5% tot 15%, van duizenden tot miljoenen, afhankelijk van de opzet.

Waarom verkeersallocatie bij variantiekosten telt

De rekensom speelt niet alleen bij geneesmiddelen of economische experimenten. Kortingen, vouchers en cashbackacties maken treatmentdeelnemers duurder dan controlegroepen. Ook digitale experimenten hebben niet altijd gratis deelnemers: een treatment met een betaalde API-call brengt directe kosten mee.

Dat geldt vooral voor experimenten met LLM-functies en agentic features. De behandeling zelf verbruikt dan een betaalde dienst, terwijl de bestaande productervaring die kosten niet heeft. Een lagere treatmentfractie bespaart wel directe uitgaven, maar kan de meetprecisie sterker verlagen dan nodig. Een gelijke budgetverdeling vormt daarom geen zelfstandig statistisch criterium.

De afweging raakt zowel experimenteel ontwerp als budgetbeheer. Teams moeten kosten per arm naast steekproefvariantie leggen, in plaats van alleen het aantal deelnemers per groep te vergelijken.

Concrete takeaway voor verkeersallocatie

Neem vóór de start van een experiment de kosten per treatment- en controledeelnemer op in het ontwerp. Bereken vervolgens welke verdeling de gewenste precisie tegen de laagste totale kosten bereikt, en test afzonderlijk of API-kosten, incentives of kortingsbedragen de uitkomst veranderen.