Combinatierapportage

Gelijktijdig experimenteren kost niets aan steekproefomvang, omdat elk experiment onafhankelijk randomiseert. Wat het wel kan kosten is optelbaarheid: twee wijzigingen die elk apart werken, combineren niet altijd zoals u zou aannemen. Combinatierapportage is de controle daarop.

Kies twee of meer experimenten op dezelfde website en het rapport meet of hun effecten elkaar beïnvloeden, en of de orderwaarde verschilt tussen de combinaties waarin bezoekers terechtkwamen. Het wordt uitsluitend berekend uit conversieaantallen met een oddsratio, en de wiskunde klopt omdat de toewijzingstermen precies wegvallen bij onafhankelijke randomisatie.

Het is precies over wat het niet beantwoordt. Zonder een blootstellingsnoemer kan het niet zeggen welke combinatie het beste converteert; het kan wel zeggen of de twee wijzigingen elkaar beïnvloeden, en dat is de vraag die bepaalt of elk resultaat afzonderlijk zal repliceren.

Dit is de nauwe, statistische vraag. De bredere operationele vraag, of twee experimenten elkaar corrumperen in plaats van enkel te combineren, wordt gedekt door botsings- en interferentiedetectie, en die melden zichzelf zonder dat ernaar gevraagd wordt.