Kombinasjonsrapportering

Å kjøre eksperimenter samtidig koster ingenting i utvalgsstørrelse, siden hvert av dem randomiserer uavhengig. Det som kan gå tapt, er additivitet: to endringer som virker hver for seg, kombineres ikke nødvendigvis slik du venter. Det er dette kombinasjonsrapporteringen sjekker.

Velg to eller flere eksperimenter på samme nettsted, så måler rapporten om effektene påvirker hverandre, og om ordreverdiene er ulike mellom kombinasjonene besøkende havnet i. Den regnes bare ut fra antall konverteringer, med et oddsforhold. Regnestykket går opp fordi tildelingsleddene forkortes bort når randomiseringen er uavhengig.

Rapporten er presis på hva den ikke svarer på. Uten antall eksponerte besøkende som nevner kan den ikke si hvilken kombinasjon som konverterer best. Den kan si om de to endringene påvirker hverandre, og det avgjør om hvert resultat vil gjenta seg alene.

Dette er det smale, statistiske spørsmålet. Det bredere, praktiske spørsmålet er om to eksperimenter ødelegger for hverandre, ikke bare kombineres. Det dekkes av kollisjons- og interaksjonsdeteksjon, som slår alarm av seg selv.