Kombinasjonsrapportering

Å kjøre eksperimenter samtidig koster ingenting i utvalgsstørrelse, fordi hvert av dem randomiserer uavhengig. Det det derimot kan koste, er additivitet: to endringer som hver fungerer alene, kombinerer seg kanskje ikke slik dere ville anta. Kombinasjonsrapportering er sjekken for det.

Velg to eller flere eksperimenter på samme nettsted, og rapporten måler om effektene deres virker sammen, og om ordreverdiene skiller seg mellom kombinasjonene besøkende havnet i. Den regnes ut utelukkende fra konverteringstall med et oddsforhold, og algebraen går opp fordi tildelingsleddene kanselleres eksakt under uavhengig randomisering.

Den er presis om hva den ikke svarer på. Uten en eksponeringsnevner kan den ikke fortelle hvilken kombinasjon som konverterer best; den kan fortelle om de to endringene virker sammen, som er spørsmålet som avgjør om hvert resultat replikerer på egen hånd.

Dette er det smale, statistiske spørsmålet. Det bredere driftsmessige, om to eksperimenter korrumperer hverandre heller enn bare å kombinere seg, er det kollisjons- og interaksjonsdeteksjon dekker, og de reiser seg selv uten å bli spurt.