Kombinationsrapportering

At køre eksperimenter samtidig koster intet i stikprøvestørrelse, fordi hvert af dem randomiserer uafhængigt. Hvad det kan koste, er additivitet: to ændringer, der hver især virker alene, kombinerer måske ikke, som man ville antage. Kombinationsrapportering er kontrollen af det.

Vælg to eller flere eksperimenter på samme website, og rapporten måler, om deres effekter spiller sammen, og om ordreværdierne er forskellige mellem de kombinationer, de besøgende landede i. Den beregnes udelukkende ud fra antal konverteringer med en oddsratio, og algebraen går op, fordi fordelingsleddene går præcist ud mod hinanden under uafhængig randomisering.

Den er præcis om, hvad den ikke svarer på. Uden en nævner for eksponering kan den ikke sige, hvilken kombination der konverterer bedst; den kan sige, om de to ændringer spiller sammen, og det er det spørgsmål, der afgør, om hvert resultat holder på egen hånd.

Det er det snævre, statistiske spørgsmål. Det bredere driftsmæssige, om to eksperimenter ødelægger hinanden frem for blot at lægge sig oveni, er det, kollisions- og interaktionsdetektion dækker, og de melder sig selv uden at blive spurgt.