Kombinationsrapportering

Att köra experiment samtidigt kostar inget i urval, eftersom vart och ett randomiserar oberoende. Vad det kan kosta är additivitet: två ändringar som var för sig fungerar kombineras kanske inte på det sätt ni skulle anta. Kombinationsrapportering är kontrollen för det.

Välj två eller fler experiment på samma webbplats, och rapporten mäter om deras effekter samverkar, och om ordervärden skiljer sig mellan de kombinationer besökare hamnade i. Den beräknas enbart från konverteringsantal med en oddskvot, och algebran går ihop eftersom tilldelningstermerna tar ut varandra exakt under oberoende randomisering.

Den är precis med vad den inte svarar på. Utan en exponeringsnämnare kan den inte säga vilken kombination som konverterar bäst; den kan säga om de två ändringarna samverkar, vilket är frågan som avgör om varje resultat kommer att replikeras på egen hand.

Det här är den smala, statistiska frågan. Den bredare operativa frågan, om två experiment stör ut varandra snarare än bara kombineras, täcks av kollisions- och störningsdetektering, och de larmar av sig själva utan att behöva efterfrågas.