Kombinationsrapportering

Att köra experiment samtidigt kostar inget i urvalsstorlek, eftersom varje experiment randomiserar för sig. Det som kan gå förlorat är additiviteten: två ändringar som fungerar var för sig behöver inte fungera tillsammans som du tror. Kombinationsrapporteringen är kontrollen för det.

Välj två eller fler experiment på samma webbplats, så mäter rapporten om deras effekter påverkar varandra och om ordervärdena skiljer sig mellan de kombinationer som besökarna hamnade i. Den räknas enbart på antal konverteringar, med en oddskvot, och det går ihop eftersom tilldelningstermerna tar ut varandra exakt vid oberoende randomisering.

Den är tydlig med vad den inte svarar på. Utan en exponeringsnämnare kan den inte säga vilken kombination som konverterar bäst. Den kan säga om de två ändringarna påverkar varandra, och det avgör om varje resultat går att upprepa var för sig.

Det här är den snäva, statistiska frågan. Den bredare, praktiska frågan, om två experiment förstör för varandra och inte bara kombineras, tas om hand av kollisions- och interaktionsdetekteringen, och de larmar av sig själva utan att du ber om det.