Yhdistelmäraportointi

Testien ajaminen samanaikaisesti ei maksa mitään otoskoossa, koska kukin satunnaistaa riippumattomasti. Mitä se voi maksaa on additiivisuus: kaksi muutosta jotka toimivat kumpikin yksinään eivät välttämättä yhdisty tavalla jota olettaisitte. Yhdistelmäraportointi tarkistaa juuri tämän.

Valitkaa kaksi tai useampi testi samalta sivustolta, ja raportti mittaa vaikuttavatko niiden vaikutukset toisiinsa, sekä eroavatko tilausten keskiarvot kävijöiden päätymien yhdistelmien välillä. Se lasketaan pelkistä konversiomääristä vetosuhteen avulla, ja algebra pitää paikkansa koska allokaatiotermit kumoutuvat täsmälleen riippumattoman satunnaistuksen alla.

Se on tarkka siitä mihin se ei vastaa. Ilman altistuksen nimittäjää se ei kerro mikä yhdistelmä konvertoi parhaiten; se kertoo vaikuttavatko kaksi muutosta toisiinsa, mikä on kysymys joka ratkaisee toistuuko kumpikin tulos itsenäisesti.

Tämä on se kapea, tilastollinen kysymys. Laajempi operatiivinen kysymys, turmeleeko kaksi testiä toisiaan sen sijaan että vain yhdistyisivät, on se jonka törmäysten ja häiriön tunnistus kattavat, ja ne nousevat esiin kysymättä.