Tilastot, jotka kestävät tarkastelun
Yhdistelmäraportointi
Kun kaksi testiä on käynnissä yhtä aikaa, vaikuttavatko niiden muutokset toisiinsa? Kapea kysymys, johon vastataan kunnolla.
Testien ajaminen samanaikaisesti ei maksa mitään otoskoossa, koska kukin satunnaistetaan itsenäisesti. Sen hinta voi olla additiivisuudessa: kaksi muutosta, jotka toimivat kumpikin yksinään, eivät välttämättä yhdisty niin kuin olettaisitte. Yhdistelmäraportointi tarkistaa juuri tämän.
Valitkaa kaksi tai useampi testi samalta sivustolta, niin raportti mittaa, vaikuttavatko niiden vaikutukset toisiinsa ja eroavatko tilausten keskiarvot niiden yhdistelmien välillä, joihin kävijät päätyivät. Se lasketaan pelkistä konversiomääristä vetosuhteen avulla, ja laskenta pitää paikkansa, koska allokaatiotermit kumoutuvat täsmälleen itsenäisessä satunnaistuksessa.
Se kertoo suoraan, mihin se ei vastaa. Ilman altistusten nimittäjää se ei kerro, mikä yhdistelmä konvertoi parhaiten; se kertoo, vaikuttavatko kaksi muutosta toisiinsa, ja juuri se ratkaisee, toistuuko kumpikin tulos itsenäisesti.
Tämä on kapea, tilastollinen kysymys. Laajempi operatiivinen kysymys, eli pilaavatko kaksi testiä toisiaan sen sijaan, että vain yhdistyisivät, kuuluu törmäysten ja häiriöiden tunnistukselle, ja ne nostavat asian esiin kysymättä.