Tilastot, jotka kestävät tarkastelun
Frekventistiset tulokset
P-arvo, z-arvo ja luottamusväli laskettuina niin kuin ne laskisi joku, joka haluaa kiistää tuloksenne.
Frekventistinen puoli vastaa yhteen kysymykseen: kuinka usein näin suuri ero syntyisi sattumalta, jos variantti ei muuttaisi mitään. Pienempi arvo on vaikeampi selittää pois, ja tavallinen raja on 0,05.
Vertailu on kahden osuuden z-testi kunkin variantin ja kontrollin välillä, yhdistettynä tavanomaiseen tapaan. Z-arvon etumerkki on variantin suuntaan, joten edellä oleva variantti näkyy positiivisena ja täsmää sen vieressä lasketun nousuvälin kanssa. Se kuulostaa itsestään selvältä mutta ei ole: etumerkkikäytäntö, joka vaihtelee saman taulukon kahden sarakkeen välillä, on juuri se, minkä takia häviävä variantti päätyy julkaisuun.
Merkitsevyyden ratkaisee p-arvo monivertailukorjauksen jälkeen, ei sitä ennen. Yhdellä variantilla korjauksella ei ole vaikutusta, ja raja on yksinkertaisesti 0,05; useammalla se tiukkenee, ja konsoli ilmoittaa rajan sen sijaan, että jättäisi teidät laskemaan sen.
Julkaistu variantti jätetään vertailun ulkopuolelle. Se ei saa satunnaistettua liikennettä, joten sen käsitteleminen testihaarana vertaisi sitä kontrolliin, jonka kanssa se ei enää kilpaile, ja kasvattaisi vertailujen määrää, jonka perusteella kaikki muu korjataan.