Tilastot jotka kestävät tarkastelun
Frekventistiset tulokset
P-arvo, z-arvo ja väli, laskettuna niin kuin joku joka haluaa väitellä kanssanne ne laskisi.
Frekventistinen puoli vastaa yhteen kysymykseen: kuinka usein näin suuri ero ilmestyisi sattumalta, jos variantti ei muuttaisi mitään. Pienempi arvo on vaikeampi selittää pois, ja alle 0,05 on tavallinen raja.
Vertailu on kahden osuuden z-testi kunkin variantin ja kontrollin välillä, yhdistettynä tavanomaisella tavalla. Z-arvo on etumerkitty variantin suuntaan, joten edellä oleva variantti lukee positiivisena ja on samaa mieltä sen vierellä lasketun nousuvälin kanssa. Se kuulostaa itsestäänselvältä eikä ole: etumerkkikäytäntö joka on eri mieltä kahden saman taulukon sarakkeen välillä on juuri se, jonka takia häviävä variantti päätyy julkaisuun.
Merkitsevä tuomio on p-arvo monivertailukorjauksen jälkeen, ei sitä ennen. Yhdellä variantilla korjauksella ei ole vaikutusta ja raja on yksinkertaisesti 0,05; useammalla se kiristyy, ja konsoli ilmoittaa rajan sen sijaan että jättäisi teidät laskemaan sen.
Julkaistu variantti suljetaan pois vertailusta. Se ei saa satunnaistettua liikennettä, joten sen käsitteleminen testihaarana vertaisi sitä kontrolliin jonka kanssa se ei enää kilpaile ja paisuttaisi vertailujen määrää jota vasten kaikki muu korjataan.