Tilastot jotka kestävät tarkastelun
Bayesilaiset tulokset
Todennäköisyys että kukin variantti on paras, ja mitä väärässä oleminen maksaisi. Laskettuna jokaiselle testille, p-arvon rinnalla eikä sen sijaan.
Bayesilainen puoli mallintaa kunkin variantin konversioprosentin jakaumana pisteen sijaan, alkaen tasaisesta priorista joka ei oleta mitään, ja päivittää sitä sillä mitä on todella havaittu. Näistä jakaumista se raportoi todennäköisyyden että kukin variantti on testatuista paras, odotetun kustannuksen väärästä valinnasta, ja uskottavuusvälin jokaiselle variantille.
Se lasketaan jokaiselle testille, ei vaihtoehtoisena tilana johon pitäisi erikseen kytkeytyä. Molemmat puolet ovat samalla näytöllä koska ne vastaavat eri kysymyksiin ja ihmiset tarvitsevat molempia: todennäköisyyttä on helpompi toimia sen mukaan, p-arvoa helpompi puolustaa.
Todennäköisyydet tulevat posteriorijakaumien toistuvasta otannasta ja laskemalla kuinka usein kukin variantti nousee kärkeen. Yksi yksityiskohta merkitsee enemmän kuin miltä se näyttää: otanta siemennetään datasta itsestään, joten samat luvut antavat aina saman vastauksen. Ilman sitä sivun päivittäminen liikuttaisi todennäköisyyttä hieman joka kerta, ja luku joka muuttuu vaikka mikään ei ole muuttunut on luku johon kukaan ei luota.
Kuten frekventistinen puoli, tämä kuvaa konvertoi-tai-ei-konvertoi-prosessia, joten se lasketaan konversioille. Liikevaihto istuntoa kohti ei ole sellainen suure, ja konsoli raportoi sen puuttuvana sen sijaan että täyttäisi sarakkeen.