Tilastot, jotka kestävät tarkastelun
Bayesilaiset tulokset
Todennäköisyys, että kukin variantti on paras, ja mitä väärä valinta maksaisi. Laskettuna jokaiselle testille p-arvon rinnalle eikä sen sijaan.
Bayesilainen puoli mallintaa kunkin variantin konversioprosentin jakaumana eikä yksittäisenä lukuna, alkaen tasaisesta priorista, joka ei oleta mitään, ja päivittää sitä sillä, mitä on todella havaittu. Näistä jakaumista se raportoi todennäköisyyden sille, että kukin variantti on testatuista paras, väärän valinnan odotetun kustannuksen ja uskottavuusvälin jokaiselle variantille.
Se lasketaan jokaiselle testille, eikä se ole vaihtoehtoinen tila, joka pitäisi erikseen kytkeä päälle. Molemmat puolet ovat samalla näytöllä, koska ne vastaavat eri kysymyksiin ja ihmiset tarvitsevat kumpaakin: todennäköisyyden perusteella on helpompi toimia, p-arvoa helpompi puolustaa.
Todennäköisyydet saadaan ottamalla toistuvasti otoksia posteriorijakaumista ja laskemalla, kuinka usein kukin variantti nousee kärkeen. Yksi yksityiskohta on tärkeämpi kuin miltä se näyttää: otannan siemenluku johdetaan itse datasta, joten samat luvut antavat aina saman vastauksen. Ilman sitä sivun päivittäminen muuttaisi todennäköisyyttä hieman joka kerta, eikä kukaan luota lukuun, joka muuttuu, vaikka mikään ei ole muuttunut.
Kuten frekventistinen puoli, tämä malli kuvaa konvertoi tai ei konvertoi -prosessia, joten se lasketaan konversioille. Liikevaihto sessiota kohti ei ole tällainen suure, ja konsoli näyttää sen puuttuvana sen sijaan, että täyttäisi sarakkeen.