Tilastot, jotka kestävät tarkastelun
Todennäköisyys, että variantti on paras
Lukekaa se suoraan. Toisin kuin p-arvo se vastaa siihen kysymykseen, jonka oikeasti esititte.
P-arvo kertoo, kuinka yllättävää datanne olisi sellaisen oletuksen pätiessä, johon ette usko. Lähes kaikki lukevat sen todennäköisyytenä sille, että variantti on parempi, eikä se sitä tarkoita. Tämä luku on se, jota ihmiset luulevat lukevansa, oikein laskettuna.
Se on niiden simuloitujen tulosten osuus, joissa tämä variantti nousee jokaisen muun haaran, myös kontrollin, edelle. Koska se lasketaan kaikille haaroille kerralla, testin todennäköisyyksien summa on yksi, eikä kolmihaarainen testi tarvitse erillistä korjausta, jotta sitä voi lukea.
Konsolin suositus rakentuu tämän varaan. Variantti, jonka todennäköisyys on vähintään 95 prosenttia ja jonka frekventistinen tulos myös ylittää oman korjatun rajansa, raportoidaan voittajaksi korkealla luottamuksella. Yli 80 prosentin variantti raportoidaan nousussa olevana, ja rehellinen neuvo on jatkaa testiä.
Se kulkee odotetun tappion rinnalla eikä korvaa sitä. Korkea todennäköisyys yhdessä suuren odotetun tappion kanssa on eri päätös kuin korkea todennäköisyys yhdessä mitättömän tappion kanssa, ja yleensä juuri jälkimmäinen tekee julkaisusta helpon.