Tilastot, jotka kestävät tarkastelun
Odotettu tappio
Mitä menettäisitte julkaisemalla tämän variantin, jos se ei osoittautuisikaan parhaaksi. Usein juuri se luku ratkaisee päätöksen.
Merkitsevyys vastaa siihen, voitteko erottaa kaksi asiaa toisistaan. Odotettu tappio vastaa hyödyllisempään kysymykseen, kun olette juuri toimimassa: jos valitsette tämän ja olette väärässä, kuinka paljon huonommin käy.
Se lasketaan samasta posteriorien otannasta kuin todennäköisyys olla paras. Jokaisesta otoksesta se mittaa, kuinka paljon tämä variantti jäi parhaan haaran taakse, ja laskee näiden keskiarvon. Haara, joka on yleensä paras ja vain vähän jäljessä silloin, kun ei ole, saa pienen odotetun tappion.
Juuri tämä tekee tasaväkisistä tilanteista ratkaistavia. Kaksi varianttia, joita on vaikea erottaa tilastollisesti, on usein helppo valita kaupallisesti, koska väärä valinta ei maksa juuri mitään. Viikkojen odottaminen merkitsevyyttä näin halvassa päätöksessä on huono vaihtokauppa, jossa liikennettä uhrataan varmuuden vuoksi.
Sama pätee myös toisin päin. Suuri odotettu tappio variantilla, joka näyttää johtavan, on varoitus: nousupotentiaali on todellinen, mutta laskuriski ei ole pieni, ja testiä kannattaa jatkaa pidempään.