Tilastot jotka kestävät tarkastelun
Holm-Bonferroni, Benjamini-Hochberg ja Šidák
Kolme korjausta jotka hallitsevat kahta eri asiaa. Kumpaa haluatte riippuu siitä montako varianttia ajatte ja mitä väärä voittaja maksaisi.
Holm-Bonferroni on kolmesta tiukin. Se järjestää vertailut ja etenee tiukimmasta rajasta alaspäin, pysähtyen ensimmäiseen joka epäonnistuu, ja hallitsee mahdollisuutta tehdä yhtään väärää väitettä lainkaan. Se on oikea oletus kun väärä voittaja julkaistaisiin ja sen kanssa elettäisiin.
Benjamini-Hochberg toimii toisesta päästä, ja hallitsee väärien positiivisten osuutta niiden tulosten joukossa jotka kutsutte voittajiksi, ei mahdollisuutta yhteenkään. Se on heikompi tae ja hyödyllisempi kun useampi variantti on käynnissä: se on merkittävästi epätodennäköisempää heittää pois todellinen vaikutus, hinnalla että ajoittainen huono hyväksytään mukaan.
Šidák soveltaa yhtä rajaa jokaiseen vertailuun sarjan sijaan. Se on hieman lievempi kuin tavallinen Bonferroni ja olettaa vertailujen olevan riippumattomia, mikä on järkevä oletus kun varianttinne ovat aidosti eri ideoita ja huono kun ne ovat variaatioita samasta teemasta.
Ei mitään on myös vaihtoehto, ja se on rehellinen siitä mitä se maksaa: useammalla vertailulla korjaamattomalla rajalla konsoli ilmoittaa suoraan kuinka todennäköiseksi ainakin yksi väärä voittaja tulee. Se on puolustettavissa oleva valinta yhden variantin testissä ja harvoin puolustettavissa muutoin.