Tilastot, jotka kestävät tarkastelun
Holm-Bonferroni, Benjamini-Hochberg ja Šidák
Kolme korjausta, jotka hallitsevat kahta eri asiaa. Valinta riippuu siitä, montako varianttia ajatte ja mitä väärä voittaja maksaisi.
Holm-Bonferroni on kolmesta tiukin. Se järjestää vertailut, etenee tiukimmasta rajasta alaspäin ja pysähtyy ensimmäiseen, joka ei läpäise rajaa, ja se rajoittaa todennäköisyyttä tehdä edes yksi väärä väite. Se on oikea oletus silloin, kun väärä voittaja julkaistaisiin ja sen kanssa elettäisiin.
Benjamini-Hochberg toimii toisesta päästä, ja se hallitsee väärien positiivisten osuutta niiden tulosten joukossa, jotka nimeätte voittajiksi, eikä todennäköisyyttä edes yhteen. Se on heikompi tae mutta hyödyllisempi, kun useampi variantti on käynnissä: sen kanssa todellinen vaikutus hylätään selvästi harvemmin, ja hintana on, että joukkoon pääsee joskus huono tulos.
Šidák soveltaa jokaiseen vertailuun samaa rajaa eikä porrastettua sarjaa. Se on hieman lievempi kuin tavallinen Bonferroni ja olettaa vertailujen olevan riippumattomia, mikä on järkevä oletus, kun varianttinne ovat aidosti eri ideoita, ja huono, kun ne ovat muunnelmia samasta teemasta.
Korjaamatta jättäminen on myös vaihtoehto, ja konsoli kertoo rehellisesti sen hinnan: kun vertailuja on useita korjaamattomalla rajalla, konsoli ilmoittaa suoraan, kuinka todennäköiseksi vähintään yksi väärä voittaja käy. Valinta on puolustettavissa yhden variantin testissä mutta harvoin muulloin.