Tilastot, jotka kestävät tarkastelun
Monivertailukorjaus
Kun testaatte neljää varianttia kutakin 0,05:n rajalla, todennäköisyys väärään voittajaan on karkeasti yksi viidestä. Korjaus estää sen.
Jokainen lisävariantti on uusi mahdollisuus sille, että kohina näyttää voittajalta. Neljällä vertailulla, joista kukin arvioidaan 0,05:n rajalla, todennäköisyys sille, että ainakin yksi ylittää rajan sattumalta, on lähes kaksikymmentä prosenttia, ja julkaisemanne voittaja on yhtä todennäköisesti sattumaa kuin todellinen parannus.
Korjaus tiukentaa rajaa tämän kompensoimiseksi. Pertento tarjoaa kolme menetelmää sekä vaihtoehdon olla korjaamatta, ja menetelmän käyttö muuttaa vain merkitsevyyden johtopäätöstä. P-arvo, z-arvo ja luottamusvälit pysyvät ennallaan, joten menetelmän vaihtaminen ei koskaan muuta näyttöä, vain mittapuuta, jolla sitä arvioidaan.
Yhdellä variantilla kaikki neljä vaihtoehtoa päätyvät samaan rajaan. Sen sijaan, että jättäisi teidät huomaamaan tämän kokeilemalla jokaista vaihtoehtoa, konsoli kertoo sen suoraan ja ilmoittaa todellisen rajan, jota valittu menetelmä soveltaa vertailujenne määrään.
Aina kun alusta toimii itsenäisesti, käytössä on yksi kiinteä korjaus eikä valittava. Huomiojono, toteutusjono ja automaattinen pysäytyssääntö käyttävät kaikki samaa menetelmää, koska jonossa ei voi olla pudotusvalikkoa, ja juuri tämä estää sen virheen, että kaksi näyttöä on eri mieltä siitä, kuka voitti.