Statistiek die u kunt verantwoorden
Correctie voor meervoudig vergelijken
Test vier varianten elk op 0,05 en u heeft ruwweg één kans op vijf op een valse winnaar. Een correctie is wat dat stopt.
Elke extra variant is weer een kans dat ruis eruitziet als een winnaar. Bij vier vergelijkingen elk beoordeeld op 0,05 ligt de kans dat er minstens één door geluk over de lat gaat dicht bij twintig procent, en de winnaar die u uitlevert is dan net zo waarschijnlijk een artefact als een verbetering.
Een correctie scherpt de lat aan om dat te compenseren. Pertento biedt er drie, plus geen, en er een toepassen verandert alleen het significantie-oordeel. De p-waarde, de z-score en de intervallen blijven ongemoeid, dus van methode wisselen verandert nooit het bewijs, alleen de standaard waaraan u het toetst.
Bij één variant komen alle vier neer op dezelfde drempel. In plaats van u dat zelf te laten ontdekken door elke optie te proberen, zegt de console het rechtstreeks, en noemt hij de werkelijke drempel die de gekozen methode toepast op uw aantal vergelijkingen.
Eén correctie ligt vast in plaats van gekozen te worden waar het platform namens uzelf handelt. De aandachtswachtrij, de implementatiewachtrij en de geautomatiseerde stopregel lezen allemaal dezelfde methode, want een wachtrij kan geen keuzemenu aanbieden en twee schermen die het oneens zijn over wie wint, is de fout die dit voorkomt.