Statistik, die Sie vertreten können
Mehrfachvergleichskorrektur
Testen Sie vier Varianten je bei 0,05, und Sie haben eine Chance von rund eins zu fünf auf einen falschen Gewinner. Eine Korrektur stoppt das.
Jede zusätzliche Variante ist eine weitere Chance, dass Rauschen wie ein Gewinner aussieht. Bei vier Vergleichen, je bei 0,05 beurteilt, liegt die Chance, dass mindestens einer aus Glück überschreitet, nahe zwanzig Prozent, und der Gewinner, den Sie ausliefern, ist so wahrscheinlich ein Artefakt wie eine Verbesserung.
Eine Korrektur verschärft die Schwelle zum Ausgleich. Pertento bietet drei, plus keine, und eine anzuwenden ändert nur das signifikante Urteil. Der p-Wert, der z-Wert und die Intervalle bleiben unberührt, ein Methodenwechsel ändert also nie die Belege, nur den Maßstab, an dem Sie sie messen.
Bei einer einzelnen Variante reduzieren sich alle vier auf dieselbe Schwelle. Statt Sie das durch Ausprobieren jeder Option entdecken zu lassen, sagt die Konsole es direkt und nennt die tatsächliche Schwelle, die die gewählte Methode über Ihre Anzahl von Vergleichen anwendet.
Eine Korrektur ist festgelegt statt wählbar, überall dort, wo die Plattform in eigenem Namen handelt. Die Aufmerksamkeitswarteschlange, die Umsetzungsliste und die automatische Stopp-Regel lesen alle dieselbe Methode, denn eine Warteschlange kann kein Dropdown anbieten, und zwei Bildschirme, die sich uneinig sind, wer gewonnen hat, sind genau der Fehler, den das vermeidet.