Statistik, die Sie vertreten können
Holm-Bonferroni, Benjamini-Hochberg und Šidák
Drei Korrekturen, die zwei verschiedene Dinge kontrollieren. Welche Sie wollen, hängt davon ab, wie viele Varianten Sie fahren und was ein falscher Gewinner kostet.
Holm-Bonferroni ist die strengste der drei. Sie sortiert die Vergleiche und arbeitet sich von der engsten Schwelle abwärts, hält beim ersten Fehlschlag an, und kontrolliert die Chance, überhaupt einen falschen Anspruch zu erheben. Sie ist die richtige Vorgabe, wenn ein falscher Gewinner ausgeliefert und mit ihm gelebt würde.
Benjamini-Hochberg arbeitet vom anderen Ende und kontrolliert den Anteil falscher Positiver unter den Ergebnissen, die Sie zu Gewinnern erklären, statt die Chance auf irgendeinen. Das ist eine schwächere Garantie und eine nützlichere, wenn mehrere Varianten laufen: Sie ist deutlich weniger geneigt, einen echten Effekt wegzuwerfen, auf Kosten dessen, gelegentlich einen schlechten zuzulassen.
Šidák wendet eine einzige Schwelle auf jeden Vergleich an statt einer Abfolge davon. Sie ist etwas weniger streng als ein reines Bonferroni und nimmt an, die Vergleiche seien unabhängig, eine vernünftige Annahme, wenn Ihre Varianten wirklich verschiedene Ideen sind, und eine schlechte, wenn sie Variationen eines Themas sind.
Keine ist ebenfalls eine Option, und sie ist ehrlich darüber, was sie kostet: Bei mehreren Vergleichen mit unkorrigierter Schwelle nennt die Konsole offen, wie wahrscheinlich mindestens ein falscher Gewinner wird. Das ist eine vertretbare Wahl bei einem Einzelvarianten-Test und sonst selten eine.