Statystyka, której da się obronić
Poprawka na wielokrotne porównania
Testujcie cztery warianty po 0,05 każdy, a macie w przybliżeniu jedną szansę na pięć na fałszywego zwycięzcę. Poprawka jest tym, co to powstrzymuje.
Każdy dodatkowy wariant to kolejna szansa, żeby szum wyglądał na zwycięzcę. Przy czterech porównaniach ocenianych po 0,05 każde, szansa, że co najmniej jedno przekroczy próg przez przypadek, jest bliska dwudziestu procentom, a zwycięzca, którego wdrażacie, jest równie prawdopodobnie artefaktem, co poprawą.
Poprawka zaostrza poprzeczkę, żeby to zrównoważyć. Pertento oferuje trzy, plus brak poprawki, a zastosowanie którejkolwiek zmienia wyłącznie orzeczenie o istotności. Wartość p, wynik z i przedziały pozostają nietknięte, więc zmiana metody nigdy nie zmienia dowodów, tylko standard, wobec którego je oceniacie.
Przy jednym wariancie wszystkie cztery sprowadzają się do tego samego progu. Zamiast zostawiać wam odkrycie tego przez wypróbowanie każdej opcji, konsola mówi to wprost i podaje faktyczny próg, który wybrana metoda stosuje wobec waszej liczby porównań.
Jedna poprawka jest przypięta na stałe wszędzie tam, gdzie platforma działa we własnym imieniu. Kolejka uwagi, kolejka wdrożeń i automatyczna reguła zatrzymania czytają tę samą metodę, bo kolejka nie może zaoferować listy rozwijanej, a dwa ekrany niezgadzające się co do tego, kto wygrał, to właśnie błąd, którego to unika.