Statystyka, której da się obronić
Wyniki frekwentystyczne
Wartość p, wynik z i przedział, policzone tak, jak policzyłby je ktoś, kto chce się z wami pokłócić.
Połowa frekwentystyczna odpowiada na jedno pytanie: jak często różnica co najmniej tak duża pojawiłaby się przez przypadek, gdyby wariant nic nie zmieniał. Niższa wartość jest trudniejsza do wytłumaczenia przypadkiem, a poniżej 0,05 to zwykła poprzeczka.
Porównanie to test z dla dwóch proporcji między każdym wariantem a kontrolą, połączony standardowym sposobem. Wynik z ma znak w kierunku wariantu, więc wariant, który prowadzi, czyta się jako dodatni i zgadza się z przedziałem wzrostu policzonym obok niego. To brzmi trywialnie i nie jest: konwencja znaku, która nie zgadza się między dwiema kolumnami jednej tabeli, jest tym, jak przegrywający wariant zostaje wdrożony.
Istotne orzeczenie to wartość p po poprawce na wielokrotne porównania, a nie przed nią. Przy jednym wariancie poprawka nie ma wpływu i poprzeczka to po prostu 0,05; przy kilku zaostrza się, a konsola podaje próg wprost, zamiast zostawiać wam jego wyliczenie.
Wdrożony wariant jest wyłączany z porównania. Nie dostaje losowanego ruchu, więc traktowanie go jako ramienia testu porównywałoby go z kontrolą, z którą już nie rywalizuje, i zawyżałoby liczbę porównań, wobec której koryguje się wszystko inne.