Statystyka, której da się obronić
Wzrost i przedziały ufności
Dwa przedziały, o dwóch różnych zadaniach. Ten, który rozstrzyga spór, jest drugi.
Pierwszy przedział dotyczy własnego współczynnika konwersji wariantu: zakresu, w którym najprawdopodobniej leży jego prawdziwa wartość. To przedział Wilsona, a nie naiwny, co znaczy, że zostaje wewnątrz zera i stu procent nawet przy małych próbach, gdzie prostsze wyliczenie chętnie zgłasza dolną granicę poniżej zera.
Drugi jest tym, który decyduje. Przedział wzrostu to zakres dla różnicy wobec kontroli. Jeśli cały zakres leży powyżej zera, wariant naprawdę prowadzi. Jeśli obejmuje zero, "brak różnicy" nadal zgadza się z tym, co zmierzyliście, niezależnie od tego, jak zachęcająco wygląda punktowe oszacowanie.
To rozróżnienie jest powodem, dla którego pokazywane są oba. Dwa nakładające się przedziały na wariant nie mówią, czy różnica między nimi jest realna, a odczytywanie ich tak, jakby mówiły, jest jednym z najczęstszych sposobów, w jaki test zostaje zakończony przedwcześnie.
Przedział wzrostu jest też tym, co czyta reszta platformy. Kolejka uwagi ogłasza zwycięzcę tylko wtedy, kiedy przedział zostaje po jednej stronie zera, kolejka wdrożeń stosuje tę samą bramkę, a automatyczne zatrzymanie odmawia bez niego. Jedna definicja "prowadzenia", używana wszędzie.