Statystyka, której da się obronić
Prawdopodobieństwo, że wariant jest najlepszy
Czytajcie ją wprost. W przeciwieństwie do wartości p, jest odpowiedzią na pytanie, które naprawdę zadaliście.
Wartość p mówi, jak zaskakujące byłyby wasze dane przy założeniu, w które nie wierzycie. Niemal każdy czyta ją jako prawdopodobieństwo, że wariant jest lepszy, a to nie jest to, co ona mówi. Ta liczba jest tym, co ludzie myślą, że czytają, policzonym poprawnie.
To udział symulowanych wyników, w których dany wariant wychodzi przed każdym innym ramieniem, łącznie z kontrolą. Ponieważ liczona jest naraz na wszystkich ramionach, prawdopodobieństwa w teście sumują się do jedynki, a test na trzy warianty nie potrzebuje osobnej poprawki, żeby dało się go odczytać.
To na niej zbudowana jest rekomendacja konsoli. Wariant na poziomie dziewięćdziesięciu pięciu procent albo wyżej, którego wynik frekwentystyczny też przekracza swój poprawiony próg, zgłaszany jest jako zwycięzca z wysoką pewnością. Powyżej osiemdziesięciu procent zgłaszany jest jako rosnący trend, z uczciwą radą, żeby test dalej działał.
Łączy się z oczekiwaną stratą, a nie ją zastępuje. Wysokie prawdopodobieństwo z dużą oczekiwaną stratą to inna decyzja niż wysokie prawdopodobieństwo z pomijalną, a to drugie zwykle sprawia, że wdrożenie jest łatwe.