Statystyka, której da się obronić
Wyniki bayesowskie
Prawdopodobieństwo, że każdy wariant jest najlepszy, i to, ile kosztowałby błąd. Liczone dla każdego testu, obok wartości p, a nie zamiast niej.
Połowa bayesowska modeluje współczynnik konwersji każdego wariantu jako rozkład, a nie punkt, zaczynając od jednostajnego priora, który niczego nie zakłada, i aktualizuje go tym, co faktycznie zaobserwowano. Z tych rozkładów podaje prawdopodobieństwo, że dany wariant jest najlepszy z testowanych, oczekiwany koszt złego wyboru oraz przedział wiarygodny dla każdego wariantu.
Liczona jest dla każdego testu, a nie jako alternatywny tryb, który trzeba włączyć osobno. Obie połowy są na tym samym ekranie, bo odpowiadają na różne pytania, a ludziom potrzebne są obie: prawdopodobieństwo łatwiej wykorzystać w działaniu, wartość p łatwiej obronić.
Prawdopodobieństwa pochodzą z wielokrotnego próbkowania rozkładów a posteriori i liczenia, jak często dany wariant wychodzi na prowadzenie. Jeden szczegół znaczy więcej, niż wygląda: próbkowanie jest inicjowane samymi danymi, więc te same liczby zawsze dają tę samą odpowiedź. Bez tego odświeżenie strony przesuwałoby prawdopodobieństwo za każdym razem, a liczba, która zmienia się, kiedy nic się nie zmieniło, jest liczbą, której nikt nie ufa.
Podobnie jak połowa frekwentystyczna, opisuje proces skonwertował się albo nie, więc liczona jest dla konwersji. Przychód na sesję nie jest tego rodzaju wielkością, a konsola zgłasza go jako nieobecny, zamiast wypełniać kolumnę na siłę.