Statystyka, której da się obronić

Wyniki bayesowskie

Prawdopodobieństwo, że każdy wariant jest najlepszy, i to, ile kosztowałby błąd. Liczone dla każdego testu, obok wartości p, a nie zamiast niej.

Beta-BinomialJednostajny priorOdtwarzalne

Połowa bayesowska modeluje współczynnik konwersji każdego wariantu jako rozkład, a nie punkt, zaczynając od jednostajnego priora, który niczego nie zakłada, i aktualizuje go tym, co faktycznie zaobserwowano. Z tych rozkładów podaje prawdopodobieństwo, że dany wariant jest najlepszy z testowanych, oczekiwany koszt złego wyboru oraz przedział wiarygodny dla każdego wariantu.

Liczona jest dla każdego testu, a nie jako alternatywny tryb, który trzeba włączyć osobno. Obie połowy są na tym samym ekranie, bo odpowiadają na różne pytania, a ludziom potrzebne są obie: prawdopodobieństwo łatwiej wykorzystać w działaniu, wartość p łatwiej obronić.

Prawdopodobieństwa pochodzą z wielokrotnego próbkowania rozkładów a posteriori i liczenia, jak często dany wariant wychodzi na prowadzenie. Jeden szczegół znaczy więcej, niż mogłoby się wydawać: próbkowanie jest inicjowane samymi danymi, więc te same liczby zawsze dają tę samą odpowiedź. Bez tego odświeżenie strony przesuwałoby prawdopodobieństwo za każdym razem, a liczba, która zmienia się, kiedy nic się nie zmieniło, jest liczbą, której nikt nie ufa.

Podobnie jak połowa frekwentystyczna, opisuje proces zero-jedynkowy, w którym odwiedzający konwertuje albo nie, więc liczona jest dla konwersji. Przychód na sesję nie jest tego rodzaju wielkością, a konsola zgłasza go jako nieobecny, zamiast wypełniać kolumnę na siłę.

Lepsze testy, lepsze konwersje

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.