Statystyka eksperymentów, której da się obronić

Po to jest druga połowa tej strony. Wynik przychodzi z wielkością różnicy, przedziałem wokół niej i tym, jak prawdopodobne jest, że to przypadek, policzonym dwiema niezależnymi metodami i pokazanym obok siebie. Przychód jest mierzony dla każdego wariantu, a nie wnioskowany ze współczynnika konwersji, więc wariant, który konwertuje częściej i sprzedaje taniej, nie wygląda na zwycięzcę. Platforma podaje też własną niepewność, zamiast ją ukrywać, i to jest ta część, która wytrzymuje kontrolę: wynik jeszcze nierozstrzygnięty mówi to słowami, zamiast być przedstawiany jako rozstrzygnięty.

Nie, a projekt zakłada, że go nie macie. Każda liczba ma na miejscu własne objaśnienie, napisane po to, by powiedzieć, co ta liczba wam mówi, a nie po to, by zdefiniować termin, i kilka z nich istnieje właśnie po to, by uprzedzić błędne odczytanie: kolumna różnicy mówi wprost, że sama z siebie nie mówi nic o tym, czy przewaga jest prawdziwa. Obok liczb jest wniosek podany zwykłymi słowami. Platforma nie upraszcza natomiast niczego przez ukrywanie, więc kto chce wartości p i przedziału, znajdzie jedno i drugie.

Trzy zabezpieczenia, i warto je porównać z tym, czego używacie dziś. Testowanie kilku wariantów naraz podnosi szansę, że jeden będzie wyglądał na zwycięzcę przez przypadek, więc poprzeczka jest zaostrzana dla wyrównania, a konsola podaje próg, który stosuje, zamiast zostawiać wam jego wyliczenie. Zaglądanie do wyniku codziennie zawyża odsetek fałszywych alarmów, więc test, który wolno czytać na bieżąco, jest oddzielony od tego, którego czytać na bieżąco nie wolno, i platforma nie zatrzyma testu wcześniej, dopóki oba się nie zgodzą. A przed tym wszystkim sprawdza, czy ruch faktycznie podzielił się tak, jak to skonfigurowaliście, bo jeśli nie, to nic policzonego z niego się nie trzyma.

Czasem tak, a czasem naprawdę nie, i tu platforma jest najbardziej przydatna, zanim spędzicie trzy miesiące na odkrywaniu tego. Każdy test podaje najmniejszą różnicę, którą wasz ruch potrafi wiarygodnie wykryć. Jeśli efekt, którego szukacie, leży poniżej tego progu, żadna cierpliwość go nie rozstrzygnie, a konsola mówi to wprost, zamiast trzymać test na “nieistotne” bez końca. Wiedza o tym, które z waszych stron potrafią odpowiedzieć na pytanie, a które nie, jest warta więcej na skromnej witrynie niż na dużej.

Nie. Oba są liczone dla każdego testu i pokazywane razem, więc to preferencja czytania, a nie decyzja konfiguracyjna, którą można pomylić. Połowa frekwentystyczna podaje, jak nieprawdopodobny byłby wynik, gdyby zmiana nie robiła nic. Połowa bayesowska podaje prawdopodobieństwo, że dany wariant jest najlepszy, i to, ile kosztowałby was zły wybór. Zespoły zwykle uznają drugą za łatwiejszą do działania, a pierwszą za łatwiejszą do obrony, i właśnie dlatego żadnej nie porzucono.