Statystyka, której da się obronić
Raportowanie kombinacji
Kiedy dwa testy działają naraz, czy ich zmiany wchodzą w interakcję? Wąskie pytanie, na które odpowiada się porządnie.
Prowadzenie testów równolegle nic nie kosztuje w wielkości próby, bo każdy losuje niezależnie. Co może kosztować, to addytywność: dwie zmiany, które osobno działają, mogą nie łączyć się tak, jak byście zakładali. Raportowanie kombinacji to sprawdzenie właśnie tego.
Wybierzcie dwa testy lub więcej na tej samej witrynie, a raport mierzy, czy ich efekty wchodzą w interakcję i czy wartość zamówienia różni się między kombinacjami, w jakich lądowali odwiedzający. Liczony jest wyłącznie z liczby konwersji, ilorazem szans, a algebra się zgadza, bo składniki przydziału dokładnie się skracają przy niezależnym losowaniu.
Jest precyzyjny co do tego, na co nie odpowiada. Bez mianownika ekspozycji nie powie wam, która kombinacja konwertuje najlepiej; powie wam, czy dwie zmiany wchodzą w interakcję, a to pytanie decyduje, czy każdy wynik powtórzy się osobno.
To wąskie, statystyczne pytanie. Szersze, operacyjne, czy dwa testy się psują, a nie tylko łączą, obejmuje wykrywanie kolizji i zakłóceń, i te zgłaszają się same, bez pytania.