Statystyka, której da się obronić
Raportowanie kombinacji
Kiedy dwa testy działają naraz, czy ich zmiany wchodzą w interakcję? Wąskie pytanie, na które odpowiada się porządnie.
Prowadzenie testów równolegle nic nie kosztuje w wielkości próby, bo każdy losuje niezależnie. Kosztować może natomiast addytywność: dwie zmiany, które osobno działają, mogą nie łączyć się tak, jak byście zakładali. Raportowanie kombinacji sprawdza właśnie to.
Wybierzcie dwa testy lub więcej na tej samej witrynie, a raport mierzy, czy ich efekty wchodzą w interakcję i czy wartość zamówienia różni się między kombinacjami, w jakich lądowali odwiedzający. Liczony jest wyłącznie z liczby konwersji, ilorazem szans, a algebra się zgadza, bo składniki przydziału dokładnie się skracają przy niezależnym losowaniu.
Jest precyzyjny co do tego, na co nie odpowiada. Bez mianownika ekspozycji nie powie wam, która kombinacja konwertuje najlepiej; powie wam, czy dwie zmiany wchodzą w interakcję, a to pytanie decyduje, czy każdy wynik powtórzy się osobno.
To wąskie, statystyczne pytanie. Szersze, operacyjne pytanie, czy dwa testy sobie szkodzą, a nie tylko się łączą, obejmuje wykrywanie kolizji i zakłóceń, a te zgłaszają się same, bez pytania.