Wnioski
Skorygowane o wielokrotne porównania
Podzielcie dostatecznie dużo testów na dostatecznie wiele sposobów, a coś wyda się przekonujące przez przypadek. Dlatego przedziały są poszerzane.
Wnioski sprawdzają dziesiątki wzorców naraz: każdy typ strony i zmiany, mechanizm, temat i element. Im więcej sposobów podziału testów witryny, tym większa szansa, że któryś przedział wykluczy zero wyłącznie przez przypadek. Gdyby wszystkie przedziały pokazywano przy zwykłym poziomie ufności 95%, kilka szczęśliwych wyników wyglądałoby na wiarygodne ustalenia.
Dlatego każdy przedział na stronie jest rysowany z jedną skorygowaną szerokością, według procedury Benjamini-Hochberg z przedziałami dla odsetka fałszywych pokryć na poziomie 5%. Wzorzec wybrany jako rozstrzygnięty ma przedział, który wyklucza zero, a niewybrany ma przedział, który je przecina, więc poziom dowodów i przedział nigdy nie mogą sobie przeczyć.
Sprawdzenia są liczone jako odrębne zestawy testów stojące za wzorcami, a nie jako same wzorce. Test, który zmienił cztery rzeczy, trafia do czterech grup, ale to jeden dowód widziany cztery razy, a liczenie go czterokrotnie oznaczałoby nadmierną korektę i ukrycie prawdziwych ustaleń.
To ta sama dyscyplina, którą statystyka stosuje do pojedynczego testu z kilkoma wariantami, przeniesiona na cały program. Dlatego Wnioski mogą patrzeć z wielu stron naraz, a duży program nie staje się źródłem fałszywej pewności.