Frekventistické výsledky

Frekventistická polovina odpovídá na jednu otázku: jak často by se náhodou objevil rozdíl aspoň takhle velký, kdyby varianta neměnila vůbec nic. Čím nižší, tím hůř se to dá vysvětlit náhodou, a pod 0,05 je obvyklý práh.

Porovnání je z-test dvou podílů mezi každou variantou a kontrolní variantou, sloučený standardním způsobem. Z-skóre nese znaménko ve směru varianty, takže varianta, která je napřed, se čte jako kladná a shoduje se s intervalem nárůstu spočítaným vedle ní. Zní to triviálně a není: konvence znaménka, která si nesedne mezi dvěma sloupci jedné tabulky, je způsob, jak se vydá prohrávající varianta.

Verdikt o významnosti je p-hodnota po korekci na vícenásobné porovnání, ne před ní. S jednou variantou nemá korekce žádný efekt a práh je jednoduše 0,05; s několika se zpřísní, a konzole uvádí prahovou hodnotu, místo aby vás nechala si ji dopočítat.

Nasazená varianta je z porovnání vyloučena. Nedostává žádný randomizovaný provoz, takže její započítání jako testovací větve by ji srovnávalo s kontrolní variantou, se kterou už nesoutěží, a nafouklo by počet porovnání, na který se koriguje všechno ostatní.