Statistika, kterou obhájíte
Pravděpodobnost, že je varianta nejlepší
Čtěte ji přímo. Na rozdíl od p-hodnoty je to odpověď na otázku, kterou jste doopravdy položili.
P-hodnota vám říká, jak překvapivá by byla vaše data za předpokladu, kterému nevěříte. Skoro každý ji čte jako pravděpodobnost, že je varianta lepší, což není to, co říká. Tohle číslo je to, o čem si lidé myslí, že ho čtou, spočítané správně.
Je to podíl simulovaných výsledků, ve kterých tahle varianta vyjde napřed před každou jinou větví, včetně kontrolní varianty. Protože se počítá napříč všemi větvemi najednou, pravděpodobnosti u experimentu dají dohromady jedničku a třícestný test nepotřebuje samostatnou korekci, aby se dal číst.
Na tomhle staví doporučení konzole. Varianta na 95 procentech nebo výš, jejíž frekventistický výsledek zároveň projde svým korigovaným prahem, se reportuje jako vítěz s vysokou důvěrou. Nad 80 procenty se reportuje jako v trendu, s poctivou radou nechat to dál běžet.
Páruje se s očekávanou ztrátou, ne místo ní. Vysoká pravděpodobnost s velkou očekávanou ztrátou je jiné rozhodnutí než vysoká pravděpodobnost se zanedbatelnou, a to druhé je obvykle to, co udělá vydání snadným.