Statistika, kterou obhájíte
Interval nárůstu a spolehlivosti
Dva intervaly, se dvěma různými úkoly. Ten, který rozhodne spor, je ten druhý.
První interval patří vlastnímu konverznímu poměru varianty: rozsah, ve kterém nejspíš leží její skutečný poměr. Je to Wilsonův interval, a ne naivní, což znamená, že zůstává mezi nulou a sto procenty i u malých vzorků, kde jednodušší výpočet vesele nahlásí dolní mez pod nulou.
Druhý je ten, který rozhoduje. Interval nárůstu je rozsah pro rozdíl proti kontrolní variantě. Pokud celý rozsah leží nad nulou, je varianta doopravdy napřed. Pokud se dotýká nuly, žádný rozdíl je pořád v souladu s tím, co jste naměřili, ať už bodový odhad vypadá jakkoli povzbudivě.
Tenhle rozdíl je důvod, proč se ukazují oba. Dva překrývající se intervaly na variantu vám neřeknou, jestli je rozdíl mezi nimi skutečný, a číst je, jako by to řekly, je jeden z nejčastějších způsobů, jak se experiment prohlásí za hotový předčasně.
Interval nárůstu je také to, co čte zbytek platformy. Fronta pozornosti prohlásí vítěze jen tehdy, když interval zůstane na jedné straně od nuly, implementační fronta uplatňuje stejné pravidlo a automatické zastavení bez něj odmítne jednat. Jedna definice napřed, používaná všude.