Statistika, kterou obhájíte

Minimální zjistitelný efekt

Nejmenší změna, kterou tento provoz dokáže spolehlivě odhalit. Rozdíl pod touto hranicí se nestane významným, ať čekáte jakkoli dlouho.

Hranice, ne cílV procentních bodechVztaženo k základu

Tohle je selhání, které vypadá jako žádný výsledek, a ve skutečnosti znamená, že provoz nikdy nestačí to zjistit. Experiment měřící rozdíl menší, než dokáže rozlišit jeho vzorek, zůstane na nevýznamném výsledku donekonečna a žádná trpělivost to při současném provozu nezmění.

Konzole proto uvádí hranici přímo, v procentních bodech, vedle kontrolní míry, jejímž je zlomkem. Půl procentního bodu neznamená nic, pokud nevíte, jestli základní míra je jedno procento, nebo čtyřicet.

Taky jasně řekne, jestli je měřený rozdíl nad, nebo pod touto hranicí. Pod ní experiment nedokáže rozlišit to, co ukazuje, a užitečná reakce je jiná, než jakou napovídá významnost: otestujte něco odvážnějšího, přesuňte se na stránku s vyšším provozem, nebo přijměte, že otázka se na této šabloně nedá zodpovědět.

Hranice a potřebná velikost vzorku jsou definované jako přesné převrácené hodnoty jedna druhé, a ne samostatnými vzorci. Dřív se počítaly z různých předpokladů o rozptylu, a proto se lišily o pár procent, což vadilo, protože stejný panel ukazuje obě a jedna z nich rozhoduje, jestli je rozdíl vůbec rozlišitelný.

Lepší testy, lepší konverze

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.