Statistika experimentů, kterou obhájíte

Právě k tomu je druhá polovina této stránky. Výsledek přichází s velikostí rozdílu, s intervalem okolo něj a s tím, jak pravděpodobně je dílem náhody, spočítáno dvěma nezávislými způsoby a zobrazeno vedle sebe. Výnos se měří po variantách, a ne odvozuje z konverzního poměru, takže varianta, která konvertuje častěji a prodává levněji, se nečte jako výhra. A platforma svou nejistotu vyslovuje, místo aby ji skrývala, což je ta část, která obstojí při zkoumání: výsledek, který ještě není průkazný, to řekne slovy, místo aby byl předložen jako průkazný.

Ne, a návrh předpokládá, že žádného nemáte. Každé číslo s sebou nese vlastní vysvětlení na místě, napsané tak, aby řeklo, co vám to číslo říká, a ne aby definovalo pojem, a několik z nich existuje právě proto, aby předešlo špatnému čtení: sloupec s rozdílem naplno říká, že sám o sobě nevypovídá nic o tom, jestli je ta mezera skutečná. Vedle čísel je doporučení obyčejnými slovy. Co ale neudělá, je zjednodušovat zamlčováním, takže kdo p-hodnotu a interval chce, najde obojí.

Tři obrany, a vyplatí se je srovnat s tím, co používáte dnes. Testování několika variant zároveň zvyšuje šanci, že jedna bude vypadat jako vítěz náhodou, takže se hranice na kompenzaci zpřísní a konzole tu hranici, kterou uplatňuje, vysloví, místo aby vás nechala ji dopočítat. Každodenní nahlížení do výsledku nadhodnocuje míru falešně pozitivních zjištění, takže test, který je platné číst průběžně, je oddělený od toho, který platné číst není, a platforma experiment dřív nezastaví, dokud se oba neshodnou. A ještě před tím vším kontroluje, že se provoz skutečně rozdělil tak, jak jste ho nastavili, protože pokud ne, neplatí nic, co je z toho spočítané.

Někdy ano a někdy skutečně ne, a právě tady je platforma nejužitečnější, dokud jste tím ještě nestrávili tři měsíce. Každý experiment hlásí nejmenší rozdíl, který provoz, jejž máte, umí spolehlivě zjistit. Pokud účinek, za kterým jdete, leží pod touto hranicí, nevyřeší ho žádná trpělivost, a konzole to řekne, místo aby test nechala donekonečna ležet na "není významné". Vědět, které z vašich stránek na otázku odpovědět umí a které ne, má na skromném webu větší cenu než na velkém.

Ne. Oba se počítají u každého experimentu a zobrazují se spolu, takže je to spíš otázka toho, co čtete radši, než nastavení, které lze pokazit. Frekventistická polovina uvádí, jak nepravděpodobný by výsledek byl, kdyby změna nedělala nic. Bayesovská polovina uvádí pravděpodobnost, že je každá varianta nejlepší, a kolik by vás stálo vybrat špatně. Týmy obvykle zjistí, že podle druhé se snáz jedná a první se snáz hájí, což je přesně důvod, proč ani jedna nebyla vypuštěna.