Statistika, kterou obhájíte
Alarmy neshody v podílu vzorku
Kontrola, která běží dřív, než jakékoli jiné číslo začne něco znamenat: rozdělil se provoz doopravdy tak, jak jste ho nastavili.
Neshoda v podílu vzorku znamená, že rozdělení, které jste nastavili, není rozdělení, které se stalo. Příčinou obvykle bývá varianta, která se nepodaří aplikovat, přesměrování ztrácející návštěvníky po cestě, nebo filtrování botů, které zasáhne jednu větev víc než druhou.
Je to práh platnosti, ne metrika, a proto se kontroluje první. Pokud je přiřazení rozbité, obě skupiny nejsou srovnatelné a každá p-hodnota, interval i doporučení na stránce měří tuhle chybu, a ne vaši změnu.
Test je chí-kvadrát dobré shody proti nastaveným váhám, na prahu mnohem přísnějším, než je obvyklé. Při skutečném provozu není rozdělení nikdy přesně nominální, a na 0,05 by zdravý experiment spustil alarm jednou z dvaceti, což všechny naučí ho ignorovat. Taky odmítá běžet vůbec pod minimálním vzorkem nebo s méně než dvěma větvemi dostávajícími provoz, protože v tu chvíli není absence důkazu důkazem problému.
Existuje přesně jedna implementace tohohle. Alarm, který vám pošle e-mail, obrazovka, na kterou dojdete, i automatizace, která odmítá jednat, dojdou ke stejnému verdiktu ze stejného kódu, protože upozornění, které si odporuje s obrazovkou, na kterou odkazuje, je horší než žádné upozornění.