Poznatky
Korekce na vícenásobná porovnání
Rozdělte dostatek testů dostatečným počtem způsobů a něco bude vypadat přesvědčivě jen díky náhodě. Právě proto se intervaly rozšiřují.
Poznatky prověřují desítky vzorců současně: každý typ stránky a změny, mechanismus, téma a prvek. Čím více způsoby se testy webu rozdělí, tím pravděpodobněji některý interval vyloučí nulu čistě náhodou. Kdyby se všechny intervaly zobrazovaly na obvyklé 95% hladině spolehlivosti, několik náhodně příznivých výsledků by vypadalo jako skutečná zjištění.
Proto je každý interval na stránce kreslený s jednou upravenou šířkou, podle postupu Benjamini-Hochberg s intervaly pro míru falešného pokrytí na 5 %. Vzorec vybraný jako průkazný má interval, který vylučuje nulu, a ten, který vybraný není, má interval, který ji protíná, takže úroveň důkazů a interval si nikdy nemohou odporovat.
Kontroly se počítají jako odlišné sady testů za vzorci, ne jako vzorce samotné. Test, který změnil čtyři věci, je ve čtyřech skupinách, ale je to jeden důkaz viděný čtyřikrát, a kdyby se počítal čtyřikrát, korekce by přestřelila a skryla skutečná zjištění.
Je to stejná disciplína, jakou statistika uplatňuje na jediný test s několika variantami, přenesená na celý program. Proto se Poznatky mohou dívat z mnoha úhlů najednou, aniž by se z velkého programu stal zdroj falešné jistoty.