Minimaal detecteerbaar effect

Dit is het faalscenario dat aanvoelt als "geen resultaat" maar in werkelijkheid "te weinig verkeer om het ooit vast te stellen" is. Een experiment dat een kleiner verschil meet dan de ondergrens die zijn steekproef kan oplossen, blijft voor onbepaalde tijd op niet-significant staan, en geen hoeveelheid geduld verandert dat bij het huidige verkeersniveau.

Daarom rapporteert de console de ondergrens rechtstreeks, in procentpunten, naast het controlepercentage waar hij een fractie van is. Een half procentpunt betekent niets zonder te weten of het basispercentage één procent is of veertig.

Ook wordt gewoon gezegd of het gemeten verschil boven of onder die ondergrens ligt. Eronder kan het experiment niet oplossen wat het toont, en de zinvolle reacties verschillen van wat significantie suggereert: test iets ingrijpenders, ga naar een pagina met meer verkeer, of accepteer dat de vraag op dit sjabloon niet te beantwoorden is.

De ondergrens en de vereiste steekproefomvang worden gedefinieerd als exacte inverses van elkaar in plaats van via aparte formules. Vroeger werden ze berekend vanuit verschillende variantie-aannames en weken ze daardoor een paar procent van elkaar af, wat ertoe deed omdat hetzelfde paneel beide toont en een ervan bepaalt of een verschil oplosbaar is.