Minste oppdagbare effekt

Dette er feilen som ser ut som «ingen resultat», men som er «for lite trafikk til å avgjøre noe». Måler et eksperiment en forskjell som er mindre enn utvalget kan skille ut, blir det stående som ikke-signifikant for alltid, og ingen tålmodighet hjelper med dagens trafikk.

Derfor viser konsollen grensen direkte, i prosentpoeng, ved siden av kontrollraten den hører til. Et halvt prosentpoeng betyr ingenting uten at du vet om grunnraten er én prosent eller førti.

Konsollen sier også tydelig om forskjellen som måles, ligger over eller under grensen. Under grensen kan eksperimentet ikke avgjøre det det viser, og da hjelper andre grep enn signifikansen antyder: test noe dristigere, flytt testen til en side med mer trafikk, eller godta at spørsmålet ikke kan besvares på denne malen.

Grensen og nødvendig utvalgsstørrelse er definert som eksakte inverser av hverandre, ikke med hver sin formel. Før regnet vi dem ut fra ulike antakelser om varians, så de avvek noen få prosent. Det hadde noe å si, siden samme panel viser begge, og den ene avgjør om en forskjell lar seg skille ut.