Minste oppdagbare effekt

Dette er feilmodusen som ser ut som «ingen resultat» og egentlig er «ikke nok trafikk til å noen gang kunne avgjøre». Et eksperiment som måler en forskjell mindre enn gulvet utvalget kan oppdage, blir stående som ikke-signifikant på ubestemt tid, og ingen mengde tålmodighet endrer det ved dagens trafikknivå.

Derfor rapporterer konsollen gulvet direkte, i prosentpoeng, ved siden av kontrollraten det er en brøkdel av. Et halvt prosentpoeng betyr ingenting uten å vite om grunnraten er én prosent eller førti.

Den sier også rett ut om forskjellen som måles, ligger over eller under gulvet. Under det kan eksperimentet ikke avgjøre det det viser, og de nyttige svarene er andre enn de signifikans antyder: test noe dristigere, flytt til en side med mer trafikk, eller aksepter at spørsmålet ikke er avgjørbart på denne malen.

Gulvet og det nødvendige utvalget er definert som eksakte motsetninger av hverandre heller enn ut fra separate formler. De ble tidligere regnet ut fra ulike variansantakelser og var derfor uenige med noen få prosent, noe som betydde noe fordi det samme panelet viser begge, og det ene avgjør om en forskjell er avgjørbar.