Statistik du kan stå för
Minsta upptäckbara effekt
Den minsta förändring så mycket trafik pålitligt kan hitta. En skillnad under den blir aldrig signifikant, hur länge ni än väntar.
Det här är felläget som ser ut som "inget resultat" men egentligen är "inte tillräckligt med trafik för att någonsin kunna avgöra det". Ett experiment som mäter en skillnad mindre än det golv urvalet kan lösa upp förblir icke-signifikant på obestämd tid, och inget mått av tålamod ändrar det vid den nuvarande trafiktakten.
Så anger konsolen golvet direkt, i procentenheter, vid sidan av kontrollnivån det är en andel av. En halv procentenhet betyder ingenting utan att veta om bastakten är en procent eller fyrtio.
Den anger också rakt ut om skillnaden som mäts ligger över eller under det golvet. Under det kan experimentet inte lösa upp det det visar, och de användbara svaren skiljer sig från dem signifikans antyder: testa något djärvare, flytta till en sida med mer trafik, eller acceptera att frågan inte går att besvara på den här mallen.
Golvet och det urval som krävs definieras som varandras exakta motsatser i stället för av separata formler. De brukade beräknas från olika antaganden om varians och var därför oense med några procent, vilket spelade roll eftersom samma panel visar båda och en av dem avgör om en skillnad går att lösa upp.