Statistik som håller
Minsta upptäckbara effekt
Den minsta förändring som så här mycket trafik pålitligt kan hitta. En skillnad under den blir inte signifikant hur länge du än väntar.
Det här är felet som ser ut som “inget resultat” men egentligen är “för lite trafik för att någonsin kunna avgöra saken”. Ett experiment som mäter en skillnad under den gräns urvalet kan avgöra förblir icke-signifikant för alltid, och inget tålamod i världen ändrar det med dagens trafik.
Därför visar konsolen gränsen direkt, i procentenheter, bredvid den kontrollnivå som den är en andel av. En halv procentenhet säger ingenting om du inte vet om grundnivån är en procent eller fyrtio.
Den visar också rakt ut om skillnaden som mäts ligger över eller under gränsen. Under den kan experimentet inte avgöra det det visar, och då är de rätta åtgärderna andra än de signifikans antyder: testa något djärvare, flytta till en sida med mer trafik eller acceptera att frågan inte går att besvara på den här mallen.
Gränsen och det urval som krävs definieras som exakta inverser av varandra, inte med separata formler. Tidigare räknades de med olika antaganden om varians och avvek därför några procent från varandra. Det spelade roll, eftersom samma panel visar båda och den ena avgör om en skillnad går att urskilja.