Statistik du kan stå på mål for
Mindste målbare effekt
Den mindste ændring, som denne mængde trafik pålideligt kan finde. En forskel under den bliver ikke signifikant af at vente.
Det er den fejltilstand, der ser ud som "intet resultat" og reelt er "ikke nok trafik til nogensinde at kunne afgøre". Et eksperiment, der måler en forskel mindre end den grænse, dets stikprøve kan afgøre, bliver liggende på ikke signifikant i det uendelige, og ingen mængde tålmodighed ændrer det på det nuværende trafikniveau.
Konsollen viser derfor grænsen direkte i procentpoint sammen med konverteringsraten for kontrolvarianten, som grænsen er en brøkdel af. Et halvt procentpoint siger ikke meget, hvis I ikke ved, om udgangspunktet er én procent eller fyrre.
Den siger også lige ud, om den forskel, der måles, ligger over eller under den grænse. Under det kan eksperimentet ikke afgøre det, det viser, og de brugbare svar er andre end dem, signifikans peger på: test noget dristigere, flyt til en side med mere trafik, eller accepter at spørgsmålet ikke kan besvares på denne skabelon.
Grænsen og den nødvendige stikprøvestørrelse er defineret som hinandens præcise inverse frem for ved separate formler. De blev tidligere beregnet ud fra forskellige variansantagelser og var derfor uenige med et par procent, hvilket betød noget, fordi samme panel viser begge, og en af dem afgør, om en forskel er målbar.