Statistik du kan stå på mål for

Mindste målbare effekt

Den mindste ændring, som denne mængde trafik pålideligt kan finde. En forskel under den bliver ikke signifikant af at vente.

Et gulv, ikke et målI procentpointAngivet mod basisraten

Det er den fejltilstand, der ser ud som "intet resultat" og reelt er "ikke nok trafik til nogensinde at kunne afgøre". Et eksperiment, der måler en forskel mindre end det gulv, dets stikprøve kan afgøre, bliver liggende på ikke signifikant i det uendelige, og ingen mængde tålmodighed ændrer det på det nuværende trafikniveau.

Derfor rapporterer konsollen gulvet direkte, i procentpoint, ved siden af den kontrolrate, det er en brøkdel af. Et halvt procentpoint betyder intet, uden at man ved, om basisraten er en procent eller fyrre.

Den siger også lige ud, om den forskel, der måles, ligger over eller under det gulv. Under det kan eksperimentet ikke afgøre det, det viser, og de brugbare svar er andre end dem, signifikans peger på: test noget dristigere, flyt til en side med mere trafik, eller accepter at spørgsmålet ikke kan besvares på denne skabelon.

Gulvet og den nødvendige stikprøvestørrelse er defineret som hinandens præcise inverse frem for ved separate formler. De blev tidligere beregnet ud fra forskellige variansantagelser og var derfor uenige med et par procent, hvilket betød noget, fordi samme panel viser begge, og en af dem afgør, om en forskel er målbar.

Bedre eksperimenter, bedre konvertering

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.