Statistik, die Sie vertreten können
Minimal nachweisbarer Effekt
Die kleinste Veränderung, die dieser Traffic zuverlässig erkennen kann. Ein Unterschied darunter wird durch Warten nicht signifikant.
Das ist der Fehlerfall, der wie "kein Ergebnis" aussieht und in Wahrheit "nie genug Traffic, um es zu erkennen" heißt. Ein Experiment, das einen kleineren Unterschied misst als die Untergrenze seiner Stichprobe, bleibt beim aktuellen Traffic auf unbegrenzte Zeit bei "nicht signifikant", und keine Geduld ändert das.
Deshalb nennt die Konsole die Untergrenze direkt, in Prozentpunkten, zusammen mit der Kontrollrate, von der sie ein Bruchteil ist. Ein halber Prozentpunkt bedeutet nichts, solange Sie nicht wissen, ob die Basisrate ein Prozent oder vierzig beträgt.
Sie sagt auch klar, ob der gemessene Unterschied über oder unter dieser Untergrenze liegt. Darunter kann das Experiment nicht auflösen, was es zeigt, und die sinnvollen Reaktionen unterscheiden sich von denen, die Signifikanz nahelegt: etwas Mutigeres testen, auf eine Seite mit mehr Traffic wechseln, oder akzeptieren, dass die Frage auf diesem Template nicht beantwortbar ist.
Die Untergrenze und die erforderliche Stichprobengröße sind als exakte Kehrwerte voneinander definiert statt durch getrennte Formeln. Früher wurden sie aus unterschiedlichen Varianzannahmen berechnet und wichen deshalb um einige Prozent voneinander ab, was zählte, weil dasselbe Panel beide zeigt und eine der beiden Zahlen entscheidet, ob ein Unterschied auflösbar ist.