Statistik, die Sie vertreten können
Power-Analyse
Die Chance, dass dieses Experiment den Unterschied erkennen kann, den es gerade zeigt, sofern dieser Unterschied echt ist.
Power ist die Chance, dass ein Experiment einen echten Unterschied einer bestimmten Größe erkennt. Unterhalb von etwa achtzig Prozent bedeutet ein Nullergebnis "noch nicht genug Daten" und nicht "kein Effekt", und beides gleichzusetzen ist der Weg, auf dem eine gute Idee aufgegeben wird.
Pertento bemisst die Analyse an dem Unterschied, den das Experiment tatsächlich misst, und nicht an einem vorab gewählten Ziel-Uplift. Gegen fest verdrahtete fünf Prozent zu rechnen beantwortet die Frage "wann könnte ich fünf Prozent erkennen", und die stellt niemand an ein laufendes Experiment. Die Frage ist, wann der Effekt, den ich sehe, belastbar wird.
In dieser Rechnung steckt eine bewusste Sicherung. Der gemessene Unterschied wird nie durch die Untergrenze des nachweisbaren Effekts zurückgeführt, die selbst aus der aktuellen Stichprobe abgeleitet ist. Genau das macht die Antwort selbsterfüllend und meldet ausreichende Daten für ein Experiment, dem die Power deutlich fehlt.
Ist der gemessene Unterschied zu klein, um überhaupt daran zu bemessen, ein Effekt nahe null verlangt eine unbegrenzte Stichprobe, fällt die Analyse auf einen Ziel-Uplift zurück und nennt, welchen der beiden Wege sie genommen hat. Eine präzise aussehende Zahl ohne Hinweis auf ihre Annahme ist schlechter als eine ehrliche.