Statistik, die Sie vertreten können
Alarme bei Stichprobenverhältnis
Die Prüfung, die vor jeder anderen Zahl läuft, damit diese überhaupt etwas bedeutet: Hat der Traffic sich tatsächlich so aufgeteilt, wie konfiguriert.
Ein falsches Stichprobenverhältnis heißt, die konfigurierte Aufteilung ist nicht die, die tatsächlich geschah. Meist liegt die Ursache in einer Variante, die nicht greift, einer Weiterleitung, die Besucher unterwegs verliert, oder einer Bot-Filterung, die einen Arm härter trifft als den anderen.
Es ist eine Gültigkeitsschranke und keine Kennzahl, und deshalb wird sie zuerst geprüft. Ist die Zuordnung kaputt, sind die beiden Gruppen nicht vergleichbar, und jeder p-Wert, jedes Intervall und jede Empfehlung auf der Seite misst diesen Fehler statt Ihrer Änderung.
Der Test ist ein Chi-Quadrat-Anpassungstest gegen die konfigurierten Gewichte, mit einer weit strengeren Schwelle als der üblichen. Bei echtem Traffic ist die Aufteilung nie exakt nominal, und bei 0,05 würde ein völlig gesundes Experiment den Alarm einmal in zwanzig Fällen auslösen, was alle lehrt, ihn zu ignorieren. Er verweigert sich auch, unterhalb einer Mindeststichprobe oder mit weniger als zwei Traffic tragenden Armen überhaupt zu laufen, denn an diesem Punkt ist ein Fehlen von Belegen kein Beleg für ein Problem.
Genau eine Umsetzung davon existiert. Der Alarm, der Ihnen eine E-Mail schickt, der Bildschirm, auf dem Sie landen, und die Automatisierung, die sich weigert zu handeln, erreichen alle dasselbe Urteil aus demselben Code, denn ein Alarm, der dem Bildschirm widerspricht, auf den er verweist, ist schlimmer als kein Alarm.