Sequenzielles Testen

Ein Test mit festem Horizont ist gültig, wenn Sie einmal hinsehen, am Ende. Sehen Sie jeden Tag hin und stoppen Sie bei der ersten Überschreitung, klettert die Falsch-positiv-Rate weit über die fünf Prozent, die Sie zu fahren glauben. Das ist keine Feinheit; es ist der häufigste Weg, wie sich Experimentierprogramme selbst täuschen.

Sequenzielles Testen ist genau dafür gebaut. Seine Fehlerraten sind unter fortlaufender Beobachtung kontrolliert, ein Blick am neunten Tag ist also so gültig wie ein Blick am dreißigsten, und ein eindeutiges Ergebnis lässt sich handeln, wenn es eintrifft, statt wenn der Kalender es sagt.

Es ruft auch das andere Ergebnis aus, was ein Test mit festem Horizont nicht kann. Kein Effekt von der Größe, für die dieser Test gebaut wurde, ist ein echter Schluss, und danach zu handeln setzt den Traffic für die nächste Idee frei, statt einen flachen Test aus Hoffnung weiterlaufen zu lassen.

Es ist bei Automatisierung bewusst zurückhaltend. Ein automatischer Stopp verlangt, dass der sequenzielle Test und der korrigierte p-Wert übereinstimmen, an derselben Variante, in derselben Richtung. Sie werden nicht immer übereinstimmen, und der bekannte Fall ist ein realer Effekt, kleiner als der, für den der sequenzielle Test bemessen ist: Er liest keinen Effekt, während der p-Wert irgendwann signifikant liest, nichts löst aus, und das Experiment läuft bis zu seinem geplanten Ende. Das ist die Richtung, in die es absichtlich versagt.