Sequenzielles Testen

Ein Test mit festem Horizont ist gültig, wenn Sie ein einziges Mal hinsehen: am Ende. Sehen Sie jeden Tag hin und stoppen Sie bei der ersten Überschreitung, klettert die Falsch-positiv-Rate weit über die fünf Prozent, mit denen Sie zu arbeiten glauben. Das ist keine Feinheit; es ist die häufigste Art, wie sich Experimentierprogramme selbst täuschen.

Sequenzielles Testen ist genau dafür gebaut. Seine Fehlerraten sind unter fortlaufender Beobachtung kontrolliert, ein Blick am neunten Tag ist also so gültig wie ein Blick am dreißigsten, und nach einem eindeutigen Ergebnis lässt sich handeln, sobald es eintrifft, und nicht erst, wenn der Kalender es sagt.

Es ruft auch das andere Ergebnis aus, was ein Test mit festem Horizont nicht kann. “Kein Effekt von der Größe, für die dieser Test gebaut wurde” ist ein echter Schluss, und danach zu handeln setzt den Traffic für die nächste Idee frei, statt einen flachen Test nur aus Hoffnung weiterlaufen zu lassen.

Es ist bei Automatisierung bewusst zurückhaltend. Ein automatischer Stopp verlangt, dass der sequenzielle Test und der korrigierte p-Wert übereinstimmen, an derselben Variante, in derselben Richtung. Sie werden nicht immer übereinstimmen, und der bekannte Fall ist ein realer Effekt, kleiner als der, für den der sequenzielle Test bemessen ist: Er zeigt keinen Effekt, während der p-Wert irgendwann Signifikanz zeigt, nichts löst aus, und das Experiment läuft bis zu seinem geplanten Ende. Genau in diese Richtung soll es im Zweifel scheitern.