Leitplanken für die Mindestlaufzeit

Traffic ist an einem Dienstag nicht dasselbe wie an einem Sonntag, und die Absicht dahinter auch nicht. Ein nach vier Tagen gestopptes Experiment hat gemessen, welche Tage das eben waren, und der gemeldete Effekt übersteht den Kontakt mit einer vollen Woche nicht.

Deshalb wird eine Mindestlaufzeit erzwungen, bevor ein automatisierter Stopp bei Signifikanz erlaubt ist. Der Standard sind vierzehn Tage, also zwei volle Geschäftszyklen, und eine Konfiguration unter sieben ist überhaupt nicht möglich. Diese Untergrenze ist eine harte Grenze statt einer Warnung, weil das Argument, darunter zu gehen, immer dasselbe und immer falsch ist.

Sie sperrt nur den Signifikanzpfad. Ein geplantes Enddatum beendet das Experiment weiterhin, sobald es erreicht ist, und eine Person kann eines jederzeit von Hand stoppen. Die Leitplanke existiert, um Automatisierung davon abzuhalten, auf einen zu früh genommenen Messwert zu reagieren, nicht um Sie daran zu hindern, Ihr eigenes Programm zu steuern.

Sie wird bewusst vor der Kein-Traffic-Prüfung geprüft. Ein frisch gestartetes Experiment sieht identisch aus wie eines, das einen Tag lang nichts aufgezeichnet hat, und darauf zu blockieren ist endgültig, sodass eine Prüfung, bevor ein Experiment überhaupt die Chance hatte, Traffic zu bekommen, jeden Stopp-bei-Signifikanz-Zeitplan innerhalb einer Minute nach dem Livegang zerstören würde.