Stopp bei Signifikanz

Im Moment zu stoppen, in dem ein Test unter p 0,05 fällt, ist Lehrbuch-Optional-Stopping. Wiederholt hinzuschauen und beim ersten Unterschreiten zu stoppen bläht die Falsch-positiv-Rate weit über die nominalen fünf Prozent auf, und eine automatisierte Prüfung schaut jede einzelne Minute nach, was der schlimmste Fall davon ist.

Deshalb ist die Regel konservativ. Ein automatisierter Stopp verlangt, dass der sequenzielle Test und der korrigierte p-Wert übereinstimmen, an derselben Variante, in derselben Richtung. Der sequenzielle Test ist unter laufender Beobachtung gültig; der korrigierte p-Wert ist eine Lesehilfe für einen Menschen, der gelegentlich hinschaut, und für sich genommen keine gültige Stoppregel.

Das hat eine bekannte Folge, die die Plattform durchsetzt statt sie zu verbergen. Der sequenzielle Test ist auf einen festen Ziel-Uplift bemessen, sodass ein Experiment mit einem echten, aber kleineren Effekt bei ihm dauerhaft "kein Effekt" liest, während der p-Wert irgendwann signifikant wird. Sie stimmen nie überein, nichts löst aus, und das Experiment läuft bis zu seinem geplanten Ende. Deshalb ist ein geplantes Enddatum neben dieser Einstellung Pflicht: Signifikanz darf ein Experiment nur früher beenden, nie das Einzige sein, was es beendet.

Vor dem ganzen Pfad stehen drei Vertrauensprüfungen. Eine nicht mehr passende Aufteilung, ein voller Tag ohne Traffic, oder Störung durch ein anderes laufendes Experiment blockieren den Stopp jeweils, weil der Messwert, auf dem er beruhen würde, nicht vertrauenswürdig ist.