Parada na significância

Parar no momento em que um teste cruza p abaixo de 0,05 é o livro-texto da parada opcional. Espiar repetidamente e parar na primeira vez que cruza infla a taxa de falso positivo muito além dos cinco por cento nominais, e uma checagem automatizada espia a cada minuto, que é o pior caso disso.

Por isso a regra é conservadora. Uma parada automatizada exige que o teste sequencial e o valor p corrigido concordem, na mesma variante, na mesma direção. O teste sequencial é válido sob monitoramento contínuo; o valor p corrigido é uma ajuda de leitura para uma pessoa que olha de vez em quando, e não é uma regra de parada válida sozinho.

Isso tem uma consequência conhecida, que a plataforma impõe em vez de esconder. O teste sequencial é dimensionado para um ganho-alvo fixo, então um teste com efeito real mas menor o deixa lendo nenhum efeito enquanto o valor p eventualmente lê significativo. Os dois nunca concordam, nada dispara, e o teste roda até o fim agendado. É por isso que uma data de fim agendada é obrigatória ao lado dessa configuração: a significância só pode encerrar um teste antes da hora, nunca ser a única coisa que o encerra.

Três portões de confiança ficam na frente de todo o caminho. Uma divisão que parou de bater, um dia inteiro sem tráfego, ou interferência de outro teste rodando, cada um bloqueia a parada, porque a leitura em que ela se basearia não pode ser confiável.