Parar por significância

Parar no momento em que um teste cruza um valor p abaixo de 0,05 é o manual da paragem opcional. Espreitar repetidamente e parar na primeira travessia infla a taxa de falsos positivos bem para lá dos cinco por cento nominais, e uma verificação automatizada espreita a cada minuto, que é o pior caso possível disso.

Por isso a regra é conservadora. Uma paragem automatizada exige que o teste sequencial e o valor p corrigido concordem, na mesma variante, na mesma direcção. O teste sequencial é válido sob monitorização contínua; o valor p corrigido é um auxílio de leitura para uma pessoa que olha ocasionalmente, e não é, por si só, uma regra de paragem válida.

Isto tem uma consequência conhecida, que a plataforma aplica em vez de esconder. O teste sequencial é dimensionado para um ganho-alvo fixo, pelo que um teste com um efeito real mas mais pequeno o deixa a ler sem efeito enquanto o valor p acaba por ler significativo. Nunca concordam, nada dispara, e o teste corre até ao seu fim agendado. É por isso que uma data de fim agendada é obrigatória a par desta definição: a significância só pode sempre terminar um teste mais cedo, nunca ser a única coisa que o termina.

Três barreiras de confiança precedem todo o percurso. Uma divisão que deixou de corresponder, um dia inteiro sem tráfego, ou interferência de outro teste no ar bloqueiam cada uma a paragem, porque a leitura em que se basearia não pode ser confiada.