Estatísticas que se defendem
Correcção para comparações múltiplas
Teste quatro variantes a 0,05 cada e tem cerca de uma em cinco hipóteses de um falso vencedor. Uma correcção é o que impede isso.
Cada variante adicional é mais uma hipótese de o ruído parecer um vencedor. Com quatro comparações julgadas a 0,05 cada, a probabilidade de pelo menos uma ultrapassar por sorte anda perto dos vinte por cento, e o vencedor que lança tem tanta probabilidade de ser um artefacto como uma melhoria real.
Uma correcção aperta o limiar para compensar. O Pertento oferece três, mais nenhuma, e aplicar uma altera apenas o veredicto de significância. O valor p, o valor z e os intervalos ficam intocados, pelo que mudar de método nunca altera a evidência, só o padrão a que a está a sujeitar.
Com uma única variante as quatro reduzem-se ao mesmo limiar. Em vez de o deixar descobrir isso testando cada opção, a consola di-lo directamente, e declara o limiar real que o método escolhido está a aplicar face ao seu número de comparações.
Uma correcção fica fixada em vez de escolhida sempre que a plataforma age por conta própria. A fila de atenção, a fila de implementação e a regra de paragem automática lêem todas o mesmo método, porque uma fila não pode oferecer uma lista pendente, e dois ecrãs a discordar sobre quem ganhou é o erro que isto evita.