Estatísticas que se defendem

Correcção para comparações múltiplas

Teste quatro variantes a 0,05 cada e tem cerca de uma em cinco hipóteses de um falso vencedor. Uma correcção é o que impede isso.

Quatro métodosSó o veredictoDeclarado, não escondido

Cada variante adicional é mais uma hipótese de o ruído parecer um vencedor. Com quatro comparações julgadas a 0,05 cada, a probabilidade de pelo menos uma ultrapassar por sorte anda perto dos vinte por cento, e o vencedor que lança tem tanta probabilidade de ser um artefacto como uma melhoria real.

Uma correcção aperta o limiar para compensar. O Pertento oferece três, mais nenhuma, e aplicar uma altera apenas o veredicto de significância. O valor p, o valor z e os intervalos ficam intocados, pelo que mudar de método nunca altera a evidência, só o padrão a que a está a sujeitar.

Com uma única variante as quatro reduzem-se ao mesmo limiar. Em vez de o deixar descobrir isso testando cada opção, a consola di-lo directamente, e declara o limiar real que o método escolhido está a aplicar face ao seu número de comparações.

Uma correcção fica fixada em vez de escolhida sempre que a plataforma age por conta própria. A fila de atenção, a fila de implementação e a regra de paragem automática lêem todas o mesmo método, porque uma fila não pode oferecer uma lista pendente, e dois ecrãs a discordar sobre quem ganhou é o erro que isto evita.

Melhores testes, melhores conversões

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.