Efeito mínimo detectável

Este é o modo de falha que parece “sem resultado” e é na verdade “tráfego insuficiente para alguma vez se saber”. Um teste que meça uma diferença menor do que o limiar que a sua amostra consegue resolver fica em não significativo indefinidamente, e nenhuma paciência muda isso ao nível de tráfego actual.

Por isso a consola reporta o limiar directamente, em pontos percentuais, ao lado da taxa de controlo de que é uma fracção. Meio ponto percentual não significa nada sem saber se a taxa base é um por cento ou quarenta.

Também declara claramente se a diferença medida está acima ou abaixo desse limiar. Abaixo dele, o teste não consegue resolver o que está a mostrar, e as respostas úteis são diferentes das que a significância sugere: testar algo mais ousado, mudar para uma página com mais tráfego, ou aceitar que a pergunta não tem resposta neste modelo.

O limiar e a dimensão de amostra necessária são definidos como inversos exactos um do outro, em vez de por fórmulas separadas. Costumavam ser calculados a partir de pressupostos de variância diferentes e por isso discordavam por alguns pontos percentuais, o que importava porque o mesmo painel mostra ambos e um deles decide se uma diferença é resolúvel.