Efeito mínimo detectável

Esse é o modo de falha que parece "nenhum resultado" e na verdade é "tráfego insuficiente para saber algum dia". Um teste medindo uma diferença menor que o piso que a sua amostra consegue resolver fica em não significativo indefinidamente, e nenhuma paciência muda isso no nível de tráfego atual.

Por isso o console reporta o piso diretamente, em pontos percentuais, ao lado da taxa do controle da qual ele é uma fração. Meio ponto percentual não significa nada sem saber se a taxa base é um por cento ou quarenta.

Ele também declara com clareza se a diferença medida está acima ou abaixo desse piso. Abaixo dele, o teste não consegue resolver o que está mostrando, e as respostas úteis são diferentes das que a significância sugere: testar algo mais ousado, mudar para uma página com mais tráfego, ou aceitar que a pergunta não é respondível nesse modelo.

O piso e o tamanho de amostra necessário são definidos como inversos exatos um do outro, em vez de por fórmulas separadas. Antes eram calculados a partir de premissas de variância diferentes e por isso divergiam alguns pontos percentuais, o que importava porque o mesmo painel mostra os dois e um deles decide se uma diferença é resolvível.