Alarmes de discrepância na proporção da amostra

Uma discrepância na proporção da amostra significa que a divisão configurada não é a que aconteceu. Geralmente a causa é uma variante que falhou ao aplicar, um redirecionamento perdendo visitantes pelo caminho, ou uma filtragem de bots atingindo um braço com mais força que o outro.

É um portão de validade e não uma métrica, e por isso é checado primeiro. Se a atribuição está quebrada, os dois grupos não são comparáveis, e todo valor p, intervalo e recomendação na página está medindo essa falha, não a sua mudança.

O teste é um qui-quadrado de aderência contra os pesos configurados, com um limite bem mais rígido que o usual. Com tráfego real a divisão nunca é exatamente a nominal, e a 0,05 um experimento perfeitamente saudável dispararia o alarme uma vez em vinte, o que ensina todo mundo a ignorá-lo. Ele também se recusa a rodar abaixo de uma amostra mínima ou com menos de dois braços recebendo tráfego, porque nesse ponto a ausência de evidência não é evidência de um problema.

Existe exatamente uma implementação disso. O alarme que chega no seu e-mail, a tela em que você cai e a automação que se recusa a agir chegam todos ao mesmo veredito a partir do mesmo código, porque um alerta que contradiz a página para a qual ele aponta é pior que nenhum alerta.