Alarmes de desajuste no rácio de amostragem

Um desajuste no rácio de amostragem significa que a divisão que configurou não é a divisão que aconteceu. Normalmente a causa é uma variante a falhar a aplicar-se, um redireccionamento a perder visitantes pelo caminho, ou a filtragem de bots a atingir um braço com mais força do que o outro.

É um critério de validade e não uma métrica, e é por isso que é verificado primeiro. Se a atribuição está avariada, os dois grupos não são comparáveis, e todo o valor p, intervalo e recomendação na página estão a medir essa falha em vez de medirem a sua alteração.

O teste é um qui-quadrado de ajustamento contra os pesos configurados, a um limiar muito mais rigoroso do que o habitual. Com tráfego real a divisão nunca é exactamente a nominal, e a 0,05 um teste perfeitamente saudável faria disparar o alarme uma vez em cada vinte, o que ensina toda a gente a ignorá-lo. Também recusa correr de todo abaixo de uma amostra mínima ou com menos de dois braços a receber tráfego, porque nesse ponto a ausência de evidência não é evidência de um problema.

Existe exactamente uma implementação disto. O alarme que lhe envia um e-mail, o ecrã em que aterra e a automatização que recusa agir chegam todos ao mesmo veredicto a partir do mesmo código, porque um alerta que contradiz a página a que aponta é pior do que nenhum alerta.