Estadísticas que puede defender
Alarmas de desajuste en el reparto de la muestra
La comprobación que corre antes de que ninguna otra cifra signifique nada: el tráfico se repartió de verdad como usted lo configuró.
Un desajuste en el reparto de la muestra significa que el reparto que usted configuró no es el que ocurrió. La causa suele ser una variante que no llega a aplicarse, una redirección que pierde visitantes por el camino, o un filtrado de bots que golpea a un brazo más que al otro.
Es un filtro de validez y no una métrica, y por eso se comprueba primero. Si la asignación está rota, los dos grupos no son comparables, y cada valor p, cada intervalo y cada recomendación de la página está midiendo ese fallo y no su cambio.
La prueba es una bondad de ajuste de chi-cuadrado contra los pesos configurados, a un umbral mucho más estricto que el habitual. Con tráfico real el reparto nunca es exactamente el nominal, y al 0,05 un experimento perfectamente sano haría saltar la alarma una vez de cada veinte, lo que enseña a todo el mundo a ignorarla. También se niega a correr por debajo de una muestra mínima o con menos de dos brazos recibiendo tráfico, porque en ese punto la falta de evidencia no es evidencia de un problema.
Existe exactamente una implementación de esto. La alarma que le llega por correo, la pantalla en la que aterriza y la automatización que se niega a actuar llegan todas al mismo veredicto desde el mismo código, porque una alerta que contradice la pantalla a la que enlaza es peor que ninguna alerta.