Estadísticas que puede defender
Intervalos de mejora y de confianza
Dos intervalos, cada uno con su propio trabajo. El que zanja una discusión es el segundo.
El primer intervalo es para la tasa de conversión propia de una variante: el rango en el que su tasa real cae con más probabilidad. Es un intervalo de Wilson y no uno ingenuo, lo que significa que se mantiene entre el cero y el cien por cien incluso con muestras pequeñas, donde un cálculo más simple informa alegremente de un límite inferior por debajo de cero.
El segundo es el que decide las cosas. El intervalo de mejora es el rango para la diferencia contra el control. Si todo el rango queda por encima de cero, la variante va de verdad por delante. Si toca el cero, «sin diferencia» sigue siendo compatible con lo medido, por muy prometedora que se vea la estimación puntual.
Esa distinción es la razón de que se muestren los dos. Dos intervalos por variante que se solapan no dicen si la diferencia entre ellos es real, y leerlos como si lo dijeran es una de las formas más comunes de dar un test por terminado antes de tiempo.
El intervalo de mejora es también lo que lee el resto de la plataforma. La cola de atención solo declara un ganador cuando el intervalo se queda de un solo lado del cero, la cola de implementación aplica el mismo filtro, y la parada automática se niega a actuar sin él. Una sola definición de «ir por delante», usada en todas partes.