Resultados bayesianos

La mitad bayesiana modela la tasa de conversión de cada variante como una distribución y no como un punto, partiendo de un prior uniforme que no da nada por hecho, y la actualiza con lo que de verdad se ha observado. A partir de esas distribuciones informa de la probabilidad de que cada variante sea la mejor de las probadas, del coste esperado de elegir mal, y de un intervalo creíble por variante.

Se calcula para cada experimento, no como un modo alternativo que haya que activar. Las dos mitades están en la misma pantalla porque responden a preguntas distintas y la gente necesita ambas: la probabilidad es más fácil de usar para actuar, el valor p es más fácil de defender.

Las probabilidades salen de muestrear las distribuciones posteriores muchas veces y contar cuántas veces sale por delante cada variante. Un detalle importa más de lo que parece: el muestreo se siembra a partir de los propios datos, así que los mismos recuentos siempre dan la misma respuesta. Sin eso, recargar la página movería la probabilidad un poco cada vez, y un número que cambia sin que nada haya cambiado es un número en el que nadie confía.

Como la mitad frecuentista, esto describe un proceso de convertir o no convertir, así que se calcula para las conversiones. Los ingresos por sesión no son ese tipo de magnitud, y la consola informa de que están ausentes en lugar de rellenar la columna.