Estadísticas que puede defender
Probabilidad de que una variante sea la mejor
Léala directamente. A diferencia de un valor p, es la respuesta a la pregunta que usted de verdad hizo.
Un valor p le dice lo sorprendentes que serían sus datos bajo un supuesto en el que no cree. Casi todo el mundo lo lee como la probabilidad de que la variante sea mejor, que no es lo que dice. Esta cifra es el número que la gente cree estar leyendo, calculado como es debido.
Es la proporción de resultados simulados en los que esta variante sale por delante de todos los demás brazos, incluido el control. Como se calcula sobre todos los brazos a la vez, las probabilidades de un experimento suman uno, y un test a tres bandas no necesita una corrección aparte para leerse.
Es sobre lo que se construye la recomendación de la consola. Una variante al 95 % o por encima, cuyo resultado frecuentista también supera su umbral corregido, se informa como ganadora con alta confianza. Por encima del 80 % se informa como en tendencia, con el consejo honesto de seguir corriendo.
Se lee junto a la pérdida esperada y no en su lugar. Una probabilidad alta con una pérdida esperada grande es una decisión distinta de una probabilidad alta con una insignificante, y la segunda suele ser la que hace fácil enviar el cambio.