Estadísticas que puede defender
Pérdida esperada
Lo que dejaría de ganar al enviar esta variante si resulta que no es la mejor. A menudo el número que de verdad zanja la decisión.
La significancia responde si usted puede distinguir dos cosas. La pérdida esperada responde algo más útil cuando está a punto de actuar: si elige esta y se equivoca, cuánto peor le va.
Se calcula a partir del mismo muestreo posterior que la probabilidad de ser la mejor. Para cada extracción mide cuánto se quedó atrás esta variante respecto al mejor brazo, y promedia eso sobre todas ellas. Un brazo que suele ser el mejor y solo se queda un poco atrás cuando no lo es tiene una pérdida esperada pequeña.
Esto es lo que vuelve decidibles los resultados ajustados. Dos variantes difíciles de separar estadísticamente suelen ser triviales de elegir comercialmente, porque equivocarse casi no cuesta nada. Esperar semanas a la significancia en una decisión tan barata es un mal cambio de tráfico por certeza.
También funciona al revés. Una pérdida esperada grande en una variante que va nominalmente por delante es una advertencia: el lado positivo es real pero el negativo no es pequeño, y este es un experimento que merece la pena dejar correr más tiempo.