Estatísticas que você pode defender
Perda esperada
O que você abriria mão ao lançar esta variante, caso ela não seja a melhor. Muitas vezes é o número que realmente decide a questão.
A significância responde se você consegue distinguir duas coisas. A perda esperada responde algo mais útil na hora de agir: se você escolher esta e estiver errado, o quanto pior você fica.
Ela é calculada a partir da mesma amostragem posterior usada na probabilidade de ser a melhor. Para cada sorteio, mede o quanto essa variante ficou atrás do melhor braço, e tira a média sobre todos eles. Um braço que costuma ser o melhor e fica só um pouco atrás quando não é tem uma perda esperada pequena.
É isso que torna decidíveis os casos apertados. Duas variantes difíceis de separar estatisticamente costumam ser triviais de escolher comercialmente, porque errar custa quase nada. Esperar semanas por significância numa decisão tão barata é trocar tráfego por certeza a um preço ruim.
Funciona no sentido contrário também. Uma perda esperada grande numa variante nominalmente à frente é um aviso: o lado positivo é real, mas o negativo não é pequeno, e vale a pena deixar esse experimento rodar mais tempo.