Estatísticas que se defendem
Perda esperada
Aquilo de que abdicaria ao publicar esta variante se ela vier a não ser a melhor. Muitas vezes o número que realmente resolve a decisão.
A significância responde se consegue distinguir duas coisas. A perda esperada responde a algo mais útil quando está prestes a agir: se escolher esta e estiver errado, quanto pior fica.
É calculada a partir da mesma amostragem posterior que a probabilidade de ser o melhor. Para cada extracção mede quão atrás do melhor braço esta variante ficou, e faz a média disso sobre todas elas. Um braço que costuma ser o melhor e só fica ligeiramente atrás quando não é tem uma perda esperada pequena.
É isto que torna as decisões apertadas decidíveis. Duas variantes difíceis de separar estatisticamente são muitas vezes triviais de escolher comercialmente, porque estar errado não custa quase nada. Esperar semanas por significância numa decisão assim barata é uma má troca de tráfego por certeza.
Também funciona ao contrário. Uma perda esperada grande numa variante que está nominalmente à frente é um aviso: o benefício é real mas a desvantagem não é pequena, e este é um teste que vale a pena deixar correr mais tempo.