Frequentista e bayesiano, lado a lado

É para isso que serve a segunda metade desta página. Um resultado chega com a dimensão da diferença, o intervalo em seu redor, e a probabilidade de ser obra do acaso, calculada por duas vias independentes e mostrada lado a lado. A receita é medida por variante em vez de inferida da taxa de conversão, pelo que uma variante que converte mais vezes e vende mais barato não é lida como uma vitória. E a plataforma declara a sua própria incerteza em vez de a esconder, que é a parte que resiste ao escrutínio: um resultado que ainda não é conclusivo di-lo, por palavras, em vez de ser apresentado como um que já o é.

Não, e o desenho parte do princípio de que não têm um. Cada número leva consigo a sua explicação no lugar, escrita para dizer o que esse número lhe está a dizer e não para definir o termo, e vários deles existem precisamente para evitar uma leitura errada: a coluna da diferença afirma sem rodeios que, por si só, nada diz sobre se a diferença é real. Ao lado dos números há uma recomendação em palavras simples. O que não fará é simplificar escondendo, pelo que quem quiser o valor p e o intervalo encontra os dois.

Três defesas, e vale a pena compará-las com o que usam hoje. Testar várias variantes ao mesmo tempo aumenta a probabilidade de uma parecer vencedora por sorte, pelo que a fasquia é apertada para compensar, e a consola declara o limiar que está a aplicar em vez de o deixar a calculá-lo. Olhar para um resultado todos os dias inflaciona a taxa de falsos positivos, pelo que o teste que é válido ler continuamente está separado do que não é, e a plataforma não para um teste antecipadamente sem que ambos concordem. E antes de tudo isso, verifica se o tráfego se repartiu efectivamente como o configurou, porque se não se repartiu, nada calculado a partir dele se sustenta.

Às vezes sim e às vezes genuinamente não, e é aqui que a plataforma é mais útil, antes de terem passado três meses a descobri-lo. Cada teste reporta a diferença mais pequena que o tráfego que têm consegue detectar de forma fiável. Se o efeito que perseguem fica abaixo desse limiar, nenhuma dose de paciência o resolverá, e a consola di-lo em vez de deixar um teste em “não significativo” indefinidamente. Saber quais das suas páginas conseguem responder a uma pergunta e quais não conseguem vale mais num site modesto do que num grande.

Não. Ambos são calculados para cada teste e mostrados em conjunto, pelo que se trata de uma preferência de leitura e não de uma decisão de configuração que se possa errar. A metade frequentista reporta quão improvável seria o resultado se a alteração não tivesse feito nada. A metade bayesiana reporta a probabilidade de cada variante ser a melhor, e o que lhe custaria escolher mal. As equipas tendem a achar a segunda mais fácil de accionar e a primeira mais fácil de defender, e é exactamente por isso que nenhuma delas foi abandonada.