Estatísticas de experimentos que você pode defender

É para isso que serve a segunda metade desta página. Um resultado chega com o tamanho da diferença, o intervalo em volta dela e o quanto é provável que seja acaso, calculado de duas formas independentes e mostrado lado a lado. A receita é medida por variante em vez de inferida da taxa de conversão, então uma variante que converte mais vezes e vende mais barato não aparece como vitória. E a plataforma declara a própria incerteza em vez de esconder, que é a parte que sobrevive ao escrutínio: um resultado que ainda não é conclusivo diz isso, com palavras, em vez de ser apresentado como se fosse.

Não, e o design parte do princípio de que você não tem um. Cada número carrega a própria explicação ali mesmo, escrita para dizer o que aquele número está te contando e não para definir o termo, e várias delas existem justamente para evitar uma leitura errada: a coluna de diferença afirma abertamente que, por si só, ela não diz nada sobre a diferença ser real. Ao lado dos números há uma recomendação em palavras simples. O que ele não faz é simplificar escondendo, então quem quiser o valor p e o intervalo de confiança vai encontrar os dois.

Três defesas, e vale comparar cada uma com o que você usa hoje. Testar várias variantes ao mesmo tempo aumenta a chance de uma parecer vencedora por sorte, então o critério é apertado para compensar, e o console informa o limite que está aplicando em vez de deixar você deduzir. Olhar um resultado todos os dias infla a taxa de falso positivo, então o teste estatístico válido para leitura contínua é separado do que não é, e a plataforma não encerra um teste antes da hora a menos que os dois concordem. E antes de tudo isso, ela confere se o tráfego se dividiu do jeito que você configurou, porque se não se dividiu, nada calculado a partir dele se sustenta.

Às vezes sim e às vezes realmente não, e é aqui que a plataforma é mais útil, antes de você gastar três meses descobrindo. Cada teste reporta a menor diferença que o tráfego que você tem consegue detectar de forma confiável. Se o efeito que você persegue fica abaixo desse piso, nenhuma dose de paciência vai resolver, e o console diz isso em vez de deixar um teste em "não significativo" indefinidamente. Saber quais das suas páginas conseguem responder a uma pergunta e quais não conseguem vale mais em um site modesto que em um grande.

Não. Os dois são calculados para cada teste e mostrados juntos, então isso é uma preferência de leitura e não uma decisão de configuração que você pode errar. A metade frequentista informa quão improvável seria o resultado se a mudança não tivesse efeito nenhum. A metade bayesiana informa a probabilidade de cada variante ser a melhor, e quanto custaria a você escolher errado. Os times costumam achar a segunda mais fácil de agir e a primeira mais fácil de defender, e é exatamente por isso que nenhuma das duas foi descartada.