Perguntar sobre este experimento

Quase toda pergunta sobre um teste é uma destas três: isso é significativo, já dá para confiar, e o que eu faço agora. Todo experimento tem um campo no cabeçalho, em todas as abas, onde você digita essa pergunta. A resposta aparece em um painel ao lado da página enquanto é escrita, no idioma em que você perguntou, começando pela resposta e depois pelo raciocínio.

Ele lê os números que a aba Statistics mostra, calculados do mesmo jeito, para o objetivo, a moeda, o método e a correção escolhidos ali: conversões, taxas e receita por variante, significância, a probabilidade de ser a melhor e a perda esperada, a análise de poder e quanto tempo o teste ainda precisa, a checagem da divisão de tráfego e os objetivos secundários. Ele nunca inventa um número e nunca chama uma variante de vencedora quando a página não chama. Ele também lê a segmentação, as variantes, os objetivos e o agendamento do experimento, o brief e a retrospectiva, que ele trata como a leitura que o time fez do resultado, e não como uma medição.

Em um rascunho, ele ajuda antes de o teste começar: se as configurações fazem o que o brief pretende, se a hipótese aponta uma mudança, um efeito e uma medida capaz de mostrá-lo, e o que os dados informados no Plano de duração do teste implicam. Ele só lê. Não inicia, não para e não edita nada, e não consegue ver o código de uma variante nem as mudanças individuais, as capturas de tela ou o registro de atividade. Tokens, chaves e endereços de e-mail em regras de segmentação e URLs de redirecionamento são ocultados antes de qualquer envio.

Cada experimento tem uma conversa só, compartilhada por todos que conseguem abri-lo, membros inclusive, e cada pergunta mostra quem a fez. Quando o resultado mudou depois que uma resposta foi dada, essa resposta é marcada como desatualizada. As conversas ficam guardadas por 12 meses, e cada resposta consome créditos de IA da conta dona do site, com o custo mostrado logo abaixo.