Relatório do programa

O relatório do programa é a metade retrospectiva da monitorização. O monitor de saúde mostra o que precisa agora de uma pessoa; este mostra como o programa tem corrido. Lê apenas testes que terminaram, para que os números provisórios de um teste em curso nunca fiquem ao lado de um resultado final, e abri-lo não altera nada.

Cada teste terminado recebe um único resultado. Vitória significa que pelo menos uma variante bateu o controlo com confiança e nenhuma ficou com confiança pior; derrota é o inverso; misto é um de cada, algo que alguém tem de analisar; inconclusivo não é nem uma coisa nem outra. Os resultados são decididos sobre as conversões com correcção de Holm-Bonferroni entre variantes, e com confiança significa significativo com todo o intervalo de um só lado do zero.

Um teste publicado conta como vitória mesmo quando a estatística foi inconclusiva, porque publicar é uma pessoa a decidir que ganhou. Essa decisão fica fora dos números que poderia inflacionar: os vencedores levados a produção contam apenas vencedores estatísticos, e as tabelas por mecanismo esperado e por importância PXL usam o resultado estatístico, para que as ideias que as pessoas gostam de publicar não pareçam melhores por isso.

O gráfico de velocidade coloca os lançamentos por mês sobre os resultados do que foi concluído. Se a linha sobe enquanto a proporção de vitórias se mantém estável, o programa está a correr mais testes sem aprender mais com eles, o que uma contagem de lançamentos, por si só, não consegue mostrar.