Relatório do programa

O relatório do programa é a metade retrospectiva do monitoramento. O monitor de saúde mostra o que precisa de uma pessoa agora; este mostra como o programa vem se saindo. Ele lê só testes que já terminaram, então os números iniciais de um teste rodando nunca ficam ao lado de um resultado final, e abri-lo não muda nada.

Cada teste encerrado recebe um único resultado. Vencido significa que pelo menos uma variante superou o controle com confiança e nenhuma foi claramente pior; perdido é o contrário; misto é um de cada, o que alguém precisa olhar; inconclusivo não é nenhum dos dois. Os resultados são decididos sobre as conversões com correção de Holm-Bonferroni entre as variantes, e com confiança significa significativo com o intervalo inteiro de um lado do zero.

Um teste implantado conta como vitória mesmo quando a estatística foi inconclusiva, porque implantar é uma pessoa decidindo que ele venceu. Essa decisão fica fora dos números que ela poderia inflar: os vencedores implantados são contados só sobre vencedores estatísticos, e as tabelas por mecanismo esperado e por importância PXL usam o resultado estatístico, então as ideias que as pessoas gostam de lançar não parecem melhores por causa disso.

O gráfico de velocidade coloca os lançamentos por mês sobre os resultados do que foi concluído. Se a linha sobe enquanto a parcela de vitórias fica estável, o programa está rodando mais testes sem aprender mais com eles, algo que uma contagem de lançamentos sozinha não consegue mostrar.