Explicações em português claro

Resultados estatísticos são lidos por pessoas que não os calcularam, e a maior parte do estrago que uma tela de resultados causa vem de um número sendo lido errado, não de estar errado. Por isso cada número carrega a própria explicação, no lugar, escrita para responder o que ele está te contando e não para definir o termo.

Várias delas existem especificamente para evitar uma leitura errada. A da diferença absoluta afirma abertamente que, sozinha, ela não diz nada sobre a diferença ser real. A de sessões avisa que um comprador recorrente pode gerar mais conversões do que sessões. A do valor p declara o que ele significa e o que não significa, porque quase todo mundo o lê como a probabilidade de a variante ser melhor.

As definições vivem em um só lugar, em vez de nos componentes que as renderizam. Duas tabelas explicando o mesmo número de duas formas diferentes é um detalhe pequeno que corrói silenciosamente a confiança em todas elas.

O controle de correção vai além e declara o próprio efeito em vez de só o nome: quantas comparações estão em jogo, qual limite o método escolhido está de fato aplicando, e quando a escolha não consegue mudar o resultado de jeito nenhum.