Descobertas
Salvaguarda de comportamento
Um olho em cada experimento em andamento, que avisa quando uma variante piora o site para os visitantes.
A cada horaPoucos alarmes falsosSó avisa
A salvaguarda de comportamento compara as variantes de cada experimento em andamento com o controle e avisa quando uma delas mostra mais erros, mais cliques mortos ou de raiva, ou páginas mais lentas que o controle.
Ela checa a cada hora, e uma variante claramente quebrada costuma ser sinalizada em cerca de um dia.
Ela foi feita para evitar alarmes falsos: em simulações de experimentos sem efeito real, os avisos falsos ficaram abaixo de 0,2%.
Ela avisa e nunca para nem altera um teste sozinha. Os avisos vão para o Slack e para o aplicativo por padrão, e o e-mail é uma opção.