Holm-Bonferroni, Benjamini-Hochberg e Šidák

Holm-Bonferroni é a mais rigorosa das três. Ordena as comparações e desce a partir do limiar mais apertado, parando na primeira que falha, e controla a probabilidade de fazer qualquer falsa afirmação. É a predefinição certa quando um falso vencedor seria lançado e vivido com ele.

Benjamini-Hochberg trabalha a partir do outro extremo, e controla a parte de falsos positivos entre os resultados que chama vencedores, em vez da probabilidade de haver algum. Essa é uma garantia mais fraca e mais útil quando várias variantes estão ao vivo: é significativamente menos provável que descarte um efeito real, ao custo de admitir o falso vencedor ocasional.

Šidák aplica um único limiar a cada comparação em vez de uma sequência deles. É ligeiramente menos rigoroso do que um Bonferroni simples e assume que as comparações são independentes, o que é uma suposição razoável quando as suas variantes são genuinamente ideias diferentes e uma má suposição quando são variações sobre um tema.

Nenhuma é também uma opção, e é honesta quanto ao que custa: com várias comparações a um limiar não corrigido, a consola declara directamente quão provável se torna pelo menos um falso vencedor. É uma escolha defensável num teste de uma só variante e raramente defensável fora disso.