Holm-Bonferroni, Benjamini-Hochberg y Šidák

Holm-Bonferroni es la más estricta de las tres. Ordena las comparaciones y trabaja desde el umbral más ajustado hacia abajo, deteniéndose en la primera que falla, y controla la probabilidad de hacer alguna afirmación falsa. Es la opción por defecto correcta cuando un ganador falso se enviaría y se tendría que vivir con él.

Benjamini-Hochberg trabaja desde el otro extremo, y controla la proporción de falsos positivos entre los resultados que usted llama ganadores, y no la probabilidad de que haya alguno. Esa es una garantía más débil y más útil cuando hay varias variantes en marcha: es notablemente menos probable que descarte un efecto real, al coste de admitir alguno malo de vez en cuando.

Šidák aplica un solo umbral a cada comparación en lugar de una secuencia de ellos. Es algo menos estricta que un Bonferroni sencillo y asume que las comparaciones son independientes, lo cual es razonable cuando sus variantes son de verdad ideas distintas, y poco razonable cuando son variaciones sobre un mismo tema.

Ninguna es también una opción, y es honesta sobre lo que cuesta: con varias comparaciones a un umbral sin corregir, la consola declara sin rodeos qué tan probable se vuelve al menos un ganador falso. Esa es una elección defendible en un test de una sola variante y raras veces defendible en cualquier otro caso.