Korrigering för multipla jämförelser

Varje extra variant är en ny chans för slumpen att se ut som en vinnare. Med fyra jämförelser på 0,05 var är risken nästan 20 procent att minst en passerar av ren tur, och vinnaren du rullar ut kan lika gärna vara en artefakt som en förbättring.

En korrigering skärper tröskeln för att kompensera. Pertento har tre, plus alternativet ingen, och valet ändrar bara utfallet signifikant eller inte. P-värdet, z-värdet och intervallen påverkas inte, så när du byter metod ändras aldrig underlaget, bara nivån det bedöms mot.

Med en enda variant ger alla fyra samma tröskel. Du behöver inte prova dig fram, för konsolen säger det rakt ut och visar vilken tröskel den valda metoden använder för ditt antal jämförelser.

Där plattformen agerar på egen hand är korrigeringen fast och inte valbar. Uppmärksamhetskön, implementeringskön och den automatiska stoppregeln använder samma metod. En kö kan inte ha en rullgardinsmeny, och två skärmar som är oense om vem som vann är precis den bugg det här förhindrar.