Effetto minimo rilevabile

È il modo di fallire che sembra "nessun risultato" e in realtà è "traffico insufficiente per poterlo mai dire". Un test che misura una differenza più piccola della soglia che il suo campione riesce a risolvere resterà su non significativo a tempo indeterminato, e al livello di traffico attuale nessuna dose di pazienza lo cambia.

Quindi la console riferisce la soglia direttamente, in punti percentuali, accanto al tasso del controllo di cui è una frazione. Mezzo punto percentuale non significa nulla senza sapere se il tasso di base è l’uno per cento o il quaranta.

Dichiara anche chiaramente se la differenza che si sta misurando è sopra o sotto quella soglia. Al di sotto, il test non riesce a risolvere ciò che sta mostrando, e le risposte utili sono diverse da quelle che la significatività suggerisce: testare qualcosa di più coraggioso, passare a una pagina con più traffico, o accettare che la domanda non sia risolvibile su questo template.

La soglia e la dimensione campionaria richiesta sono definite come esatti inversi l’una dell’altra anziché da formule separate. Prima erano calcolate da assunzioni diverse sulla varianza e quindi dissentivano di qualche punto percentuale, il che contava perché lo stesso pannello mostra entrambe e una delle due decide se una differenza è risolvibile.