Risultati frequentisti

La parte frequentista risponde a una domanda: quanto spesso una differenza almeno di questa ampiezza apparirebbe per caso, se la variante non cambiasse nulla. Più basso è, più difficile è liquidarla, e sotto 0,05 è la soglia abituale.

Il confronto è un test z per due proporzioni fra ciascuna variante e il controllo, aggregato nel modo standard. Il punteggio z porta il segno nella direzione della variante, così una variante in vantaggio si legge positiva e concorda con l’intervallo dell’incremento calcolato accanto. Sembra banale e non lo è: una convenzione di segno che dissente fra due colonne della stessa tabella è il modo in cui una variante perdente viene pubblicata.

Il verdetto di significatività è il valore p dopo la correzione per confronti multipli, non prima. Con una sola variante la correzione non ha effetto e la soglia è semplicemente 0,05; con più varianti si restringe, e la console dichiara la soglia anziché lasciarvela calcolare.

Una variante pubblicata è esclusa dal confronto. Non riceve traffico randomizzato, quindi trattarla come braccio del test la confronterebbe con un controllo con cui non compete più e gonfierebbe il numero di confronti per cui tutto il resto è corretto.