Statistiche difendibili
Incremento e intervalli di confidenza
Due intervalli, con due compiti diversi. Quello che chiude una discussione è il secondo.
Il primo intervallo riguarda il tasso di conversione proprio di una variante: l’intervallo in cui il suo tasso vero cade con maggiore probabilità. È un intervallo di Wilson anziché uno ingenuo, il che significa che resta compreso fra zero e cento per cento anche su campioni piccoli, dove un calcolo più semplice riferisce allegramente un limite inferiore sotto lo zero.
Il secondo è quello che decide. L’intervallo dell’incremento è l’intervallo per la differenza rispetto al controllo. Se tutto l’intervallo sta sopra lo zero, la variante è davvero in vantaggio. Se contiene lo zero, "nessuna differenza" è ancora compatibile con ciò che avete misurato, per quanto incoraggiante sembri la stima puntuale.
Quella distinzione è il motivo per cui sono mostrati entrambi. Due intervalli per variante che si sovrappongono non vi dicono se la differenza fra loro è reale, e leggerli come se lo facessero è uno dei modi più comuni in cui un test viene chiuso troppo presto.
L’intervallo dell’incremento è anche ciò che il resto della piattaforma legge. La coda delle attenzioni dichiara un vincitore solo quando l’intervallo resta da un solo lato dello zero, la coda di implementazione applica lo stesso criterio, e l’arresto automatico si rifiuta senza di esso. Una sola definizione di "in vantaggio", usata dappertutto.