Allarmi di ripartizione anomala del campione

Una ripartizione anomala del campione significa che la ripartizione configurata non è quella avvenuta. Di solito la causa è una variante che non si applica, un redirect che perde visitatori per strada, o un filtro anti-bot che colpisce un braccio più dell’altro.

È una verifica di validità e non una metrica, ed è per questo che è controllata per prima. Se l’assegnazione è rotta i due gruppi non sono confrontabili, e ogni valore p, intervallo e raccomandazione sulla pagina misura quel guasto anziché la vostra modifica.

Il test è un chi quadrato di bontà di adattamento contro i pesi configurati, a una soglia molto più severa di quella abituale. Con traffico reale la ripartizione non è mai esattamente nominale, e a 0,05 un test perfettamente sano farebbe scattare l’allarme una volta su venti, il che insegna a tutti a ignorarlo. Si rifiuta inoltre di girare sotto un campione minimo o con meno di due bracci che ricevono traffico, perché a quel punto un’assenza di prove non è prova di un problema.

Di questo esiste esattamente una implementazione. L’allarme che vi arriva per e-mail, lo schermo su cui atterrate e l’automazione che si rifiuta di agire raggiungono lo stesso verdetto dallo stesso codice, perché un avviso che contraddice la pagina a cui rimanda è peggio di nessun avviso.