Report del programma

Il report del programma è la metà retrospettiva del monitoraggio. Il monitor di salute mostra cosa ha bisogno di una persona adesso; questo mostra come è andato il programma. Legge solo i test che si sono conclusi, così i numeri provvisori di un test in corso non stanno mai accanto a un risultato definitivo, e aprirlo non cambia nulla.

Ogni test concluso riceve un solo esito. Vinto significa che almeno una variante ha battuto il controllo con sicurezza e nessuna ha fatto sicuramente peggio; perso è il contrario; misto è uno di ciascuno, e qualcuno deve esaminarlo; inconcludente è né l’uno né l’altro. Gli esiti sono decisi sulle conversioni con la correzione di Holm-Bonferroni tra le varianti, e con sicurezza significa significativo con l’intero intervallo da un lato dello zero.

Un test pubblicato conta come vittoria anche quando le statistiche erano inconcludenti, perché pubblicare è una persona che decide che ha vinto. Quella decisione è tenuta fuori dai numeri che potrebbe gonfiare: i vincitori messi in produzione sono contati solo sui vincitori statistici, e le tabelle per meccanismo atteso e per importanza PXL usano il risultato statistico, così le idee che si amano pubblicare non sembrano migliori per questo.

Il grafico della velocità mette i lanci al mese sopra gli esiti di ciò che si è concluso. Se la linea sale mentre la quota di vittorie resta piatta, il programma sta eseguendo più test senza imparare di più da essi, cosa che un semplice conteggio dei lanci non può mostrare.