Programmarapport

Het Programmarapport is de terugblikkende helft van monitoring. De gezondheidsmonitor laat zien wat nu een mens nodig heeft; dit laat zien hoe het programma het heeft gedaan. Het leest alleen tests die zijn afgerond, zodat de vroege cijfers van een lopende test nooit naast een definitief resultaat staan, en het openen ervan verandert niets.

Elke afgeronde test krijgt één uitkomst. Gewonnen betekent dat minstens één variant de controle met zekerheid versloeg en geen enkele met zekerheid slechter deed; verloren is het omgekeerde; gemengd is één van elk, waar iemand naar moet kijken; zonder uitsluitsel is geen van beide. Uitkomsten worden bepaald op conversies met Holm-Bonferroni-correctie over de varianten, en met zekerheid betekent significant met het hele interval aan één kant van nul.

Een uitgerolde test telt als winst, ook als de statistiek geen uitsluitsel gaf, omdat uitrollen een mens is die besluit dat hij gewonnen heeft. Dat besluit wordt buiten de cijfers gehouden die het zou kunnen opblazen: uitgerolde winnaars worden alleen over statistische winnaars geteld, en de tabellen per verwacht mechanisme en per PXL-belang gebruiken het statistische resultaat, zodat de ideeën die mensen graag uitrollen er niet beter door gaan uitzien.

De doorloopgrafiek legt de lanceringen per maand over de uitkomsten van wat is afgerond. Als de lijn stijgt terwijl het aandeel winsten vlak blijft, draait het programma meer tests zonder er meer van te leren, wat een telling van lanceringen op zichzelf niet kan laten zien.