Ohjelmaraportti

Ohjelmaraportti on valvonnan taaksepäin katsova puolisko. Terveysmonitori näyttää mikä tarvitsee ihmisen nyt; tämä näyttää miten ohjelma on menestynyt. Se lukee vain testejä jotka ovat päättyneet, joten käynnissä olevan testin alustavat luvut eivät koskaan päädy lopullisen tuloksen viereen, eikä sen avaaminen muuta mitään.

Jokainen päättynyt testi saa yhden lopputuloksen. Voitto tarkoittaa että ainakin yksi variantti voitti kontrollin luotettavasti eikä yksikään ollut luotettavasti huonompi; häviö on päinvastainen; sekatulos on yksi kumpaakin, ja sen pitää jonkun katsoa; epäselvä ei ole kumpaakaan. Lopputulokset ratkaistaan konversioista Holm-Bonferroni-korjauksella varianttien yli, ja luotettava tarkoittaa merkitsevää niin että koko väli on nollan samalla puolella.

Julkaistu testi lasketaan voitoksi silloinkin kun tilastot olivat epäselvät, koska julkaisu on ihmisen päätös siitä että se voitti. Tuo päätös pidetään erillään luvuista joita se voisi paisuttaa: julkaistut voittajat lasketaan vain tilastollisista voittajista, ja taulukot odotetun mekanismin ja PXL-tärkeysluvun mukaan käyttävät tilastollista tulosta, joten ideat joita ihmiset mielellään julkaisevat eivät näytä sen vuoksi paremmilta.

Tahtikaavio asettaa kuukausittaiset käynnistykset päättyneiden testien lopputulosten päälle. Jos viiva nousee samalla kun voittojen osuus pysyy tasaisena, ohjelma ajaa enemmän testejä oppimatta niistä enempää, mitä pelkkä käynnistysten määrä ei pysty näyttämään.