Ohjelmaraportti

Ohjelmaraportti on valvonnan taaksepäin katsova puolisko. Terveysvalvonta näyttää, mikä vaatii ihmistä nyt; tämä näyttää, miten ohjelma on menestynyt. Se lukee vain päättyneitä testejä, joten käynnissä olevan testin alustavat luvut eivät koskaan päädy lopullisen tuloksen viereen, eikä raportin avaaminen muuta mitään.

Jokainen päättynyt testi saa yhden lopputuloksen. Voitto tarkoittaa, että vähintään yksi variantti voitti kontrollin luotettavasti eikä yksikään ollut luotettavasti huonompi; häviö on päinvastainen; sekatulos tarkoittaa yhtä kumpaakin, ja sen pitää jonkun katsoa; epäselvä ei ole kumpaakaan. Lopputulokset ratkaistaan konversioista Holm-Bonferroni-korjauksella varianttien kesken, ja luotettava tarkoittaa merkitsevää niin, että koko väli on nollan samalla puolella.

Julkaistu testi lasketaan voitoksi silloinkin, kun tilastot olivat epäselvät, koska julkaisu on ihmisen päätös siitä, että testi voitti. Tämä päätös pidetään erillään luvuista, joita se voisi paisuttaa: julkaistut voittajat lasketaan vain tilastollisista voittajista, ja taulukot odotetun mekanismin ja PXL-tärkeysluvun mukaan käyttävät tilastollista tulosta, joten ideat, joita ihmiset julkaisevat mielellään, eivät näytä sen vuoksi paremmilta.

Tahtikaavio asettaa kuukausittaiset käynnistykset päättyneiden testien lopputulosten päälle. Jos käyrä nousee mutta voittojen osuus pysyy samana, ohjelma ajaa enemmän testejä oppimatta niistä enempää, eikä pelkkä käynnistysten määrä pysty näyttämään sitä.