Programrapport

Programrapporten er den tilbageskuende halvdel af overvågningen. Helbredsovervågningen viser, hvad der kræver en person nu; denne viser, hvordan programmet har klaret sig. Den læser kun test, der er afsluttet, så de tidlige tal fra en kørende test aldrig står ved siden af et endeligt resultat, og det ændrer intet at åbne den.

Hver afsluttet test får ét udfald. Vundet betyder, at mindst én variant slog kontrollen med sikkerhed, og ingen klarede sig sikkert dårligere; tabt er det omvendte; blandet er én af hver, hvilket nogen skal kigge på; uden udfald er ingen af delene. Udfaldene afgøres på konverteringer med Holm-Bonferroni-korrektion på tværs af varianterne, og sikker betyder signifikant med hele intervallet på den ene side af nul.

En udrullet test tæller som en sejr, selv når statistikken ikke gav noget udfald, fordi en udrulning er en person, der beslutter, at den vandt. Den beslutning holdes ude af de tal, den kunne puste op: udrullede vindere tælles kun på statistiske vindere, og tabellerne pr. forventet mekanisme og pr. PXL-vigtighed bruger det statistiske resultat, så de idéer, folk gerne ruller ud, ikke ser bedre ud af den grund.

Hastighedsdiagrammet lægger lanceringer pr. måned oven over udfaldene af det, der blev afsluttet. Hvis linjen stiger, mens andelen af sejre ligger fladt, kører programmet flere test uden at lære mere af dem, og det kan et antal lanceringer alene ikke vise.