Programrapport

Programrapporten er den tilbakeskuende halvdelen av overvåkningen. Helseovervåkningen viser hva som trenger en person nå; denne viser hvordan programmet har gjort det. Den leser bare tester som er avsluttet, så de tidlige tallene fra en pågående test havner aldri ved siden av et endelig resultat, og å åpne den endrer ingenting.

Hver avsluttede test får ett utfall. Vunnet betyr at minst én variant slo kontrollen med sikkerhet og ingen gjorde det sikkert dårligere; tapt er det motsatte; blandet er én av hver, noe noen må se på; uten utfall er ingen av delene. Utfallene avgjøres på konverteringer med Holm-Bonferroni-korreksjon på tvers av variantene, og sikker betyr signifikant med hele intervallet på én side av null.

En utrullet test teller som en seier selv når statistikken ikke ga noe utfall, fordi en utrulling er en person som bestemmer at den vant. Den beslutningen holdes utenfor tallene den kunne blåst opp: utrullede vinnere telles bare på statistiske vinnere, og tabellene per forventet mekanisme og per PXL-viktighet bruker det statistiske resultatet, så ideene folk liker å rulle ut ikke ser bedre ut av den grunn.

Hastighetsdiagrammet legger lanseringer per måned over utfallene av det som ble avsluttet. Hvis linjen stiger mens andelen seire ligger flatt, kjører programmet flere tester uten å lære mer av dem, noe et antall lanseringer alene ikke kan vise.