Programrapport

Programrapporten er den tilbakeskuende delen av overvåkningen. Helseovervåkningen viser hva som trenger en person nå, mens denne viser hvordan det har gått med testprogrammet. Den leser bare avsluttede tester. Tidlige tall fra en test som pågår, havner dermed aldri ved siden av et endelig resultat, og å åpne rapporten endrer ingenting.

Hver avsluttede test får ett utfall. Vunnet betyr at minst én variant slo kontrollen med sikkerhet, og at ingen var sikkert dårligere. Tapt er det motsatte. Blandet betyr én av hver, og det må noen se nærmere på. Uavklart betyr ingen av delene. Utfallene avgjøres på konverteringer, med Holm-Bonferroni-korreksjon på tvers av variantene, og «med sikkerhet» betyr signifikant, med hele intervallet på én side av null.

En test som er rullet ut, regnes som en seier selv om statistikken ikke ga noe svar, fordi utrulling betyr at en person har bestemt at den vant. Den avgjørelsen holdes utenfor tallene den ellers kunne blåst opp. Utrullede vinnere telles bare blant de statistiske vinnerne, og tabellene per forventet mekanisme og per PXL-viktighet bruker det statistiske resultatet. Ideene folk liker å rulle ut, ser derfor ikke bedre ut enn de er.

Testtempo-diagrammet legger antall lanseringer per måned over utfallene av testene som ble avsluttet. Stiger linjen mens andelen seire holder seg flat, kjører programmet flere tester uten å lære mer av dem. Det kan ikke antall lanseringer alene vise.