Programrapport

Programrapporten är den tillbakablickande halvan av övervakningen. Hälsoövervakningen visar vad som behöver en person nu; den här visar hur programmet har gått. Den läser bara test som har avslutats, så de tidiga talen från ett pågående test hamnar aldrig bredvid ett slutgiltigt resultat, och att öppna den ändrar ingenting.

Varje avslutat test får ett utfall. Vann betyder att minst en variant slog kontrollen med säkerhet och ingen var säkert sämre; förlorade är det omvända; blandat är en av varje, vilket någon behöver titta på; utan avgörande är ingetdera. Utfallen avgörs på konverteringar med Holm-Bonferroni-korrigering över varianterna, och säkert betyder signifikant med hela intervallet på ena sidan av noll.

Ett driftsatt test räknas som en vinst även när statistiken var utan avgörande, eftersom en driftsättning är en person som beslutar att det vann. Det beslutet hålls utanför de tal det skulle kunna blåsa upp: utrullade vinnare räknas enbart på statistiska vinnare, och tabellerna per förväntad mekanism och per PXL-betydelse använder det statistiska resultatet, så de idéer folk gärna rullar ut inte ser bättre ut för det.

Hastighetsdiagrammet lägger lanseringar per månad över utfallen av det som avslutats. Om linjen stiger medan andelen vinster ligger still kör programmet fler test utan att lära sig mer av dem, vilket ett antal lanseringar ensamt inte kan visa.