Programrapport

Programrapporten är den tillbakablickande delen av övervakningen. Hälsoövervakningen visar vad som kräver en människa nu, medan den här visar hur programmet har gått. Den läser bara test som har avslutats, så tidiga siffror från ett pågående test hamnar aldrig bredvid ett slutresultat, och att öppna rapporten ändrar ingenting.

Varje avslutat test får ett utfall. Vinst betyder att minst en variant slog kontrollen med säkerhet och ingen var säkert sämre. Förlust är det omvända. Blandat är en av varje, något någon behöver titta på, och inget tydligt utfall är ingetdera. Utfallen avgörs på konverteringar med Holm-Bonferroni-korrigering över varianterna, och “säkert” betyder signifikant med hela intervallet på ena sidan om noll.

Ett utrullat test räknas som en vinst även när statistiken inte gav något tydligt svar, eftersom en utrullning betyder att en människa har bestämt att det vann. Det beslutet hålls utanför de siffror det kunde driva upp: utrullade vinnare räknas bara bland de statistiska vinnarna, och tabellerna per förväntad mekanism och per PXL-betydelse använder det statistiska resultatet, så att idéer som folk gärna rullar ut inte ser bättre ut än de är.

Testtaktsdiagrammet lägger starter per månad över utfallen för det som avslutats. Stiger linjen medan andelen vinster ligger still kör programmet fler test utan att lära sig mer av dem, något som antalet starter ensamt inte kan visa.