Monitoring
Report programu
Pohled zpět na testovací program: jak často testy vyhrávají, jak rychle se spouštějí, jestli se vítězové vydají a které nápady obvykle fungují.
Report programu je retrospektivní polovina monitoringu. Monitor zdraví ukazuje, co právě teď potřebuje člověka; tohle ukazuje, jak si program vedl. Čte jen testy, které skončily, takže rané hodnoty běžícího testu nikdy nestojí vedle konečného výsledku, a jeho otevření nic nezmění.
Každý dokončený test dostane jeden výsledek. Výhra znamená, že aspoň jedna varianta porazila kontrolní variantu s jistotou a žádná nebyla s jistotou horší; prohra je opak; smíšený výsledek je od každého jedno, na což se musí někdo podívat; neprůkazný není ani jedno. Výsledky se rozhodují podle konverzí s korekcí Holm-Bonferroni napříč variantami, a s jistotou znamená významně, s celým intervalem na jedné straně nuly.
Nasazený test se počítá jako výhra, i když byla statistika neprůkazná, protože nasazení znamená, že člověk rozhodl, že vyhrál. Toto rozhodnutí se drží mimo čísla, která by mohlo nafouknout: vydaní vítězové se počítají jen ze statistických vítězů a tabulky podle očekávaného mechanismu a podle důležitosti PXL používají statistický výsledek, takže nápady, které lidé rádi zavádějí, kvůli tomu nevypadají lépe.
Graf tempa klade spuštění za měsíc nad výsledky toho, co se uzavřelo. Když čára roste, zatímco podíl výher zůstává plochý, program spouští víc testů, aniž by se z nich víc naučil, což samotný počet spuštění ukázat nedokáže.