Monitoring
Alarmer for forsinket og manglende data
De to feilene ingen legger merke til innenfra resultatskjermen: en test som fortsatt kjører forbi slutten sin, og en test som stille sluttet å samle inn data.
Et forsinket eksperiment skulle vært ferdig og ble det ikke. Det kjører fortsatt, fordeler fortsatt trafikk, og koster dere fortsatt publikummet det tar, vanligvis fordi beslutningen det ga grunnlag for, aldri ble tatt. Det rangeres som en beslutning som venter heller enn en feil, fordi ingenting er ødelagt, og noen bare må avgjøre det.
Et eksperiment uten data er det mer prekære. Ingenting registrert på et helt døgn mens testen fortsatt kjører, betyr nesten alltid at en styringsregel sluttet å treffe, eller at skriptet forsvant i en utrulling. Innenfra resultatskjermen ser dette ut som en stille uke; utenfra er det en test som har sluttet å være en test.
Begge når dere i stedet for å vente på å bli funnet. Begge er på som standard for e-post og Slack, sammen med fordelingsavviket, fordi helsesignaler fortjener en avbrytelse på en måte livsløpshendelser ikke gjør.
En avlesning uten data blokkerer også automatisert stopp. Å handle på en konklusjon trukket fra et eksperiment som har sluttet å samle inn data, er akkurat det tilfellet tillitsportene finnes for.