Monitoring
Varsler for forsinket test og manglende data
De to feilene ingen oppdager fra resultatskjermen: en test som fortsetter etter sluttdatoen, og en test som i det stille har sluttet å samle inn data.
Et forsinket eksperiment burde vært ferdig, men kjører fortsatt. Det fordeler fortsatt trafikk og binder opp en del av publikummet ditt, som regel fordi ingen har tatt beslutningen testen skulle gi grunnlag for. Det er en beslutning som venter, ikke en feil: ingenting er ødelagt, noen må bare bestemme seg.
Et eksperiment uten data er mer akutt. Hvis ingenting er registrert på et helt døgn mens testen kjører, har nesten alltid en målrettingsregel sluttet å treffe, eller skriptet forsvant ved en utrulling. På resultatskjermen ser det ut som en rolig uke. I virkeligheten er det en test som ikke lenger er en test.
Begge varslene kommer til deg, så du slipper å lete etter dem. De er på som standard for e-post og Slack, sammen med fordelingsavvik, fordi helsesignaler fortjener å avbryte på en måte livsløpshendelser ikke gjør.
Et eksperiment uten data blokkerer også automatisk stopp. Å handle på en konklusjon fra et eksperiment som har sluttet å samle inn data, er nettopp det sperrene skal hindre.