Monitoring
Alarmer for forsinket og ingen data
De to fejl, ingen bemærker indefra resultatskærmen: en test, der stadig kører forbi sin slutning, og en test, der stille holdt op med at indsamle.
Et forsinket eksperiment var planlagt til at slutte og gjorde det ikke. Det kører stadig, deler stadig trafik og koster jer stadig det publikum, det optager, oftest fordi den beslutning, det gav grundlag for, aldrig blev truffet. Det rangeres som en beslutning, der venter, frem for som en fejl, fordi intet er i stykker, og nogen bare skal afgøre det.
Et eksperiment uden data er det mere presserende. Intet registreret i et helt døgn, mens testen stadig kører, betyder næsten altid, at en styringsregel holdt op med at ramme, eller at scriptet forsvandt i en udrulning. Indefra resultatskærmen ser det ud som en stille uge; udefra er det en test, der er holdt op med at være en test.
Begge når jer frem for at vente på at blive fundet. Begge er slået til som standard for mail og Slack, sammen med den skæve fordeling, fordi sundhedssignaler fortjener en afbrydelse på en måde, som hændelser i livsforløbet ikke gør.
En aflæsning uden data blokerer også automatisk stop. At handle på en konklusion draget fra et eksperiment, der holdt op med at indsamle, er præcis det tilfælde, tillidsportene findes til.