Monitoring
Larm för försenade och tysta experiment
De två fel som inte syns på resultatskärmen: ett test som fortsätter efter sitt slutdatum och ett test som tyst har slutat samla in data.
Ett försenat experiment borde ha avslutats men har inte gjort det. Det körs fortfarande, delar fortfarande upp trafiken och upptar publik som du hade kunnat använda till annat, oftast för att ingen har tagit beslutet. Det rangordnas som ett beslut som väntar, inte som ett fel, för inget är trasigt. Någon behöver bara avgöra testet.
Ett experiment utan data är det akuta fallet. Om inget har registrerats på ett helt dygn medan testet körs beror det nästan alltid på att en targetingregel har slutat matcha eller att skriptet försvann vid en utrullning. På resultatskärmen ser det ut som en lugn vecka, men i praktiken har testet slutat fungera som test.
Båda larmen når dig i stället för att vänta på att någon hittar dem. De är på som standard för e-post och Slack, tillsammans med skev fördelning, eftersom hälsosignaler är värda att avbryta dig för, till skillnad från livscykelhändelser.
En avläsning utan data blockerar också automatiskt stopp. Att agera på en slutsats från ett experiment som har slutat samla in data är precis det fall spärrarna finns till för.