Larm för förfallet och ingen data

Ett förfallet experiment var schemalagt att avslutas och gjorde det inte. Det körs fortfarande, delar fortfarande trafik, och kostar er fortfarande den publik det tar, oftast för att beslutet det gav upphov till aldrig fattades. Det rangordnas som ett väntande beslut snarare än ett fel, eftersom inget är trasigt och någon bara behöver avgöra det.

Ett experiment utan data är det mer brådskande av de två. Inget registrerat under ett helt dygn medan testet fortfarande körs betyder nästan alltid att en styrregel slutade matcha, eller att skriptet försvann vid en driftsättning. Inifrån resultatskärmen ser det ut som en lugn vecka; utifrån är det ett test som slutat vara ett test.

Båda når er i stället för att vänta på att bli hittade. Båda är på som standard för e-post och Slack, tillsammans med den snedvridna fördelningen, för hälsosignaler förtjänar ett avbrott på ett sätt livscykelhändelser inte gör.

En avläsning utan data blockerar också automatiskt stopp. Att agera på en slutsats dragen från ett experiment som slutade samla in data är exakt det fall tillitsspärrarna finns för.