Monitoring

Alarmy po termínu a bez dat

Dvě selhání, kterých si zevnitř obrazovky s výsledky nikdo nevšimne: test stále běžící za svým koncem a test, který tiše přestal sbírat data.

Dva signályJiné závažnostiE-mail a Slack

Experiment po termínu měl skončit a neskončil. Pořád běží, pořád dělí provoz a pořád vás stojí publikum, které bere, obvykle proto, že rozhodnutí, které vyprodukoval, nikdy nepadlo. Je zařazený jako čekající rozhodnutí, a ne jako závada, protože nic není rozbité a někdo to jen potřebuje rozhodnout.

Experiment bez dat je ten naléhavější. Celý den nic zaznamenaného, zatímco test pořád běží, skoro vždycky znamená, že pravidlo cílení přestalo platit, nebo že se skript ztratil při nasazení. Zevnitř obrazovky s výsledky to vypadá jako klidný týden; zvenku je to test, který přestal být testem.

Obojí se k vám dostane samo, místo aby čekalo, až je někdo najde. Obojí je ve výchozím stavu zapnuté pro e-mail a Slack, spolu s neshodou rozdělení, protože zdravotní signály si zaslouží přerušení způsobem, jakým si ho nezaslouží události životního cyklu.

Čtení bez dat taky blokuje automatické zastavení. Jednat podle závěru vytaženého z experimentu, který přestal sbírat data, je přesně případ, na který existují brány důvěryhodnosti.

Lepší testy, lepší konverze

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.