Allarmi di ritardo e mancanza di dati

Un test in ritardo doveva concludersi e non lo ha fatto. È ancora attivo, ripartisce ancora traffico e continua a costarvi il pubblico che assorbe, di solito perché la decisione che avrebbe dovuto produrre non é mai stata presa. È classificato come una decisione in attesa e non come un guasto, perché non c’é nulla di rotto: serve solo che qualcuno la prenda.

Un test senza dati é quello più urgente. Nulla registrato per un giorno intero mentre il test é ancora attivo significa quasi sempre che una regola di targeting non corrisponde più, o che lo script é scomparso in un rilascio. Dallo schermo dei risultati sembra una settimana tranquilla; da fuori é un test che ha smesso di essere un test.

Entrambi arrivano a voi invece di aspettare di essere scoperti. Entrambi sono attivi per impostazione predefinita su e-mail e Slack, insieme alla ripartizione anomala del campione, perché i segnali di salute si meritano un’interruzione in un modo che gli eventi di ciclo di vita non si meritano.

Una lettura senza dati blocca anche l’arresto automatico. Agire su una conclusione tratta da un test che ha smesso di raccogliere dati é esattamente il caso per cui esistono le porte di affidabilità.