Statistiche difendibili
Obiettivi primari e secondari
Un obiettivo decide il test. Gli altri sono contesto, e dire in partenza quale è quale è la maggior parte di ciò che tiene onesto un programma.
Un sito indica quali degli eventi che emette possono essere obiettivi. Gli eventi appena scoperti partono ignorati, perché il server di tracciamento registra ogni nome di evento che vede e un consenso esplicito è ciò che impedisce all’elenco di riempirsi di qualunque cosa il sito capiti di emettere.
Da quell’insieme, ogni test scegle un obiettivo primario ed elenca come secondario tutto ciò che vuole tenere d’occhio. Il primario è quello su cui il verdetto è calcolato, quello che la coda delle attenzioni legge, e quello su cui agisce la regola di arresto automatico. Tutto il resto c’è per intercettare la vittoria che vi è costata qualcosa altrove.
Nominare il primario prima che il test parta è la parte che conta, ed è il motivo per cui la piattaforma vi obbliga a farlo anziché lasciarvi scegliere una metrica a posteriori. Scegliere l’obiettivo che si è mosso per caso è il modo in cui un programma accumula vittorie e nessun ricavo.
Una sottigliezza da conoscere: retrocedere un evento sul sito in seguito non cambia i test che lo avevano già scelto. Un risultato concluso non deve cambiare a posteriori perché qualcuno ha riordinato una mappatura mesi dopo.