Test problematici esclusi

Aggregare i risultati è utile solo se sono interpretabili. Un test con una ripartizione del traffico errata o senza dati registrati viene escluso da tutti i pattern, perché i suoi numeri non significano ciò che sembrano indicare. Entrambi i problemi sono misurati, quindi non possono essere annullati da una segnalazione.

Il resoconto aggiunge ciò che i dati non vedono. Anche un test il cui resoconto segnala un problema di tracciamento o un rilascio del sito durante l’esecuzione viene escluso. Qualsiasi altro fattore esterno segnalato dal team, come una campagna o una stagione, mantiene il test dentro ma lo fa contare di meno, una volta sola, per quanti fattori siano spuntati, perché le persone tendono a spuntare tutto ciò che potrebbe valere.

I problemi minori vengono mostrati senza intervenire: troppo pochi visitatori, un’esecuzione più breve di una settimana o una sovrapposizione con un altro test compaiono come note sulla card di apprendimento. La vista Evidenze elenca ciò che non è ancora conteggiato, così un test non sparisce mai in silenzio.

Quando un problema segnalato risulta risolto, chi può creare test apre la pagina del resoconto del test e sceglie Tracciamento sistemato, includilo. Questo mette da parte un fattore segnalato dal team. Non può scavalcare una ripartizione errata o dati mancanti, che sono stati misurati.