Tester med problemer holdes utenfor

Å kombinere resultater hjelper bare hvis de kan tolkes. En test med feil i trafikkfordelingen eller uten registrerte data holdes utenfor alle mønstre, fordi tallene ikke betyr det de ser ut til å bety. Begge forholdene er målt og kan derfor ikke endres ut fra det noen rapporterer.

Oppsummeringen legger til det dataene ikke kan se. En test der oppsummeringen rapporterer en sporingsfeil eller en ny versjon av nettstedet underveis, holdes også utenfor. Andre ytre faktorer teamet rapporterer, for eksempel en kampanje eller en sesong, holder testen inne, men får den til å veie mindre, én gang, uansett hvor mange faktorer som er krysset av, fordi folk gjerne krysser av for alt som kan tenkes å gjelde.

Mindre problemer vises i stedet for å håndteres: for få besøkende, en kjøring kortere enn en uke, eller overlapp med en annen test vises som merknader på lærdomskortet. Evidensvisningen viser det som ikke telles ennå, så en test aldri forsvinner i det stille.

Når et rapportert problem viser seg å være fikset, åpner noen som kan opprette eksperimenter, oppsummeringssiden for testen og velger “Sporingen er fikset, ta den med”. Det setter til side en faktor teamet har rapportert. Det kan ikke overstyre en ødelagt fordeling eller manglende data, som ble målt.