Test med problemer holdes ude

Det hjælper kun at kombinere resultater, hvis de kan fortolkes. En test med fejl i trafikfordelingen eller uden registrerede data holdes ude af alle mønstre, fordi tallene ikke betyder det, de ser ud til at betyde. Begge forhold er målt og kan derfor ikke ændres ud fra, hvad nogen rapporterer.

Opsamlingen tilføjer det, dataene ikke kan se. En test, hvor opsamlingen rapporterer en trackingfejl eller en ny version af websitet undervejs, holdes også ude. Alle andre eksterne faktorer, teamet rapporterer, for eksempel en kampagne eller en sæson, holder testen inde, men får den til at vægte lavere, én gang, uanset hvor mange faktorer der er krydset af, fordi folk har en tendens til at krydse alt af, der måske kunne gælde.

Mindre problemer vises i stedet for at blive handlet på: for få besøgende, en kørsel kortere end en uge eller et overlap med en anden test vises som noter på læringskortet. Evidensvisningen viser, hvad der ikke tælles endnu, så en test aldrig forsvinder i stilhed.

Når et rapporteret problem viser sig at være rettet, åbner en, der kan oprette eksperimenter, testens opsamlingsside og vælger “Tracking er rettet, tag den med”. Det tilsidesætter en faktor, teamet har rapporteret. Det kan ikke underkende en brudt fordeling eller manglende data, som blev målt.