Vynechání problémových testů

Spojování výsledků pomáhá jen tehdy, pokud je lze interpretovat. Test s chybným rozdělením návštěvnosti nebo bez zaznamenaných dat se vynechá ze všech vzorců, protože jeho čísla neznamenají to, co zdánlivě ukazují. Oba problémy se zjišťují měřením, takže je nelze zrušit pouhým prohlášením.

Rozbor doplní, co data nevidí. Vynechá se i test, jehož rozbor hlásí chybu měření nebo vydání nové verze webu během běhu. Jakýkoli jiný vnější faktor, který tým nahlásí, třeba kampaň nebo sezóna, nechá test uvnitř, ale dá mu menší váhu, a to jednou, ať je zaškrtnuto faktorů kolik chce, protože lidé mají sklon zaškrtnout všechno, co by mohlo platit.

Menší problémy se ukazují, ale nic se s nimi nedělá: příliš málo návštěvníků, běh kratší než týden nebo překryv s jiným testem se objeví jako poznámky na kartě poznatků. Pohled Důkazy uvádí, co se zatím nepočítá, takže test nikdy potichu nezmizí.

Když je nahlášený problém vyřešený, uživatel s oprávněním vytvářet experimenty otevře rozbor testu a zvolí Měření je opravené, zahrnout test. Tím se přestane zohledňovat faktor nahlášený týmem. Chybné rozdělení návštěvnosti ani chybějící data však takto obejít nelze, protože byly zjištěny měřením.