Pomijanie testów z problemami

Łączenie wyników pomaga tylko wtedy, gdy da się je zinterpretować. Test z nieprawidłowym podziałem ruchu lub bez zebranych danych jest pomijany we wszystkich wzorcach, bo jego liczby nie znaczą tego, co zdają się wskazywać. Oba problemy są wykrywane pomiarem, więc nie można ich anulować samą deklaracją.

Podsumowanie dodaje to, czego dane nie widzą. Pomijany jest też test, którego podsumowanie zgłasza błąd śledzenia albo wdrożenie nowej wersji witryny w trakcie trwania. Każdy inny czynnik zewnętrzny zgłoszony przez zespół, na przykład kampania albo sezon, zostawia test w puli, ale z mniejszą wagą, i to raz, niezależnie od tego, ile czynników zaznaczono, bo ludzie mają skłonność zaznaczać wszystko, co mogłoby mieć znaczenie.

Mniejsze problemy są pokazywane, a nie uwzględniane w liczeniu: zbyt mało odwiedzających, test krótszy niż tydzień albo nakładanie się z innym testem pojawiają się jako uwagi na karcie wniosków. Widok Dowody wymienia, co jeszcze nie jest liczone, więc test nigdy nie znika po cichu.

Gdy zgłoszony problem okazuje się naprawiony, ktoś, kto może tworzyć testy, otwiera stronę podsumowania testu i wybiera Śledzenie naprawione, uwzględnij test. To odkłada na bok czynnik zgłoszony przez zespół. Nie może unieważnić nieprawidłowego podziału ani brakujących danych, bo te zostały zmierzone.