Lärdomar
Test med problem lämnas utanför
Ett test med trasig trafikfördelning, utan data eller med ett rapporterat spårningsproblem hålls utanför mönstren, och sidan säger varför.
Att väga samman hjälper bara om det som vägs går att tolka. Ett test vars trafikfördelning var trasig, eller som inte registrerade någon data, lämnas utanför varje mönster, eftersom dess siffror inte betyder det de ser ut att betyda. Båda är uppmätta, så de ändras inte av vad någon säger.
Avstämningen tillför sådant som inte syns i data. Test där teamet rapporterar ett spårningsfel eller en ny version av webbplatsen under testperioden lämnas också utanför. Andra rapporterade yttre faktorer, till exempel en kampanj eller en säsong, gör att testet är kvar men får lägre vikt. Vikten sänks bara en gång, oavsett hur många faktorer som kryssats i, eftersom människor ofta kryssar i allt som kan tänkas gälla.
Mindre problem visas i stället för att åtgärdas: för få besökare, en körning kortare än en vecka eller ett överlapp med ett annat test visas som anteckningar på lärdomskortet. Evidensvyn listar det som inte räknas än, så att ett test aldrig försvinner i tysthet.
När ett rapporterat problem visar sig vara åtgärdat öppnar någon som kan skapa experiment testets avstämningssida och väljer “Spårningen är åtgärdad, ta med det”. Det lägger åt sidan en faktor som teamet har rapporterat. Det kan inte köra över en trasig fördelning eller saknad data, eftersom de är uppmätta.