Learnings
Probleemtests buiten beschouwing
Een test met een onjuiste verkeersverdeling, zonder data of met een gemeld trackingprobleem blijft buiten de patronen, en de pagina zegt waarom.
Resultaten samenvoegen helpt alleen als ze te interpreteren zijn. Een test met een onjuiste verkeersverdeling of zonder vastgelegde data blijft buiten elk patroon, omdat de cijfers niet betekenen wat ze lijken te betekenen. Beide problemen worden gemeten en kunnen dus niet worden opgeheven door wat iemand rapporteert.
De debrief voegt toe wat de data niet kan zien. Een test waarvan de debrief een trackingprobleem of een release van de site tijdens de looptijd meldt, blijft ook buiten beschouwing. Elke andere externe factor die het team meldt, zoals een campagne of een seizoen, houdt de test erin maar laat hem minder zwaar wegen, één keer, hoeveel factoren er ook zijn aangevinkt, omdat mensen de neiging hebben alles aan te vinken wat van toepassing zou kunnen zijn.
Kleinere problemen worden getoond in plaats van dat er iets mee gebeurt: te weinig bezoekers, een looptijd korter dan een week of een overlap met een andere test verschijnen als notities op de learningkaart. De weergave Bewijs vermeldt wat nog niet meetelt, zodat een test nooit stilletjes verdwijnt.
Blijkt een gemeld probleem verholpen, dan opent iemand die experimenten mag aanmaken de debriefpagina van de test en kiest “Tracking hersteld, meenemen”. Dat zet een factor opzij die het team had gemeld. Het kan een onjuiste verkeersverdeling of ontbrekende data niet opheffen, want die zijn gemeten.