Experimentdebrief

Het resultaat van een test raakt vergeten wanneer degene die hem draaide verder gaat. De debrief sluit die cirkel. Wanneer u een test beëindigt, biedt Pertento een korte vragenlijst aan die het resultaat en de hypothese toont en vervolgens vraagt wat u verwachtte, waarom u denkt dat het gebeurde en wat u hierna gaat doen. Elke vraag is optioneel, en het beëindigen van een test wacht er nooit op.

Pertento stelt op wat het kan zien, en u bevestigt of corrigeert het. Het vergelijkt een volledige week websiteverkeer met de eerste week, voor de apparaten waarop de test was gericht, en markeert een verschuiving van 15% of meer bij tests die 14 dagen of langer liepen. Ook noteert het meetgaten: dagen waarop geen bezoekers zijn vastgelegd, of een verdeling van bezoekers die is afgedreven van de geplande gewichten. Uw antwoord bepaalt welke externe factoren de debrief vastlegt.

Daarna heeft de test een tabblad “Debrief”, één kaart met de les voorop. De feiten uit uw statistiek staan aan de ene kant (uplift, betrouwbaarheid, bezoekers en de dagen dat de test liep) en de antwoorden van uw team aan de andere. De kop wordt uit de statistiek geschreven en nooit getypt, zodat hij een resultaat niet kan overdrijven. Een variant die op zichzelf goed lijkt maar de strengere drempel mist die geldt wanneer meerdere varianten worden vergeleken, wordt omschreven als net niet overtuigend genoeg, in plaats van als winst of als vlak.

Het tabblad staat bij elke test die is beëindigd of waarvan een winnaar is uitgerold. Iedereen met toegang tot de test kan het op elk moment invullen of wijzigen, en de kaart toont wie er het laatst aan schreef en wanneer, zodat een nieuwe collega de les vindt waar de test staat.