Patronen over tests heen

Eén test is een anekdote. Patronen laten zien wat een heel testprogramma oplevert. Pertento groepeert elke learningkaart van een website op vier manieren: op pagina- en wijzigingstype, op het verwachte werkingsmechanisme, op thema en op het gewijzigde element. Elke groep vertegenwoordigt een vraag die uw tests hebben beantwoord, ook als niemand die bewust heeft gesteld.

Elke groep krijgt één samengevoegde schatting van de lift, met een bandbreedte. Resultaten worden gecombineerd naar hoe precies elk ervan is, vanuit een sceptisch vertrekpunt rond nul, zodat één gelukstreffer richting geen effect wordt getrokken in plaats van als regel te worden gelezen. Twee varianten van dezelfde test delen een controle en tellen daarom als één invoer, niet als twee.

Alleen de statistische uitkomst telt. Een variant uitrollen is een menselijk besluit, en dat als winst tellen zou de ideeën die mensen goed vonden laten lijken op de ideeën die werkten. Een test zonder uitsluitsel telt nog steeds mee: hij verschuift de bandbreedte, en dat is precies wat hij hoort te doen.

Code berekent de patronen telkens opnieuw uit de kaarten en de statistiek. De AI formuleert de uitgelichte patronen en geeft een mogelijke reden, als zodanig gemarkeerd, en elk cijfer in die zinnen wordt door code ingevuld wanneer de pagina wordt gelezen. Learnings werkt strikt per website: er wordt niets samengevoegd over websites of over klanten heen.