Mønstre på tværs af test

Én test er en anekdote. Mønstrene viser, hvad et helt testprogram har lært jer. Pertento grupperer hvert læringskort på et website på fire måder: efter sidetype og ændringstype, efter den mekanisme, testen forventedes at virke igennem, efter tema og efter det element, der blev ændret. Hver gruppe svarer til et spørgsmål, jeres test har besvaret, uanset om nogen havde tænkt sig at stille det eller ej.

Hver gruppe får ét samlet estimat af løftet med et interval. Resultaterne lægges sammen efter, hvor præcise de er, mod et skeptisk udgangspunkt centreret omkring nul, så én heldig test trækkes mod ingen effekt i stedet for at blive læst som en regel. To varianter i samme test deler kontrol, så de tæller som én post, ikke to.

Kun det statistiske udfald tæller. At udrulle en variant er en beslutning, et menneske træffer, og at tælle det som en sejr ville få de idéer, folk kunne lide, til at ligne de idéer, der virkede. En test uden klart udfald tæller stadig: den flytter intervallet, og det er præcis, hvad den skal.

Kode beregner mønstrene på ny ud fra kortene og statistikken. AI'en formulerer de fremhævede mønstre og foreslår en mulig årsag, markeret som netop det, og hvert tal i de sætninger udfyldes af kode, når siden læses. Læringer gælder strengt pr. website: intet lægges sammen på tværs af websites eller kunder.