Mönster över flera test

Ett enskilt test är en anekdot. Mönstren visar vad ett helt testprogram har lärt er. Pertento grupperar varje lärdomskort på en webbplats på fyra sätt: efter sidtyp och ändringstyp, efter den mekanism som testet förväntades verka genom, efter tema och efter det element som ändrades. Varje grupp motsvarar en fråga som dina test har besvarat, oavsett om någon avsåg att ställa den eller inte.

Varje grupp får en sammanvägd skattning av effektförändringen, med ett intervall. Resultaten vägs samman efter hur precisa de är, mot en skeptisk utgångspunkt centrerad kring noll, så att ett tursamt test dras mot ingen effekt i stället för att läsas som en regel. Två varianter i samma test delar kontroll, så de räknas som en post i stället för två.

Bara det statistiska utfallet räknas. Att rulla ut en variant är ett beslut som en människa fattar, och att räkna det som en vinst skulle få de idéer som folk gillade att se ut som de idéer som fungerade. Ett test utan tydligt utfall räknas ändå: det flyttar intervallet, och det är precis vad det ska göra.

Kod räknar fram mönstren på nytt utifrån korten och statistiken. AI:n formulerar de utvalda mönstren och föreslår en möjlig förklaring, märkt som just det, och varje siffra i de meningarna fylls i av kod när sidan läses. Lärdomar gäller strikt per webbplats: ingenting vägs samman mellan webbplatser eller mellan kunder.