Mønstre på tvers av tester

Én test er en anekdote. Mønstrene viser hva et helt testprogram har lært dere. Pertento grupperer hvert lærdomskort på et nettsted på fire måter: etter sidetype og endringstype, etter mekanismen testen var ment å virke gjennom, etter tema og etter elementet som ble endret. Hver gruppe tilsvarer et spørsmål testene dine har besvart, enten noen hadde tenkt å stille det eller ikke.

Hver gruppe får ett samlet estimat av effektendringen, med et intervall. Resultatene slås sammen etter hvor presise de er, mot et skeptisk utgangspunkt sentrert rundt null, så én heldig test trekkes mot ingen effekt i stedet for å leses som en regel. To varianter i samme test deler kontroll, så de teller som én oppføring, ikke to.

Bare det statistiske utfallet teller. Å rulle ut en variant er en beslutning en person tar, og å telle det som en seier ville få ideene folk likte, til å se ut som ideene som virket. En test uten tydelig utfall teller likevel: den flytter intervallet, og det er akkurat det den skal gjøre.

Kode regner ut mønstrene på nytt fra kortene og statistikken. AI-en formulerer de fremhevede mønstrene og foreslår en mulig årsak, merket som nettopp det, og hvert tall i de setningene fylles inn av kode når siden leses. Lærdommer gjelder strengt per nettsted: ingenting slås sammen på tvers av nettsteder eller kunder.