Testien yhteiset kuviot

Yksi testi on yksittäinen havainto. Kuviot kertovat, mitä koko testausohjelmasta on opittu. Pertento ryhmittelee sivuston oppikortit neljällä tavalla: sivu- ja muutostyypin, odotetun vaikutusmekanismin, teeman ja muuttuneen elementin mukaan. Jokainen ryhmä vastaa kysymystä, johon testinne ovat vastanneet, vaikkei kukaan olisi tietoisesti esittänyt sitä.

Kukin ryhmä saa yhden yhdistetyn arvion vaikutuksesta vaihteluväleineen. Tuloksia painotetaan niiden tarkkuuden mukaan, ja lähtöoletus on varovainen ja nollaan keskitetty. Näin yksittäisen onnekkaan testin arviota vedetään kohti nollavaikutusta sen sijaan, että tulos tulkittaisiin yleiseksi säännöksi. Saman testin kaksi varianttia käyttävät samaa kontrollia, joten ne lasketaan yhdeksi havainnoksi eikä kahdeksi.

Vain tilastollinen lopputulos lasketaan. Variantin julkaiseminen on ihmisen päätös, ja jos se laskettaisiin voitoksi, ideat, joista ihmiset pitivät, näyttäisivät ideoilta, jotka toimivat. Epäselväkin testi lasketaan: se siirtää vaihteluväliä, ja juuri niin sen kuuluukin tehdä.

Koodi laskee kuviot aina uudelleen korteista ja tilastoista. Tekoäly sanoittaa nostetut kuviot ja tarjoaa mahdollisen syyn, joka merkitään sellaiseksi, ja jokaisen näiden lauseiden luvun täyttää koodi, kun sivu luetaan. Opit-toiminto on tiukasti sivustokohtainen: mitään ei yhdistetä sivustojen tai asiakkaiden kesken.