Korjattu monivertailujen varalta

Opit-toiminto tarkistaa kymmeniä kuvioita kerralla: jokaisen sivu- ja muutostyypin, mekanismin, teeman ja elementin. Mitä useammalla tavalla sivuston testejä jaotellaan, sitä todennäköisemmin jokin vaihteluväli sulkee nollan pois pelkän sattuman vuoksi. Jos kaikki vaihteluvälit esitettäisiin tavanomaisella 95 %:n luottamustasolla, muutama onnekas tulos näyttäisi todelliselta löydökseltä.

Siksi kaikissa sivun vaihteluväleissä käytetään samaa korjattua leveyttä, joka saadaan Benjamini-Hochberg-menetelmällä ja false coverage rate -väleillä 5 %:n tasolla. Ratkaisevaksi valitun kuvion vaihteluväli sulkee nollan pois, kun taas muiden vaihteluvälit sisältävät nollan. Näytön aste ja vaihteluväli eivät siis voi olla ristiriidassa.

Tarkistukset lasketaan kuvioiden taustalla olevina erillisinä testijoukkoina eikä kuvioina. Neljä asiaa muuttanut testi kuuluu neljään ryhmään, mutta se on yksi näyttö neljästi nähtynä, ja sen laskeminen neljästi ylikorjaisi ja kätkisi todellisia havaintoja.

Se on sama kurinalaisuus, jota tilastot soveltavat yksittäiseen usean variantin testiin, vietynä koko testausohjelman tasolle. Siksi Opit-toiminto voi tarkastella montaa näkökulmaa kerralla ilman, että suuresta ohjelmasta tulee väärän varmuuden lähde.