Frekventistinen ja bayesilainen, rinnakkain

Juuri sitä varten tämän sivun jälkimmäinen puolisko on. Tuloksen mukana tulevat eron suuruus, sen luottamusväli ja todennäköisyys sille, että kyse on sattumasta, laskettuina kahdella toisistaan riippumattomalla tavalla ja näytettyinä rinnakkain. Liikevaihto mitataan varianttikohtaisesti eikä sitä päätellä konversioprosentista, joten variantti, joka konvertoi useammin mutta myy halvemmalla, ei näytä voitolta. Lisäksi alusta kertoo oman epävarmuutensa eikä piilota sitä, ja juuri tämä osa kestää tarkastelun: tulos, joka ei ole vielä ratkaiseva, sanoo sen suoraan sen sijaan, että se esitettäisiin ratkaisevana.

Ette, ja suunnittelussa on lähdetty siitä, ettei teillä sellaista ole. Jokaisella luvulla on oma selityksensä paikan päällä, ja se kertoo, mitä luku teille kertoo, eikä määrittele termiä, ja useampi selityksistä on olemassa nimenomaan väärintulkintojen estämiseksi: erosarake sanoo suoraan, ettei se yksinään kerro mitään siitä, onko ero todellinen. Lukujen rinnalla on suositus tavallisin sanoin. Mitä se ei tee, on yksinkertaistaa piilottamalla, joten se, joka haluaa nähdä p-arvon ja luottamusvälin, löytää molemmat.

Kolme suojausta, ja niitä kannattaa verrata siihen, mitä käytätte nyt. Useamman variantin testaaminen yhtä aikaa kasvattaa todennäköisyyttä, että jokin niistä näyttää voittajalta pelkällä tuurilla, joten rimaa nostetaan sen kompensoimiseksi, ja konsoli kertoo, mitä raja-arvoa se soveltaa, sen sijaan että jättäisi teidät laskemaan sen. Tuloksen katsominen joka päivä kasvattaa väärien positiivisten osuutta, joten jatkuvaan seurantaan pätevä testi on erillään siitä, joka ei siihen sovellu, eikä alusta pysäytä testiä aikaisin, elleivät molemmat ole samaa mieltä. Ja ennen kaikkea tätä se tarkistaa, että liikenne todella jakautui niin kuin asetitte, koska jos ei jakautunut, mikään siitä laskettu ei pidä.

Joskus kyllä ja joskus aidosti ei, ja juuri tässä alusta on hyödyllisimmillään, ennen kuin olette käyttäneet kolme kuukautta asian selvittämiseen. Jokainen testi raportoi pienimmän eron, jonka liikenteenne pystyy luotettavasti havaitsemaan. Jos tavoittelemanne vaikutus jää tämän alarajan alle, mikään määrä kärsivällisyyttä ei sitä ratkaise, ja konsoli sanoo sen sen sijaan, että jättäisi testin loputtomiin tilaan "ei merkitsevä". Tieto siitä, mitkä sivunne pystyvät vastaamaan kysymykseen ja mitkä eivät, on vaatimattomalla sivustolla arvokkaampaa kuin suurella.

Ei tarvitse. Molemmat lasketaan jokaiselle testille ja näytetään yhdessä, joten kyse on lukutavasta eikä asetuksesta, jonka voisi valita väärin. Frekventistinen puoli kertoo, kuinka epätodennäköinen tulos olisi, jos muutoksella ei olisi mitään vaikutusta. Bayesilainen puoli kertoo todennäköisyyden sille, että kukin variantti on paras, ja sen, mitä väärä valinta teille maksaisi. Tiimien mielestä jälkimmäisen perusteella on yleensä helpompi toimia ja edellistä helpompi puolustaa, ja juuri siksi kumpaakaan ei jätetty pois.