Frekventistinen ja bayesilainen, rinnakkain

Juuri sitä varten tämän sivun jälkimmäinen puolisko on. Tulos saapuu mukanaan eron suuruus, sen ympärillä oleva luottamusväli ja se kuinka todennäköisesti kyse on sattumasta, laskettuna kahdella riippumattomalla tavalla ja näytettynä rinnakkain. Liikevaihto mitataan varianttikohtaisesti eikä päätellä konversioprosentista, joten variantti joka konvertoi useammin mutta myy halvemmalla ei näytä voitolta. Ja alusta kertoo oman epävarmuutensa sen sijaan että piilottaisi sen, ja juuri se osa kestää tarkastelun: tulos joka ei ole vielä ratkaiseva sanoo sen sanoin sen sijaan että se esitettäisiin ratkaisevana.

Ette, ja suunnittelu olettaa ettei teillä ole sellaista. Jokainen luku kantaa oman selityksensä paikan päällä, kirjoitettuna kertomaan mitä luku teille kertoo eikä määrittelemään termiä, ja useampi niistä on olemassa nimenomaan estämään väärinluenta: erosarake sanoo suoraan ettei se yksinään kerro mitään siitä onko ero todellinen. Lukujen rinnalla on suositus tavallisin sanoin. Mitä se ei tee on yksinkertaistaa piilottamalla, joten se joka haluaa p-arvon ja luottamusvälin löytää molemmat.

Kolme suojausta, ja niitä kannattaa verrata siihen mitä käytätte nyt. Useamman variantin testaaminen yhtä aikaa kasvattaa todennäköisyyttä että jokin niistä näyttää voittajalta tuurilla, joten rimaa kiristetään sen kompensoimiseksi, ja konsoli kertoo minkä rajan se soveltaa sen sijaan että jättäisi teidät laskemaan sen. Tuloksen katsominen joka päivä kasvattaa väärien positiivisten osuutta, joten se testi joka on pätevä luettavaksi jatkuvasti on erillään siitä joka ei ole, eikä alusta pysäytä testiä aikaisin ellei molemmat ole samaa mieltä. Ja ennen kaikkea tuota se tarkistaa että liikenne todella jakautui niin kuin asetitte, koska jos se ei jakautunut, mikään siitä laskettu ei pidä.

Joskus kyllä ja joskus aidosti ei, ja juuri tässä alusta on hyödyllisimmillään ennen kuin olette käyttäneet kolme kuukautta asian selvittämiseen. Jokainen testi raportoi pienimmän eron jonka teillä oleva liikenne pystyy luotettavasti havaitsemaan. Jos vaikutus jota tavoittelette jää tuon alarajan alle, mikään määrä kärsivällisyyttä ei sitä ratkaise, ja konsoli sanoo sen sen sijaan että jättäisi testin loputtomiin kohtaan "ei merkitsevä". Sen tietäminen mitkä sivunne pystyvät vastaamaan kysymykseen ja mitkä eivät on vaatimattomalla sivustolla arvokkaampaa kuin suurella.

Ei tarvitse. Molemmat lasketaan jokaiselle testille ja näytetään yhdessä, joten kyse on lukutavan mieltymyksestä eikä asetuksesta jonka voi valita väärin. Frekventistinen puoli kertoo kuinka epätodennäköinen tulos olisi jos muutos ei tekisi mitään. Bayesilainen puoli kertoo todennäköisyyden sille että kukin variantti on paras, ja mitä väärin valitseminen teille maksaisi. Tiimit kokevat yleensä jälkimmäisen helpommaksi toimia ja edellisen helpommaksi puolustaa, ja juuri siksi kumpaakaan ei jätetty pois.