Kysy tästä testistä

Useimmat testiä koskevat kysymykset ovat samat kolme: onko tämä merkitsevä, voiko tähän jo luottaa ja mitä nyt tehdään. Jokaisen testin otsikkoalueella on jokaisella välilehdellä kenttä, johon juuri tämä kysymys kirjoitetaan. Vastaus ilmestyy sivun viereen paneeliin sitä mukaa kuin se kirjoitetaan, samalla kielellä, jolla kysyitte, ensin vastaus ja sitten perustelut.

Se lukee Statistics-välilehden luvut samalla tavalla laskettuina siellä valitulle tavoitteelle, valuutalle, menetelmälle ja korjaukselle: konversiot, konversioprosentit ja liikevaihto varianteittain, merkitsevyys, todennäköisyys olla paras ja odotettu tappio, tilastollisen voiman analyysi ja se, kuinka kauan testi vielä tarvitsee, liikennejaon tarkistus sekä toissijaiset tavoitteet. Se ei koskaan keksi lukua eikä koskaan nimeä varianttia voittajaksi, jos sivu ei tee niin. Se lukee myös testin kohdennuksen, variantit, tavoitteet ja aikataulun, sen briefin ja sen jälkikatsauksen, jota se pitää tiimin tulkintana tuloksesta eikä mittauksena.

Luonnosvaiheessa se auttaa ennen testin alkua: tekevätkö asetukset sen, mitä briefissä tavoitellaan, nimeääkö hypoteesi muutoksen, vaikutuksen ja mittarin, joka voi osoittaa sen, ja mitä ajoaikasuunnitelman syötteet merkitsevät. Se vain lukee. Se ei käynnistä, pysäytä eikä muokkaa mitään, eikä se näe variantin koodia tai yksittäisiä muutoksia, kuvakaappauksia tai toimintalokia. Kohdennussääntöjen ja uudelleenohjausten URL-osoitteiden tokenit, avaimet ja sähköpostiosoitteet piilotetaan ennen kuin mitään lähetetään.

Jokaisella testillä on yksi keskustelu, jonka jakavat kaikki, jotka voivat avata testin, myös jäsenet, ja jokaisen kysymyksen kohdalla näkyy, kuka sen kysyi. Jos tulos on muuttunut vastauksen antamisen jälkeen, vastaus merkitään vanhentuneeksi. Keskustelut säilytetään 12 kuukautta. Jokainen vastaus kuluttaa tekoälykrediittejä sivuston omistavalta tililtä, ja kulu näkyy vastauksen alla.