Experimentstatistiek die u kunt verantwoorden

Daarvoor is de tweede helft van deze pagina bedoeld. Een resultaat komt binnen met de grootte van het verschil, het interval eromheen en hoe waarschijnlijk het is dat het toeval is, op twee onafhankelijke manieren berekend en naast elkaar getoond. Omzet wordt per variant gemeten in plaats van afgeleid uit het conversiepercentage, zodat een variant die vaker converteert en goedkoper verkoopt niet als winst wordt gelezen. En het platform benoemt zijn eigen onzekerheid in plaats van die te verbergen, en dat is het deel dat kritische toetsing doorstaat: een resultaat dat nog niet doorslaggevend is, zegt dat met zoveel woorden en wordt niet gepresenteerd als een resultaat dat het wel is.

Nee, en het ontwerp gaat ervan uit dat u er geen heeft. Elk getal draagt zijn eigen uitleg ter plekke, geschreven om te zeggen wat dat getal u vertelt en niet om de term te definiëren, en een aantal ervan bestaat juist om een verkeerde lezing voor te zijn: de verschilkolom zegt ronduit dat hij op zichzelf niets zegt over de vraag of het gat echt is. Naast de cijfers staat een aanbeveling in gewone woorden. Wat het niet doet, is vereenvoudigen door te verbergen, dus wie de p-waarde en het interval wel wil zien, vindt ze allebei.

Drie verdedigingslinies, en het loont om ze te vergelijken met wat u nu gebruikt. Meerdere varianten tegelijk testen vergroot de kans dat er één door toeval als winnaar oogt, dus de lat gaat omhoog om dat te compenseren, en de console noemt de drempel die hij toepast in plaats van u die zelf te laten uitrekenen. Elke dag naar een resultaat kijken verhoogt het percentage vals-positieven, dus de toets die doorlopend gelezen mag worden staat los van de toets die dat niet verdraagt, en het platform stopt een experiment niet vroegtijdig tenzij beide het eens zijn. En vóór dat alles controleert het of het verkeer werkelijk is verdeeld zoals u het had ingesteld, want als dat niet zo is, houdt niets stand wat eruit is berekend.

Soms wel en soms echt niet, en juist hier is het platform het nuttigst, voordat u er drie maanden aan heeft besteed om daarachter te komen. Elk experiment rapporteert het kleinste verschil dat het verkeer dat u heeft betrouwbaar kan aantonen. Ligt het effect dat u zoekt onder die ondergrens, dan lost geen enkele hoeveelheid geduld het op, en de console zegt dat, in plaats van een test eindeloos op “niet significant” te laten staan. Weten welke van uw pagina's een vraag kunnen beantwoorden en welke niet, is op een bescheiden site meer waard dan op een grote.

Nee. Beide worden voor elk experiment berekend en samen getoond, dus dit is een leesvoorkeur en geen configuratiekeuze die u fout kunt maken. De frequentistische helft rapporteert hoe onwaarschijnlijk het resultaat zou zijn als de wijziging niets deed. De bayesiaanse helft rapporteert de kans dat elke variant de beste is, en wat een verkeerde keuze u zou kosten. Teams vinden de tweede doorgaans makkelijker om naar te handelen en de eerste makkelijker te verdedigen, en precies daarom is geen van beide geschrapt.