Frekventistiskt och bayesianskt, sida vid sida

Det är vad den andra halvan av sidan handlar om. Varje resultat kommer med skillnadens storlek, intervallet runt den och sannolikheten att det bara är slumpen, uträknat på två oberoende sätt och visat sida vid sida. Intäkter mäts per variant och räknas inte ut från konverteringsgraden, så en variant som konverterar oftare men säljer billigare räknas inte som en vinst. Plattformen redovisar dessutom sin egen osäkerhet i stället för att dölja den, och det är den delen som tål granskning: ett resultat som ännu inte är avgörande säger det med ord och presenteras inte som avgjort.

Nej, och designen utgår från att du inte har någon. Varje siffra har sin förklaring på plats, skriven för att säga vad talet betyder för dig och inte bara vad begreppet är. Flera finns just för att förebygga feltolkningar: differenskolumnen säger rakt ut att den ensam inte visar om skillnaden är verklig. Vid sidan av siffrorna finns en rekommendation i klartext. Plattformen förenklar dock aldrig genom att gömma saker, så den som vill se p-värdet och intervallet hittar båda.

Det finns tre skydd, och de är värda att jämföra med det du använder i dag. Testar du flera varianter samtidigt ökar risken att någon av dem ser ut som en vinnare av ren tur. Därför höjs ribban, och konsolen visar vilken tröskel som gäller, så att du slipper räkna ut den. Tittar du på resultatet varje dag ökar risken för falska positiva. Därför finns två tester, ett som tål att du tittar löpande och ett som inte gör det, och plattformen stoppar aldrig ett experiment i förtid om inte båda ger samma besked. Och först av allt kontrollerar den att trafiken fördelades som du ställt in, för om den inte gjorde det håller inget av det som räknats ut ur den.

Ibland ja, ibland nej, och det är där plattformen gör mest nytta: du slipper lägga tre månader på att ta reda på det. Varje experiment visar den minsta skillnad som din trafik tillförlitligt kan upptäcka. Är effekten du jagar mindre än så hjälper inget tålamod i världen. Det säger konsolen rakt ut, så testet blir inte stående på “inte signifikant” i evighet. Att veta vilka av dina sidor som kan besvara en fråga, och vilka som inte kan, är värt mer på en liten webbplats än på en stor.

Nej. Båda räknas ut för varje experiment och visas tillsammans, så det handlar om vilken du helst läser, inte om en inställning du kan göra fel. Den frekventistiska delen visar hur osannolikt resultatet vore om ändringen inte hade gjort någon skillnad. Den bayesianska delen visar hur sannolikt det är att varje variant är bäst, och vad det skulle kosta dig att välja fel. Team brukar tycka att den bayesianska är lättare att agera på och den frekventistiska lättare att försvara, och därför finns båda kvar.