Frekventistiskt och bayesianskt, sida vid sida

Det är vad andra halvan av den här sidan är till för. Ett resultat kommer med skillnadens storlek, intervallet runt den, och hur sannolikt det är att det är slumpen, beräknat på två oberoende sätt och visat sida vid sida. Intäkt mäts per variant snarare än härleds från konverteringsgrad, så en variant som konverterar oftare och säljer billigare läses inte som en vinst. Och plattformen anger sin egen osäkerhet i stället för att dölja den, och det är den delen som håller vid granskning: ett resultat som ännu inte är avgörande säger det, i ord, i stället för att presenteras som avgjort.

Nej, och designen utgår från att ni inte har någon. Varje siffra bär sin förklaring på plats, skriven för att säga vad talet berättar snarare än för att definiera begreppet, och flera finns just för att förebygga en felläsning: differenskolumnen säger rakt ut att den i sig inte säger något om huruvida glappet är verkligt. Vid sidan av siffrorna står en rekommendation i vanliga ord. Vad den inte gör är att förenkla genom att dölja, så den som vill se p-värdet och intervallet hittar båda.

Tre försvar, och de är värda att jämföra med vad ni använder i dag. Att testa flera varianter samtidigt ökar chansen att en ser ut som en vinnare av ren tur, så ribban skärps för att kompensera, och konsolen anger den gräns den tillämpar i stället för att låta er räkna ut den. Att titta på ett resultat varje dag blåser upp andelen falska positiva, så det test som är giltigt att läsa löpande är skilt från det som inte är det, och plattformen stoppar inte ett experiment i förtid om inte båda är överens. Och före allt det kontrollerar den att trafiken faktiskt delades som ni konfigurerade, för om den inte gjorde det håller inget som räknats fram ur den.

Ibland ja och ibland faktiskt nej, och det är här plattformen är mest användbar innan ni har lagt tre månader på att ta reda på det. Varje experiment rapporterar den minsta skillnad som er trafik tillförlitligt kan upptäcka. Om effekten ni jagar ligger under det golvet löser ingen mängd tålamod upp den, och konsolen säger det i stället för att låta ett test ligga på "inte signifikant" i oändlighet. Att veta vilka av era sidor som kan besvara en fråga och vilka som inte kan är värt mer på en liten webbplats än på en stor.

Nej. Båda beräknas för varje experiment och visas tillsammans, så det här är en läspreferens snarare än ett konfigurationsbeslut ni kan göra fel. Den frekventistiska halvan rapporterar hur osannolikt resultatet vore om ändringen inte gjorde något. Den bayesianska halvan rapporterar sannolikheten att varje variant är bäst, och vad det skulle kosta er att välja fel. Team tycker oftast att den andra är lättare att agera på och den första lättare att försvara, och det är precis därför ingen av dem togs bort.