Risultati bayesiani

La parte bayesiana modella il tasso di conversione di ogni variante come una distribuzione anziché come un punto, partendo da una distribuzione a priori uniforme che non presuppone nulla, e la aggiorna con ciò che è stato davvero osservato. Da quelle distribuzioni riferisce la probabilità che ciascuna variante sia la migliore fra quelle testate, il costo atteso di una scelta sbagliata e un intervallo di credibilità per variante.

È calcolata per ogni test, non come modalità alternativa da attivare. Le due parti stanno sullo stesso schermo perché rispondono a domande diverse e alle persone servono entrambe: la probabilità è più facile da usare, il valore p è più facile da difendere.

Le probabilità vengono dal campionare le distribuzioni a posteriori molte volte e contare quanto spesso ciascuna variante risulta in vantaggio. Un dettaglio conta più di quanto sembri: il campionamento è inizializzato dai dati stessi, quindi gli stessi conteggi danno sempre la stessa risposta. Senza questo, ricaricare la pagina sposterebbe leggermente la probabilità ogni volta, e un numero che cambia quando nulla è cambiato è un numero di cui nessuno si fida.

Come la parte frequentista, descrive un processo del tipo convertito o non convertito, quindi è calcolata sulle conversioni. Il ricavo per sessione non è quel tipo di quantità, e la console lo riferisce come assente anziché riempire la colonna.