Frequentista e bayesiano, fianco a fianco

È a questo che serve la seconda metà di questa pagina. Un risultato arriva con l’ampiezza della differenza, l’intervallo attorno a essa e quanto è probabile che sia casuale, calcolato in due modi indipendenti e mostrato affiancato. I ricavi sono misurati per variante anziché dedotti dal tasso di conversione, così una variante che converte più spesso e vende a meno non si legge come una vittoria. E la piattaforma dichiara la propria incertezza invece di nasconderla, che è la parte che regge a un esame: un risultato non ancora conclusivo lo dice, a parole, invece di essere presentato come conclusivo.

No, e il progetto presuppone che non ne abbiate uno. Ogni numero porta con sé la propria spiegazione, sul posto, scritta per dire cosa vi sta dicendo quel numero e non per definire il termine, e diversi di essi esistono proprio per prevenire un fraintendimento: la colonna della differenza dichiara apertamente che da sola non dice nulla su quanto lo scarto sia reale. Accanto ai numeri c’è una raccomandazione a parole. Ciò che non fa è semplificare nascondendo, quindi chi vuole il valore p e l’intervallo li trova entrambi.

Tre difese, e vale la pena confrontarle con quello che usate oggi. Testare più varianti insieme aumenta la probabilità che una sembri vincente per caso, quindi l’asticella viene alzata per compensare, e la console dichiara la soglia che sta applicando invece di lasciarvela calcolare. Guardare un risultato ogni giorno gonfia il tasso di falsi positivi, quindi il test che è valido da leggere in continuo è distinto da quello che non lo è, e la piattaforma non ferma un test in anticipo se i due non concordano. E prima di tutto questo verifica che il traffico si sia ripartito davvero come lo avete configurato, perché se non è così nulla di ciò che ne deriva regge.

A volte sì e a volte davvero no, ed è qui che la piattaforma è più utile prima che abbiate speso tre mesi per scoprirlo. Ogni test riferisce la differenza più piccola che il traffico che avete riesce a rilevare in modo affidabile. Se l’effetto che cercate sta sotto quella soglia, nessuna dose di pazienza lo risolverà, e la console lo dice invece di lasciare un test su "non significativo" a tempo indeterminato. Sapere quali delle vostre pagine possono rispondere a una domanda e quali no vale di più su un sito modesto che su uno grande.

No. Entrambi sono calcolati per ogni test e mostrati insieme, quindi è una preferenza di lettura e non una scelta di configurazione che si può sbagliare. La parte frequentista riferisce quanto sarebbe improbabile il risultato se la modifica non avesse alcun effetto. La parte bayesiana riferisce la probabilità che ciascuna variante sia la migliore, e quanto vi costerebbe scegliere male. I team tendono a trovare la seconda più facile da usare e la prima più facile da difendere, ed è esattamente per questo che nessuna delle due è stata scartata.