Statistiche difendibili
Domande su questo test
Fate una domanda con parole semplici e ottenete una risposta su questo test: se il risultato è significativo, quanto fidarsene e cosa fare dopo.
Quasi tutte le domande su un test sono sempre le stesse tre: è significativo, posso già fidarmi, e cosa faccio adesso? Ogni test ha nella sua intestazione, su ogni scheda, un campo in cui digitare proprio quella domanda. La risposta compare mentre viene scritta, in un pannello accanto alla pagina e nella lingua in cui avete chiesto, prima con la risposta e poi con il ragionamento.
Legge i numeri che mostra la scheda Statistics, calcolati allo stesso modo, per l’obiettivo, la valuta, il metodo e la correzione scelti lì: conversioni, tassi di conversione e ricavi per variante, la significatività, la probabilità di essere la migliore e la perdita attesa, l’analisi della potenza e quanto manca ancora al test, il controllo della ripartizione del traffico e gli obiettivi secondari. Non inventa mai un numero e non dichiara mai vincente una variante se non lo fa la pagina. Legge anche il targeting, le varianti, gli obiettivi e la pianificazione del test, il suo brief e il suo resoconto, che tratta come la lettura del risultato da parte del team e non come una misurazione.
Su una bozza aiuta già prima che il test parta: se le impostazioni fanno ciò che il brief intende, se l’ipotesi indica una modifica, un effetto e una misura in grado di mostrarlo, e cosa implicano i dati inseriti nel piano di durata del test. Si limita a leggere. Non avvia, non ferma e non modifica nulla, e non vede il codice di una variante né le singole modifiche, gli screenshot o il registro di attività. Token, chiavi e indirizzi e-mail nelle regole di targeting e negli URL di redirect vengono mascherati prima di qualsiasi invio.
Ogni test ha una sola conversazione, condivisa da tutti coloro che possono aprirlo, membri compresi, e ogni domanda mostra chi l’ha fatta. Quando il risultato è cambiato dopo una risposta, quella risposta viene segnalata come non più aggiornata. Le conversazioni sono conservate per 12 mesi, e ogni risposta consuma crediti IA dell’account proprietario del sito, con il costo indicato sotto.