Pattern tra i test

Un singolo test è un caso isolato. I pattern mostrano ciò che si impara da un intero programma di test. Pertento raggruppa le card di apprendimento di un sito in quattro modi: per tipo di pagina e modifica, per meccanismo d’azione atteso, per tema e per elemento modificato. Ogni gruppo corrisponde a una domanda a cui i vostri test hanno risposto, anche se nessuno l’aveva formulata.

Ogni gruppo riceve una stima aggregata dell’incremento, con un intervallo. I risultati sono combinati in base alla precisione di ciascuno, partendo da un presupposto scettico centrato sullo zero, così un test fortunato viene riportato verso l’assenza di effetto invece di essere letto come una regola. Due varianti dello stesso test condividono un controllo, quindi contano come una voce sola e non come due.

Conta solo l’esito statistico. Mettere in produzione una variante è la decisione di una persona, e contarla come una vittoria farebbe sembrare le idee che piacevano uguali alle idee che hanno funzionato. Anche un test inconcludente conta: sposta l’intervallo, ed è esattamente ciò che deve fare.

Il codice ricalcola i pattern da zero a partire dalle card e dalle statistiche. L’IA formula quelli in evidenza e propone un possibile motivo, indicato come tale, e ogni cifra in quelle frasi viene inserita dal codice quando la pagina viene letta. Apprendimenti funziona strettamente per sito web: nulla viene aggregato tra siti web diversi o tra clienti diversi.