Reportistica sulle combinazioni

Far girare test insieme non costa nulla in dimensione campionaria, perché ognuno randomizza in modo indipendente. Ciò che può costare è l’additività: due modifiche che funzionano ciascuna da sola possono non combinarsi come si supporrebbe. La reportistica sulle combinazioni è la verifica di questo.

Scelga due o più test sullo stesso sito e il report misura se i loro effetti interagiscono, e se il valore degli ordini cambia fra le combinazioni in cui i visitatori sono finiti. È calcolato dai soli conteggi delle conversioni usando un odds ratio, e l’algebra funziona perché i termini di allocazione si cancellano esattamente sotto randomizzazione indipendente.

È preciso su ciò a cui non risponde. Senza un denominatore di esposizione non può dirvi quale combinazione converte meglio; può dirvi se le due modifiche interagiscono, che è la domanda che decide se ogni risultato si riprodurrà da solo.

Questa è la domanda circoscritta, statistica. Quella operativa più ampia, se due test si stanno corrompendo a vicenda anziché semplicemente combinarsi, è ciò che coprono il rilevamento delle collisioni e delle interazioni, e quelli si alzano senza che glielo si chieda.