Rapport de combinaisons

Faire tourner des tests en même temps ne coûte rien en taille d'échantillon, puisque chacun randomise indépendamment. Ce que cela peut coûter, c'est l'additivité : deux modifications qui fonctionnent chacune seule ne se combinent pas forcément comme on le suppose. Le rapport de combinaisons est le contrôle prévu pour cela.

Choisissez deux tests ou plus sur le même site et le rapport mesure si leurs effets interagissent, et si la valeur des commandes diffère selon la combinaison sur laquelle les visiteurs sont tombés. Il est calculé à partir des seuls comptages de conversions au moyen d'un rapport de cotes, et l'algèbre fonctionne parce que les termes d'allocation s'annulent exactement sous randomisation indépendante.

Il est précis sur ce à quoi il ne répond pas. Sans dénominateur d'exposition, il ne peut pas dire quelle combinaison convertit le mieux ; il peut dire si les deux modifications interagissent, ce qui est la question qui détermine si chaque résultat se reproduira isolément.

C'est la question statistique précise. La question opérationnelle plus large, celle de savoir si deux tests se corrompent l'un l'autre plutôt que de simplement se combiner, relève de la détection de collisions et d'interférence, qui se signalent d'elles-mêmes sans qu'on ait à les demander.