Des statistiques défendables
Perte espérée
Ce que vous abandonneriez en mettant cette variante en production si elle se révélait ne pas être la meilleure. Souvent le nombre qui tranche réellement la décision.
La significativité répond à la question de savoir si vous pouvez distinguer deux choses. La perte espérée répond à quelque chose de plus utile au moment d’agir : si vous choisissez celle-ci et que vous avez tort, de combien êtes-vous perdant.
Elle est calculée à partir du même échantillonnage a posteriori que la probabilité d’être la meilleure. Pour chaque tirage, elle mesure de combien cette variante est tombée derrière la meilleure branche, et fait la moyenne sur tous les tirages. Une branche qui est généralement la meilleure, et à peine en retrait quand elle ne l’est pas, a une perte espérée faible.
C’est ce qui rend les choix serrés décidables. Deux variantes difficiles à séparer statistiquement sont souvent triviales à départager commercialement, car se tromper ne coûte presque rien. Attendre des semaines la significativité pour une décision aussi bon marché est un mauvais échange de trafic contre de la certitude.
Cela joue aussi dans l’autre sens. Une grosse perte espérée sur une variante nominalement en tête est un avertissement : le gain potentiel est réel mais le risque n’est pas petit, et ce test mérite de tourner plus longtemps.