Statistika, kterou obhájíte
Reporting kombinací
Když běží dva experimenty naráz, ovlivňují se jejich změny navzájem? Úzká otázka, zodpovězená pořádně.
Souběžný běh experimentů nestojí nic na velikosti vzorku, protože každý randomizuje nezávisle. Co to stát může, je aditivita: dvě změny, které samostatně fungují, se nemusí kombinovat tak, jak byste čekali. Reporting kombinací je kontrola právě na tohle.
Vyberte dva nebo víc experimentů na stejném webu a report změří, jestli se jejich efekty ovlivňují a jestli se hodnoty objednávky liší mezi kombinacemi, do kterých návštěvníci spadli. Počítá se čistě z počtu konverzí pomocí poměru šancí a matematika vychází, protože se členy přiřazení za nezávislé randomizace přesně vyruší.
Je přesný v tom, na co neodpovídá. Bez jmenovatele expozice vám neřekne, která kombinace konvertuje nejlíp; řekne vám, jestli se ty dvě změny ovlivňují, což je otázka, která rozhoduje, jestli se každý výsledek zopakuje sám o sobě.
Tohle je úzká, statistická otázka. Širší provozní otázka, jestli se dva experimenty navzájem kazí, a ne jen kombinují, patří detekci kolizí a interakce, a ty se ozvou samy, aniž byste se ptali.