Störningsdetektering

Det här felet är nästan omöjligt att felsöka inifrån experimentet som rapporterar det. Ett omdirigeringsexperiment som drar trafik från en annan målgrupp syns som en snedvriden fördelning i det andra experimentet, där inget i datan pekar tillbaka på orsaken. Någon lägger en eftermiddag på att utreda ett test som fungerar som det ska.

Störningsdetekteringen rapporterar sambandet och inte symptomet. Den namnger båda experimenten och vad de krockar om, så larmet kommer med sin förklaring och är inget mysterium på fel ställe.

Den fångar också fallet som inte ger något larm alls. Två experiment som ändrar samma element behåller en perfekt trafikfördelning, så kontrollen av fördelningen ser inget fel, och besökarna får en sidkombination som inget av testen avsåg. Därför är störning en egen spärr, skild från fördelningskontrollen och inte inbakad i den.

Upptäckten blockerar automatiska åtgärder för det berörda experimentet så länge den finns kvar. Orsaken formuleras en gång och återanvänds, så board-editorn, motorn och uppmärksamhetskön säger samma mening om samma par och inte tre olika.