Störningsdetektering

Det här är felläget som nästan är omöjligt att diagnostisera inifrån experimentet som rapporterar det. Ett omdirigeringsexperiment som drar trafik ur ett annat experiments publik visar sig som en snedvriden fördelning i det andra experimentet, där inget i datan pekar tillbaka mot orsaken. Någon lägger en eftermiddag på att utreda ett test som fungerar helt korrekt.

Störningsdetektering rapporterar relationen snarare än symptomet. Den namnger båda experimenten och vad de kolliderar om, så larmet anländer med sin förklaring bifogad snarare än som ett mysterium på fel ställe.

Den fångar också fallet som inte ger något larm alls. Två experiment som redigerar samma element behåller en perfekt trafikfördelning, så fördelningskontrollen ser inget fel, och det besökare får är en sidkombination inget av testen avsåg. Det är därför störning är en egen tillitsspärr skild från fördelningskontrollen i stället för inbakad i den.

Fyndet blockerar automatisk åtgärd på det berörda experimentet så länge det står kvar. Skälet formuleras en gång och återanvänds, så tavlans editor, motorn och uppmärksamhetskön alla säger samma mening om samma par i stället för tre olika formuleringar av den.