Monitoring
Interferentiedetectie
Het probleem dat opduikt in het verkeerde experiment. Een redirect die verkeer wegtrekt bij een ander experiment slaat daar alarm, zonder dat iets naar de oorzaak wijst.
Dit is het faalscenario dat vrijwel niet te diagnosticeren is vanuit het experiment dat het meldt. Een redirect-experiment dat verkeer wegtrekt uit een ander publiek duikt daar op als een scheve verdeling, waar niets in de data naar de oorzaak wijst. Iemand besteedt een middag aan het onderzoeken van een test die prima werkt.
Interferentiedetectie meldt de relatie in plaats van het symptoom. Het noemt beide experimenten en waarover ze botsen, zodat het alarm met zijn verklaring erbij aankomt in plaats van als raadsel op de verkeerde plek.
Het vangt ook het geval dat helemaal geen alarm oplevert. Twee experimenten die hetzelfde element bewerken houden een perfecte verkeersverdeling aan, dus de steekproefverhoudingscontrole ziet niets mis, en wat bezoekers krijgen is een paginacombinatie die geen van beide tests bedoelde. Daarom is interferentie een aparte vertrouwenspoort naast de verdelingscontrole, en niet erin opgenomen.
De bevinding blokkeert geautomatiseerd handelen op het betrokken experiment zolang ze standhoudt. De reden wordt eenmaal verwoord en hergebruikt, zodat de boardeditor, de motor en de aandachtswachtrij allemaal dezelfde zin over hetzelfde paar zeggen in plaats van drie formuleringen ervan.