Interaksjonsdeteksjon

Denne feilen er nesten umulig å spore fra eksperimentet som melder den. Et omdirigeringseksperiment som trekker trafikk ut av en annen målgruppe, viser seg som et fordelingsavvik i det andre eksperimentet, og ingenting i dataene peker tilbake på årsaken. Noen bruker en hel ettermiddag på å feilsøke en test som fungerer som den skal.

Interaksjonsdeteksjon melder om sammenhengen, ikke bare symptomet. Den navngir begge eksperimentene og hva de kolliderer om, så alarmen kommer med forklaringen ved siden av, ikke som et mysterium på feil sted.

Den fanger også tilfellet som ikke gir noen alarm i det hele tatt. To eksperimenter som endrer samme element, beholder en perfekt trafikkfordeling, så sample ratio-sjekken ser ingenting galt, men de besøkende får en sidekombinasjon ingen av testene var ment å lage. Derfor er interferens en egen sperre, skilt fra fordelingssjekken.

Funnet blokkerer automatiske handlinger på det berørte eksperimentet så lenge det står. Årsaken formuleres én gang og brukes på nytt, så board-editoren, motoren og oppgavekøen sier samme setning om samme par, ikke tre ulike.