Botsingsdetectie

Gelijktijdigheid kost hier niets aan steekproefomvang, dus het platform beperkt niet hoeveel experimenten tegelijk draaien. Wat het wel doet, is de nauwe reeks manieren controleren waarop twee experimenten elkaar werkelijk kunnen schaden, en precies drie dingen melden.

Een selectorbotsing betekent dat twee varianten hetzelfde element muteren, wat een paginacombinatie oplevert die niemand heeft gebouwd of beoordeeld. Een redirectbotsing betekent dat verkeer in of uit het publiek van een ander experiment beweegt, wat de onafhankelijkheid breekt waarop beide lezingen steunen. Beide blokkeren. Een gedeeld doel wordt als waarschuwing gemeld en niet als blokkade: de effecten zijn mogelijk niet optelbaar, dus geen van beide resultaten is gegarandeerd afzonderlijk te repliceren.

Disjunctheid wordt vóór dat alles gecontroleerd. Kan geen enkele bezoeker in beide experimenten zitten, omdat ze op verschillende apparaten of aantoonbaar verschillende URL's targeten, dan is er verder niets bereikbaar en is het paar veilig, wat het ook raakt.

Eén eerlijke beperking, zorgvuldig verwoord in het product in plaats van weggemoffeld: selectormatching is exact na normalisatie van witruimte, wat er een detector van waarschijnlijke botsingen van maakt en geen bewijs van veiligheid. Twee verschillende selectors kunnen hetzelfde element adresseren en zullen niet overeenkomen. Een treffer is sterk bewijs; het uitblijven ervan is geen bewijs van afwezigheid, en niets in de console noemt een paar veilig.