Vertrouwenspoorten bij kapotte data

Automatisering is maar zo goed als het cijfer dat hij leest. Drie voorwaarden betekenen dat het cijfer niet te lezen is, en elk daarvan blokkeert elke actie die erop zou berusten.

Een scheve steekproefverhouding betekent dat verkeer niet is verdeeld zoals ingesteld, dus de twee groepen zijn niet vergelijkbaar en houdt geen enkel contrast ertussen stand. Geen verkeer gedurende een volle dag betekent dat er helemaal niets wordt gemeten. En een interferentiebevinding betekent dat een ander lopend experiment deze lezing corrumpeert, wat het enige is dat niets anders zou opvangen.

Die derde poort staat los van de eerste in plaats van erin opgenomen te worden, omdat de twee niet overlappen zoals ze lijken te doen. Een redirect-interactie duikt inderdaad op als een scheve verdeling, maar twee experimenten die hetzelfde element bewerken leveren een perfecte verdeling op en een paginacombinatie die niemand heeft beoordeeld, onzichtbaar voor de steekproefverhoudingscontrole en nog steeds geen lezing om op te handelen.

Vertrouwenspoorten bewaken alleen het significantiepad. De tijdgebonden stop is onvoorwaardelijk, want een experiment beëindigen is altijd veilig en een kapotte test voorbij zijn geplande einde laten doordraaien maakt van één probleem twee. Blokkeert een poort, dan staat de reden in gewone woorden en niet als statuscode.