Alarmen bij een scheve steekproefverhouding

Een scheve steekproefverhouding betekent dat de verdeling die u instelde niet de verdeling is die gebeurde. Meestal is de oorzaak een variant die niet wordt toegepast, een redirect die onderweg bezoekers verliest, of botfiltering die de ene arm harder raakt dan de andere.

Het is een geldigheidspoort en geen metric, en daarom wordt het als eerste gecontroleerd. Is de toewijzing kapot, dan zijn de twee groepen niet vergelijkbaar, en meet elke p-waarde, elk interval en elke aanbeveling op de pagina die fout in plaats van uw wijziging.

De toets is een chi-kwadraat-goodness-of-fit tegen de ingestelde gewichten, op een drempel die veel strenger is dan de gebruikelijke. Bij echt verkeer is de verdeling nooit exact nominaal, en bij 0,05 zou een volkomen gezond experiment het alarm gemiddeld één keer op twintig laten afgaan, wat iedereen leert het te negeren. Hij weigert ook helemaal te draaien onder een minimumsteekproef of met minder dan twee armen die verkeer krijgen, want op dat punt is een gebrek aan bewijs geen bewijs van een probleem.

Er bestaat precies één implementatie hiervan. Het alarm dat u e-mailt, het scherm waarop u belandt en de automatisering die weigert te handelen, komen allemaal tot hetzelfde oordeel vanuit dezelfde code, want een melding die het scherm tegenspreekt waarnaar hij linkt, is erger dan geen melding.