Frequentistische resultaten

De frequentistische helft beantwoordt één vraag: hoe vaak zou een verschil van minstens deze grootte door toeval verschijnen, als de variant helemaal niets veranderde. Lager is lastiger weg te praten, en onder 0,05 is de gebruikelijke lat.

De vergelijking is een tweeproportie-z-toets tussen elke variant en de controle, samengevoegd op de standaardmanier. De z-score is getekend in de richting van de variant, zodat een variant die voorligt positief uitleest en overeenkomt met het liftinterval dat ernaast wordt berekend. Dat klinkt triviaal en is het niet: een tekenconventie die tussen twee kolommen van één tabel verschilt, is hoe een verliezende variant wordt uitgeleverd.

Het significantie-oordeel is de p-waarde ná correctie voor meervoudig vergelijken, niet ervoor. Bij één variant heeft de correctie geen effect en is de lat gewoon 0,05; bij meerdere wordt hij strenger, en de console noemt de drempel in plaats van u die zelf te laten uitrekenen.

Een uitgerolde variant wordt van de vergelijking uitgesloten. Ze krijgt geen gerandomiseerd verkeer meer, dus zou haar als testarm behandelen haar vergelijken met een controle waar ze niet meer tegen concurreert, en het aantal vergelijkingen waarvoor al het andere wordt gecorrigeerd, opblazen.