Statistikk du kan stå inne for
Primære og sekundære mål
Ett mål avgjør eksperimentet. Resten er kontekst, og å bestemme på forhånd hvilket som er hvilket, er mye av det som holder et testprogram ærlig.
Et nettsted merker hvilke av hendelsene det sender som kan brukes som mål. Nyoppdagede hendelser starter som ignorert. Sporingsserveren registrerer hvert hendelsesnavn den ser, og med opt-in unngår du at listen fylles opp med alt nettstedet tilfeldigvis sender.
Fra denne listen velger hvert eksperiment ett primærmål, og tar med alt annet det vil følge med på som sekundære mål. Konklusjonen beregnes mot primærmålet. Det er også det oppgavekøen leser, og det den automatiske stoppregelen handler på. Alt annet er der for å fange opp seieren som kostet deg noe et annet sted.
Det viktigste er å velge primærmål før eksperimentet starter. Derfor krever plattformen det og lar deg ikke velge målet i etterkant. Å velge det målet som tilfeldigvis flyttet seg, er slik et testprogram samler seire uten å tjene mer.
En detalj som er greit å vite: hvis du nedgraderer en hendelse på nettstedet senere, endrer det ikke eksperimenter som allerede har valgt den. Et avsluttet resultat skal ikke endre seg bakover fordi noen ryddet i en kobling flere måneder etterpå.