Statistikk du kan stå inne for
Styrkeanalyse
Sjansen for at eksperimentet kan oppdage forskjellen det viser akkurat nå, hvis forskjellen er reell.
Statistisk styrke er sjansen for at et eksperiment oppdager en reell forskjell av en gitt størrelse. Under omtrent åtti prosent betyr et nullresultat «ikke nok data ennå», ikke «ingen effekt». Blander du sammen de to, risikerer du å forkaste en god idé.
Pertento regner analysen mot forskjellen eksperimentet faktisk måler, ikke mot et fast uplift-mål valgt på forhånd. Regner du mot et hardkodet mål på fem prosent, får du svar på «når kunne jeg oppdaget fem prosent?». Det er ikke det noen lurer på når et eksperiment allerede kjører. Spørsmålet er når effekten du ser, blir avgjørende.
Beregningen har en bevisst sikring. Den målte forskjellen mates aldri tilbake gjennom grensen for minste oppdagbare effekt, siden den grensen selv er utledet fra det nåværende utvalget. Gjorde vi det, ville svaret blitt selvoppfyllende, og et eksperiment med altfor lav styrke så ut til å ha nok data.
Er den målte forskjellen for liten til å regne mot (en effekt nær null krever et uendelig stort utvalg), faller analysen tilbake på et uplift-mål og sier hvilket av de to den brukte. Et tall som ser presist ut, men ikke sier hva det bygger på, er verre enn et ærlig tall.