Statistiek die u kunt verantwoorden
Primaire en secundaire doelen
Eén doel beslist het experiment. De rest is context, en vooraf zeggen welke welk is, is het grootste deel van wat een programma eerlijk houdt.
Een website markeert welke van zijn events als doel gebruikt mogen worden. Nieuw ontdekte events beginnen genegeerd, want de trackingserver registreert elke eventnaam die hij ziet, en een opt-in is wat de lijst ervan weerhoudt vol te lopen met wat de site toevallig afvuurt.
Uit die pool kiest elk experiment één primair doel en toont wat het verder wil volgen als secundair. Het primaire doel is waartegen het oordeel wordt berekend, wat de aandachtswachtrij leest, en waarop de geautomatiseerde stopregel handelt. Al het andere is er om de winst te vangen die u elders iets kostte.
Het primaire doel benoemen voordat het experiment start, is het onderdeel dat telt, en daarom laat het platform u dat doen in plaats van achteraf een metric te laten kiezen. De metric kiezen die toevallig bewoog, is hoe een programma winsten opstapelt en geen omzet.
Een subtiliteit die het weten waard is: een event later op de website degraderen verandert niets aan experimenten die het al gekozen hadden. Een afgerond resultaat mag niet met terugwerkende kracht veranderen omdat iemand maanden later een koppeling opruimde.