Overlevering til implementering

En vinner som aldri leveres, er verdiløs. Implementeringskøen er listen over eksperimenter som ga noe verdt å bygge, med varianten, endringen og resultatet vedlagt.

Køen er nyttig på grunn av det den nekter å vise. En tidligere versjon regnet alle avsluttede eksperimenter uten utrulling som ventende arbeid. Tapende varianter og flate tester havnet dermed i køen, som om noen hadde bestemt seg for å bygge dem. Nå må hver oppføring passere de samme sperrene som resten av konsollen: en retning, nok trafikk per arm og et uplift-intervall som ligger på én side av null.

Den leser begge målene, ikke bare ett. Konverteringer sjekkes først, siden de er primærmålet og regnestykket der ikke bygger på noen tilnærming. Deretter kommer inntekt, så et eksperiment som bare vant på inntekt, også havner i køen.

Hver oppføring har sin egen status helt til den er kodet inn fast. Et eget varsel flagger vinnere som ble rullet ut og fortsatt leveres av plattformen måneder senere. Det er tilfellet du vil fange opp: det fungerer, men endringen hører hjemme i kodebasen din.