Implementeringsoverlevering

En vinner som aldri leveres, er verdt ingenting. Implementeringskøen er listen over eksperimenter som ga noe verdt å bygge, med varianten, endringen og resultatet vedlagt.

Det som gjør den nyttig, er det den nekter å liste. En tidligere versjon behandlet ethvert avsluttet eksperiment uten utrulling som arbeid som ventet på å bli gjort, som betydde at tapende varianter og flate tester lå i køen som om noen hadde bestemt seg for å bygge dem. Oppføringer må nå klarere de samme portene resten av konsollen bruker: en retning, nok trafikk per arm, og et løftintervall som holder seg på én side av null.

Den leser begge mål heller enn ett. Konverteringer konsulteres først, fordi det er primærmålet og matematikken der ikke bærer noen tilnærming, og inntekt deretter, så et eksperiment som vant kun på inntekt fortsatt når køen.

Hver oppføring sporer sin egen status fram til hardkodet, og et eget signal flagger vinnere som ble rullet ut og fortsatt serveres av plattformen måneder senere. Det er tilfellet verdt å fange opp: det fungerer, men endringen hører hjemme i deres kodebase.