Överlämning till utveckling

En vinnare som aldrig går live är värd ingenting. Implementeringskön listar experiment som gav något värt att bygga, med variant, ändring och resultat bifogade.

Kön är användbar för att den vägrar lista vissa experiment. En tidigare version behandlade varje avslutat experiment utan utrullning som arbete som väntade på att göras. Då hamnade förlorande varianter och platta test i kön, som om någon hade bestämt sig för att bygga dem. Nu måste varje post klara samma kriterier som resten av konsolen: en riktning, tillräckligt med trafik per variant och ett uplift-intervall som ligger på ena sidan av noll.

Kön tittar på båda målen, inte bara ett. Konverteringar kontrolleras först, eftersom det är det primära målet och beräkningen inte bygger på någon approximation. Därefter kommer intäkt, så att ett experiment som bara vann på intäkt ändå hamnar i kön.

Varje post har en egen status fram till hårdkodad, och en separat flagga markerar vinnare som har rullats ut och fortfarande levereras av plattformen månader senare. Det fallet är värt att fånga: det fungerar, men ändringen hör hemma i din kodbas.