Sperimentazione
Pipeline di test a fasi
Decida l’ordine e la combinazione in cui gira un insieme di test, e lasci che la pianificazione armi ogni fase a turno.
Una pipeline è una sequenza ordinata di fasi, e una fase è un insieme di test che girano nello stesso momento. È una sequenza di gruppi paralleli anziché un grafo generico, perché ordine e combinazione sono esattamente ciò che un programma CRO deve esprimere.
Le fasi sono il meccanismo di esclusione, ed è la cosa principale che costruirne una vi compra. I test che collidono vanno in fasi diverse e ognuno gira a turno con tutto il traffico, anziché essere resi mutuamente esclusivi a runtime dividendo il pubblico fra loro.
Ogni fase avanza su una regola che scegle lei: quando ogni test al suo interno si è concluso, che è la predefinita e l’unica che non può abbreviare nulla; quando arriva il primo risultato conclusivo, che ferma gli altri; oppure quando lo dice una persona.
Due interruttori distinti governano quanto il motore può fare da solo, perché fermare automaticamente il test sbagliato e pubblicare automaticamente un perdente non sono errori comparabili. Entrambi partono spenti, e con l’automazione spenta il motore valuta comunque il quadro e registra cosa avrebbe fatto. Quella prova a vuoto è la stessa funzione con gli stessi ingressi anziché un secondo percorso di codice, ed è questo che la rende un’anteprima onesta.