Eksperymenty
Potoki testów etapowych
Zdecydujcie o kolejności i kombinacji, w jakiej działa zestaw testów, i pozwólcie harmonogramowi uzbrajać każdy etap po kolei.
Potok to uporządkowany bieg etapów, a etap to zestaw testów działających w tym samym czasie. To sekwencja równoległych grup, a nie ogólny graf, bo kolejność i kombinacja to dokładnie to, co musi wyrazić program CRO.
Etapy są mechanizmem wykluczania, i to jest główna rzecz, którą kupujecie, budując potok. Testy, które by się zderzyły, trafiają do różnych etapów, a każdy działa po kolei na pełnym ruchu, zamiast być wzajemnie wykluczany w czasie działania i dzielić publiczność między sobą.
Każdy etap przechodzi dalej według wybranej przez was reguły: kiedy każdy test w nim się zakończył, co jest ustawieniem domyślnym i jedynym, które niczego nie potrafi skrócić przedwcześnie; kiedy przychodzi pierwszy rozstrzygający wynik, co zatrzymuje resztę; albo kiedy powie tak człowiek.
Dwa osobne przełączniki rządzą tym, ile silnik może zrobić sam, bo automatyczne zatrzymanie złego testu i automatyczne wdrożenie przegranego to nieporównywalne pomyłki. Oba są domyślnie wyłączone, a przy wyłączonej automatyzacji silnik nadal ocenia tablicę i loguje, co by zrobił. Ten przebieg próbny jest tą samą funkcją na tych samych danych wejściowych, a nie drugą ścieżką kodu, i to właśnie czyni go uczciwym podglądem.