Trzy typy testów, jeden edytor wizualny

Jeden skrypt w head to cała instalacja i jedyna zmiana na waszej witrynie. Dalej wariant buduje się, wskazując elementy na waszych działających stronach, więc pierwszy test ogranicza tylko to, ile czasu zajmie wam decyzja, co testować, a nie cokolwiek, co trzeba zakupić, zbudować albo zaplanować. Nic nie wchodzi na żywo przez przypadek, kiedy się uczycie: nowy test jest szkicem, dopóki go nie uruchomicie.

Każda witryna dostaje własny skompilowany plik z wpisanymi w niego testami, więc runtime już przy wczytaniu wie, co uruchomić, i nic nie czeka na wywołanie do nas, zanim strona się wyrenderuje. Strona jest na moment wstrzymana, kiedy zmiany są nakładane, i to właśnie nie pozwala odwiedzającym zobaczyć oryginału migającego w test, a odsłaniana jest z czterech niezależnych ścieżek kodu, więc awaria pokazuje stronę niezmienioną, a nie pustą. Zbieranie danych ładuje się na końcu, po tym, jak strona jest widoczna, więc pomiar nigdy nie opóźnia renderowania.

Tekst, styl, układ i pozycję edytuje się wskazywaniem, a zmiany struktury pokrywa pięć miejsc wstawienia HTML wobec elementu, który wybierzecie. Dalej zatrzymuje się uczciwie, a nie źle: cokolwiek, czego panel nie potrafi wyrazić, piszecie jako własny CSS albo JavaScript na wariancie, co znaczy, że test nigdy nie stoi zablokowany na narzędziu. Prawdziwą granicą jest zmiana, która dzieje się przed powstaniem strony: ranking, logika cen, model rekomendacji. To testy po stronie serwera i potrzebują waszych programistów.

Tyle, ile macie pomysłów, i to jest ta odpowiedź, którą warto porównać z tym, czego używacie dziś. Każdy test losuje niezależnie, więc kwalifikujący się odwiedzający wchodzi do każdego testu, do którego się kwalifikuje, a każdy z nich mierzy wobec pełnej kwalifikującej się publiczności. Współbieżność nie dzieli tu waszej próby, i dlatego platforma sprawdza, czy dwa testy nie będą sobie przeszkadzać, zamiast racjonować, ile może działać. Tempo zwykle decyduje o różnicy między programem, który się opłaca, a takim, który nie.

Zwycięzcy, których wpisaliście na stałe, są już w waszej bazie kodu i nikt ich nie rusza, i właśnie do tego popycha was kolejka wdrożeń: wypisuje każdego zwycięzcę, którego wciąż wydajemy my, i oznacza go, dopóki wasi programiści nie będą mieli miejsca. Zwycięzcy nadal wydawani przez platformę zatrzymują się, kiedy ona się zatrzyma, tak samo jak zatrzymuje się każdy wariant. Testy, hipotezy i zapisana historia zostają na koncie, a nie w naszych narzędziach.