Eksperymenty
Plan czasu trwania testu
Jeszcze przed startem dowiedzcie się, czy test jest realnie w stanie odpowiedzieć na swoje pytanie, i mniej więcej ile czasu będzie na to potrzebował.
Większość rozczarowujących testów nigdy nie miała szans dać odpowiedzi. Albo zatrzymano je w chwili, gdy liczby zaczęły wyglądać ciekawie, albo działały miesiącami na zbyt małym ruchu, żeby wykryć zmianę, którą testowały. Plan czasu trwania testu jest po to, żeby wyłapać to przed startem, a nie po nim.
Krótki kreator pyta o trzy rzeczy: ile ruchu dostanie test, jaki jest współczynnik konwersji oryginału i jaki najmniejszy wzrost byłby wart działania. Odpowiada szacowanym czasem trwania, na przykład “est. 4 weeks”. Ta etykieta jest celowa: to szacunek, a nie obietnica, i produkt mówi to wprost.
Wartości startowe pochodzą z waszych własnych danych: z ruchu, jaki dostały wasze wcześniejsze testy, z ruchu witryny mierzonego przez Pertento i z waszych wcześniejszych współczynników konwersji. Jeśli wiecie lepiej, wpiszcie w ich miejsce własne liczby.
Każda opcja pokazuje kompromis, bo mniejszy wzrost wymaga dłuższego testu. Zobaczenie obu obok siebie zwykle rozstrzyga, czy pomysł jest wart uruchomienia w obecnej postaci. Plan zapisuje się razem z testem i jest widoczny w jego harmonogramie oraz na osi czasu Library.