Wzorce z wielu testów

Jeden test to tylko pojedynczy przykład. Wzorce pokazują, czego można się nauczyć z całego programu testów. Pertento grupuje karty wniosków witryny na cztery sposoby: według typu strony i zmiany, oczekiwanego mechanizmu działania, tematu oraz zmienionego elementu. Każda grupa odpowiada pytaniu, na które wasze testy już odpowiadały, nawet jeśli nikt świadomie go nie zadał.

Każda grupa dostaje jedno łączne oszacowanie wzrostu z przedziałem. Wyniki są łączone według tego, jak precyzyjny jest każdy z nich, wobec sceptycznego punktu wyjścia wyśrodkowanego na zerze, więc jeden szczęśliwy test zostaje przyciągnięty w stronę braku efektu, zamiast być odczytany jako reguła. Dwa warianty tego samego testu korzystają z tej samej grupy kontrolnej, więc liczą się jako jedna pozycja, a nie dwie.

Liczy się tylko wynik statystyczny. Wdrożenie wariantu to decyzja człowieka, a liczenie go jako wygranej sprawiłoby, że pomysły, które ludzie lubili, wyglądałyby jak pomysły, które zadziałały. Test nierozstrzygnięty też się liczy: przesuwa przedział, i dokładnie to powinien robić.

Kod wylicza wzorce od nowa z kart i statystyk. AI ujmuje w słowa te wyróżnione i podaje możliwy powód, wyraźnie oznaczony jako możliwy, a każdą liczbę w tych zdaniach wstawia kod w chwili, gdy strona jest czytana. Wnioski działają ściśle dla każdej witryny osobno: nic nie jest łączone między witrynami ani między klientami.