Muster über mehrere Tests

Ein Test ist eine Anekdote. Muster sind das, was ein Testprogramm in der Summe ergibt. Pertento gruppiert jede Erkenntniskarte einer Website auf vier Arten: nach Seitentyp und Änderungsart, nach dem Mechanismus, über den der Test wirken sollte, nach Thema und nach dem geänderten Element. Jede Gruppe ist eine Frage, die Ihre Tests beantwortet haben, ob sie nun jemand bewusst gestellt hat oder nicht.

Jede Gruppe erhält eine gebündelte Schätzung des Uplifts mit Spanne. Die Ergebnisse werden nach ihrer Präzision gewichtet und gegen einen skeptischen, auf null zentrierten Ausgangspunkt verrechnet, sodass ein einzelner Glückstreffer in Richtung null gezogen wird, statt als Regel gelesen zu werden. Zwei Varianten desselben Tests teilen sich eine Kontrolle und zählen daher als ein Eintrag, nicht als zwei.

Es zählt nur das statistische Ergebnis. Eine Variante auszurollen ist die Entscheidung eines Menschen, und sie als Gewinn zu zählen, ließe die Ideen, die Menschen mochten, wie die Ideen aussehen, die funktioniert haben. Auch ein Test ohne eindeutiges Ergebnis zählt: Er verschiebt die Spanne, und genau das soll er tun.

Code berechnet die Muster jedes Mal neu aus den Karten und der Statistik. Die KI formuliert die hervorgehobenen Muster und bietet einen möglichen Grund an, der als solcher gekennzeichnet ist, und jede Zahl in diesen Sätzen setzt Code ein, wenn die Seite gelesen wird. Die Funktion Erkenntnisse arbeitet strikt je Website: Nichts wird über Websites oder Kunden hinweg gebündelt.