Pięć poziomów dowodów

Każdy wzorzec na stronie Wnioski ma jeden z pięciu poziomów dowodów, a poziom decyduje, jak strona o nim mówi. Poziomy są odczytywane ze skorygowanego przedziału wzorca w ustalonej kolejności i pokazywany jest pierwszy, który pasuje.

Mieszany jest sprawdzany jako pierwszy: testy tej samej rzeczy, w których jeden wariant jest wiarygodnie na plusie, a inny wiarygodnie na minusie. Dwa sprzeczne wyniki nigdy nie są uśredniane do “braku efektu”, bo to ukryłoby najciekawszą rzecz, jaką znalazły testy. Spójny oznacza, że przedział wyklucza zero w trzech lub więcej testach. Wczesny sygnał oznacza, że je wyklucza, ale tylko na podstawie jednego lub dwóch.

Mały efekt oznacza, że przedział obejmuje zero i mieści się w 2% w obie strony, co samo w sobie jest ustaleniem: cokolwiek robi ten rodzaj zmiany, nie robi wiele. Wszystko inne to jeszcze za mało dowodów, i to jest uczciwe odczytanie większości wzorców w młodym programie.

Sformułowanie zależy od przedziału tak samo jak od poziomu, więc wczesny sygnał poniżej zera brzmi jak zmiana, która szkodzi, a nie jak neutralny sygnał. Strona mówi też, ile wzorców jest jak dotąd rozstrzygniętych, więc czytelnik od razu widzi, na czym program może się już oprzeć.