Erkenntnisse
Für Mehrfachvergleiche korrigiert
Wer genug Tests auf genug Arten aufschlüsselt, findet etwas, das allein durch Glück stark aussieht. Genau dafür werden die Spannen verbreitert.
Die Funktion Erkenntnisse prüft Dutzende Muster gleichzeitig: jeden Seitentyp und jede Änderungsart, jeden Mechanismus, jedes Thema und jedes Element. Je vielfältiger die Tests einer Website aufgeschlüsselt werden, desto wahrscheinlicher schließt eine Spanne allein durch Zufall null aus. Würden alle Spannen mit dem üblichen Konfidenzniveau von 95 % dargestellt, erschienen einige Glückstreffer als belastbare Befunde.
Deshalb wird jede Spanne auf der Seite mit einer einheitlichen korrigierten Breite gezeichnet, nach dem Benjamini-Hochberg-Verfahren mit Intervallen für eine False Coverage Rate von 5 %. Ein als eindeutig ausgewähltes Muster hat eine Spanne, die null ausschließt, und ein nicht ausgewähltes eine Spanne, die null einschließt, sodass Evidenzstufe und Spanne sich nie widersprechen können.
Gezählt werden die Prüfungen als die eindeutigen Kombinationen von Tests hinter den Mustern, nicht als die Muster selbst. Ein Test, der vier Dinge geändert hat, steht in vier Gruppen, ist aber ein einziger Beleg, viermal gesehen, und ihn viermal zu zählen, würde überkorrigieren und echte Befunde verbergen.
Es ist dieselbe Disziplin, die die Statistik bei einem einzelnen Test mit mehreren Varianten anwendet, übertragen auf ein ganzes Programm. Deshalb kann die Funktion Erkenntnisse viele Blickwinkel gleichzeitig betrachten, ohne ein großes Programm zur Quelle falscher Sicherheit zu machen.