Undersøgelser inde i eksperimenter

En undersøgelse, der kører, mens et eksperiment er live, registrerer, hvilken variant af hvilket eksperiment hver respondent var i. Netop det ene forhold er det, der gør to separate værktøjer til én nyttig ting.

Et eksperiment siger jer, at variant B konverterede bedre. Det kan ikke sige hvorfor, og hvorfor er det, der afgør, hvad I tester næste gang. At læse det samme spørgsmål pr. variant kan oftest: hvis den arm, der konverterede bedre, også scorer markant højere på besvær, har I både resultatet og mekanismen bag det.

Det virker også den anden vej, og det er det tilfælde, der er værd at planlægge efter. En variant, der vinder på konvertering, mens den scorer dårligere på tilfredshed, er en advarsel frem for en sejr, og den er fuldstændig usynlig for et eksperiment, der kun læser konverteringsrate.

Tilskrivningen registreres i svarøjeblikket frem for at blive udledt senere, og rapporteringen tæller kun respondenter, der reelt var indrulleret i det eksperiment, I spørger om. Nogen der aldrig kom ind i det, lander ikke stille i en gruppe.