Undersøgelser inde i eksperimenter

En undersøgelse kan knyttes til et af websitets eksperimenter, valgt fra en søgbar liste grupperet efter status. Kun besøgende, der er indrulleret i det eksperiment, ser den, og I kan indsnævre den yderligere til bestemte varianter, så et spørgsmål om en ny checkout kun stilles til dem, der så den nye checkout.

Et eksperiment siger jer, at variant B konverterede bedre. Det kan ikke sige hvorfor, og hvorfor er det, der afgør, hvad I tester næste gang. At læse det samme spørgsmål pr. variant kan oftest: hvis den arm, der konverterede bedre, også scorer markant højere på besvær, har I både resultatet og mekanismen bag det.

Det virker også den anden vej, og det er det tilfælde, der er værd at planlægge efter. En variant, der vinder på konvertering, mens den scorer dårligere på tilfredshed, er en advarsel frem for en sejr, og den er fuldstændig usynlig for et eksperiment, der kun læser konverteringsrate.

Byggeren siger det ligeud i de tilfælde, hvor ingen i al stilhed ville blive spurgt. Knyt en undersøgelse til et eksperiment, der er en kladde, og den siger, at ingen vil se den, før eksperimentet starter; knyt den til et afsluttet, og den siger, at ingen vil se den overhovedet. Indrulleringen er eksperimentets egen, så undersøgelsen spørger præcis de besøgende, eksperimentet tæller.