Monitoring

Detekce interakce

Problém, který se vynoří ve špatném experimentu. Přesměrování odtahující provoz z jiného testu se tam projeví jako alarm, aniž by na příčinu cokoli ukázalo.

Pojmenuje oba testyBlokuje automatizaciJedna formulace

Tohle je selhání, které se skoro nedá diagnostikovat zevnitř experimentu, jenž ho hlásí. Experiment s přesměrováním, který odtahuje provoz z publika jiného, se v tom druhém projeví jako neshoda rozdělení, kde na příčinu nic v datech neukazuje. Někdo pak stráví odpoledne vyšetřováním testu, který funguje správně.

Detekce interakce hlásí vztah, a ne příznak. Pojmenuje oba experimenty a to, o co se sráží, takže alarm dorazí i s vysvětlením přiloženým, a ne jako záhada na špatném místě.

Zachytí taky případ, který nevyvolá žádný alarm vůbec. Dva experimenty upravující tentýž prvek udrží dokonalé rozdělení provozu, takže kontrola podílu vzorku nevidí nic špatně, a to, co dostanou návštěvníci, je kombinace stránky, kterou žádný z testů nezamýšlel. Proto je interference oddělená brána důvěryhodnosti, a ne schovaná v kontrole rozdělení.

Zjištění blokuje automatické jednání na dotčeném experimentu, dokud trvá. Důvod je formulovaný jednou a znovu použitý, takže editor tabule, motor i fronta pozornosti říkají o stejné dvojici stejnou větu, a ne tři různé formulace.

Lepší testy, lepší konverze

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.