Experimenty

Ochrana proti probliknutí

Nikdo nesleduje, jak se původní stránka mění v test. A žádné selhání nesmí nechat stránku skrytou.

Bez probliknutí origináluČtyři pojistkyChyby se hlásí, ne vyhazují

Když varianta mění něco nad úvodní hranicí obrazovky, návštěvník nesmí nejdřív vidět originál. Runtime skryje stránku, dokud se změny aplikují, a hned potom ji odkryje, takže to první, co se vykreslí, je testovaná verze.

Zajímavé je inženýrství v druhé polovině. Skrýt stránku zákazníka je nejnebezpečnější věc, kterou tenhle software dělá, takže se odkrytí volá ze čtyř nezávislých cest v kódu: po aplikaci změn, z vnitřního error handleru, z vnějšího error handleru a v runtime, který se servíruje webům bez jakéhokoli běžícího experimentu.

Tahle redundance je záměrná a bere se jako invariant, ne jako duplikace, kterou je třeba uklidit na jedno místo. Když jedna cesta selže, jiná pořád funguje. Selhání, proti kterému je to navrženo, je zákaznický web, který zůstane pro jeho vlastní návštěvníky prázdný.

Chyby v kódu experimentu se zachytí a nahlásí až potom, místo aby se vyhodily, ze stejného důvodu: rozbitá varianta vás má stát test, nikdy stránku.

Lepší testy, lepší konverze

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.