Tři typy experimentů, jeden vizuální editor

Jeden skript v head je celá instalace a je to jediná změna na vašem webu. Odtud se varianta staví ukazováním na prvky na vašich živých stránkách, takže první experiment je omezen tím, jak dlouho vám trvá rozhodnout, co testovat, a ne něčím, co je třeba nakoupit, postavit nebo naplánovat. Nic nejde naživo omylem, zatímco se učíte: nový experiment je koncept, dokud jej nespustíte.

Každý web dostane svůj zkompilovaný soubor se svými experimenty zapečenými v něm, takže runtime při načtení už ví, co má spustit, a nic nečeká na volání k nám, než se stránka vykreslí. Stránka je krátce zdržena, dokud se změny použijí, a právě to zabrání tomu, aby návštěvníci viděli původní verzi probliknout do testu, a odkrývá se ze čtyř nezávislých cest v kódu, takže selhání ukáže neupravenou stránku, a ne prázdnou. Měření se načítá naposledy, až je stránka vidět, takže nikdy nezdržuje vykreslení.

Text, styl, rozvržení a pozici upravíte ukazováním a strukturální změny pokrývá pět umístění HTML vůči prvku, který vyberete. Za tím editor končí poctivě, a ne špatně: cokoli, co panel neumí vyjádřit, napíšete na variantu jako vlastní CSS nebo JavaScript, což znamená, že test nikdy neuvízne na nástroji. Skutečná hranice je změna, která se děje ještě před tím, než stránka existuje: řazení, cenová logika, model doporučení. To jsou experimenty na straně serveru a ty potřebují vaše vývojáře.

Kolik máte nápadů, a tohle je odpověď, kterou se vyplatí srovnat s tím, co používáte dnes. Každý experiment randomizuje nezávisle, takže způsobilý návštěvník vstupuje do každého experimentu, na který má nárok, a každý z nich měří proti celému způsobilému publiku. Souběžnost tady váš vzorek nedělí, a proto platforma kontroluje, jestli by si dva testy nepřekážely, místo aby dávkovala, kolik jich smí běžet. Průchodnost je obvykle to, co odlišuje program, který se zaplatí, od toho, který ne.

Vítězové, které jste zapsali natvrdo, jsou už ve vaší vlastní kódové základně a nedotkne se jich nic, a právě k tomu vás implementační fronta tlačí: uvádí každého vítěze, kterého ještě vydáváme my, a označuje jej, dokud na něj vaši vývojáři nebudou mít místo. Vítězové, které ještě vydává platforma, se zastaví, když se zastaví ona, stejně jako se zastaví jakákoli varianta. Experimenty, hypotézy a písemná historie zůstávají na účtu, a ne v našem nástroji.