Tres tipos de experimento, un editor visual

Un script en el head es toda la instalación, y es el único cambio en su sitio. A partir de ahí, una variante se construye señalando elementos en sus páginas en producción, así que el primer test lo limita el tiempo que tarden en decidir qué probar y no algo que haya que comprar, construir o planificar. Nada se pone en marcha por accidente mientras aprenden: un test nuevo es un borrador hasta que ustedes lo inician.

Cada sitio web recibe su propio fichero compilado con sus test dentro, así que el runtime ya sabe qué ejecutar cuando se carga y nada espera a una llamada nuestra antes de que la página se dibuje. La página se retiene un instante mientras se aplican los cambios, que es lo que evita que los visitantes vean asomar el original antes del test, y se revela desde cuatro rutas de código independientes, de modo que un fallo muestra la página sin modificar y no una en blanco. La medición se carga la última, después de que la página sea visible, así que nunca retrasa el renderizado.

El texto, los estilos, la disposición y la posición se editan señalando, y los cambios estructurales se cubren con cinco colocaciones de HTML sobre un elemento que usted selecciona. Más allá de eso se detiene con honestidad y no de mala manera: lo que el panel no puede expresar se escribe como CSS o JavaScript propios en la variante, lo que significa que un test nunca se queda bloqueado por la herramienta. El límite de verdad es un cambio que ocurre antes de que exista la página: el orden de un listado, la lógica de precios, un modelo de recomendación. Eso son test en el servidor, y necesitan a sus desarrolladores.

Tantos como ideas tengan, y esta es la respuesta que merece la pena contrastar con lo que usan hoy. Cada test aleatoriza de forma independiente, así que un visitante elegible entra en todos los test para los que califica y cada uno mide contra la audiencia elegible completa. Aquí la concurrencia no divide su muestra, y por eso la plataforma comprueba si dos test interferirían entre sí en lugar de racionar cuántos pueden correr. El ritmo suele ser la diferencia entre un programa que se paga solo y uno que no.

Los ganadores que hayan fijado en el código ya están en su propia base de código y no se ven afectados, que es justo hacia donde empuja la cola de implementación: enumera cada ganador que todavía servimos nosotros y lo sigue señalando hasta que sus desarrolladores tengan hueco. Los ganadores que la plataforma todavía sirve se detienen cuando ella se detiene, igual que se detiene cualquier variante. Los test, las hipótesis y el historial escrito se quedan en la cuenta y no en una herramienta nuestra.