Estadísticas de experimentos que puede defender

Para eso está la segunda mitad de esta página. Un resultado llega con el tamaño de la diferencia, el intervalo que la rodea y la probabilidad de que sea azar, calculado de dos maneras independientes y mostrado en paralelo. Los ingresos se miden por variante en lugar de deducirse de la tasa de conversión, así que una variante que convierte más a menudo y vende más barato no se lee como una victoria. Y la plataforma declara su propia incertidumbre en vez de esconderla, que es la parte que aguanta el escrutinio: un resultado que todavía no es concluyente lo dice, con palabras, en lugar de presentarse como si lo fuera.

No, y el diseño da por supuesto que no lo tienen. Cada cifra lleva su explicación al lado, escrita para decir qué le está contando ese número y no para definir el término, y varias existen justamente para evitar una mala lectura: la columna de la diferencia afirma sin rodeos que por sí sola no dice nada sobre si la distancia es real. Junto a las cifras hay una recomendación en palabras llanas. Lo que no hará es simplificar escondiendo, así que quien sí quiera el valor p y el intervalo encontrará los dos.

Tres defensas, y merece la pena compararlas con lo que usen ahora. Probar varias variantes a la vez aumenta la probabilidad de que una parezca ganadora por suerte, así que el listón se ajusta para compensarlo, y la consola indica el umbral que está aplicando en lugar de dejar que usted lo deduzca. Mirar un resultado cada día infla la tasa de falsos positivos, así que la prueba estadística que es válido leer de forma continua está separada de la que no lo es, y la plataforma no detendrá un test antes de tiempo salvo que ambas coincidan. Y antes que nada, comprueba que el tráfico se repartió como usted lo configuró, porque si no fue así nada de lo calculado a partir de ahí se sostiene.

A veces sí y a veces sinceramente no, y aquí es donde la plataforma resulta más útil antes de que hayan gastado tres meses en averiguarlo. Cada test informa de la diferencia más pequeña que el tráfico que tienen puede detectar de forma fiable. Si el efecto que persiguen queda por debajo de ese umbral, ninguna dosis de paciencia lo resolverá, y la consola lo dice en lugar de dejar un test en «no significativo» indefinidamente. Saber qué páginas suyas pueden responder a una pregunta y cuáles no vale más en un sitio modesto que en uno grande.

No. Se calculan los dos para cada test y se muestran juntos, así que esto es una preferencia de lectura y no una decisión de configuración que se pueda equivocar. La mitad frecuentista informa de lo improbable que sería el resultado si el cambio no hiciera nada. La mitad bayesiana informa de la probabilidad de que cada variante sea la mejor, y de lo que costaría elegir mal. Los equipos suelen encontrar la segunda más fácil de aplicar y la primera más fácil de defender, que es exactamente por lo que no se descartó ninguna.