Monitoring
Informe del programa
Una mirada atrás al programa de experimentación: con qué frecuencia ganan los test, con qué rapidez se lanzan, si los ganadores se publican y qué ideas suelen funcionar.
El informe del programa es la mitad retrospectiva de la monitorización. El monitor de salud muestra lo que necesita a una persona ahora; este muestra cómo le ha ido al programa. Lee solo los test que han terminado, de modo que las primeras cifras de un test en marcha nunca quedan junto a un resultado final, y abrirlo no cambia nada.
Cada test terminado recibe un único resultado. Ganado significa que al menos una variante superó al control con confianza y ninguna fue claramente peor; perdido es lo contrario; mixto es uno de cada, algo que alguien tiene que revisar; no concluyente no es ninguno de los dos. Los resultados se deciden sobre las conversiones con corrección de Holm-Bonferroni entre variantes, y con confianza significa significativo con todo el intervalo a un lado del cero.
Un test desplegado cuenta como victoria aunque las estadísticas no fueran concluyentes, porque desplegar es una persona decidiendo que ganó. Esa decisión se mantiene fuera de las cifras que podría inflar: los ganadores publicados se cuentan solo sobre ganadores estadísticos, y las tablas por mecanismo esperado y por importancia PXL usan el resultado estadístico, así que las ideas que a la gente le gusta lanzar no salen mejor paradas por ello.
El gráfico de velocidad sitúa los lanzamientos por mes sobre los resultados de lo que concluyó. Si la línea sube mientras la proporción de victorias se mantiene plana, el programa está ejecutando más test sin aprender más de ellos, algo que un recuento de lanzamientos por sí solo no puede mostrar.