Patrones entre tests

Un test es una anécdota. Los patrones muestran lo aprendido en todo un programa de tests. Pertento agrupa las tarjetas de aprendizaje de un sitio de cuatro maneras: por tipo de página y cambio, por el mecanismo de acción esperado, por tema y por el elemento modificado. Cada grupo corresponde a una pregunta que sus tests han respondido, aunque nadie se hubiera propuesto formularla.

Cada grupo recibe una estimación combinada de la mejora, con un intervalo. Los resultados se combinan según la precisión de cada uno, frente a un punto de partida escéptico centrado en cero, de modo que un test con suerte se acerca a la ausencia de efecto en lugar de leerse como una regla. Dos variantes del mismo test comparten un control, así que cuentan como una sola entrada y no como dos.

Solo cuenta el resultado estadístico. Desplegar una variante es una decisión de una persona, y contarlo como una victoria haría que las ideas que gustaron parecieran las ideas que funcionaron. Un test no concluyente también cuenta: mueve el intervalo, que es exactamente lo que debe hacer.

El código vuelve a calcular los patrones desde cero a partir de las tarjetas y las estadísticas. La IA redacta los destacados y ofrece una posible razón, señalada como tal, y cada cifra de esas frases la rellena el código al leer la página. Aprendizajes funciona estrictamente por sitio web: nada se combina entre sitios web ni entre clientes.