Métricas de interés y paradojas
Interesante no es lo mismo que cierto
Un patrón puede ser estadísticamente real y sin embargo inútil por obvio, o sorprendente y falso por artefacto. El interés exige novedad y utilidad a la vez: algo que no sabías y que además importa. Las medidas de interés formalizan esa intuición.
Reglas espurias
Dos cosas correlacionadas sin relación alguna: ventas de helados y ahogamientos, que suben juntas por el calor, no por causalidad. Una tercera variable oculta produce asociaciones que el lift, sin más, no delata. Cuidado con vender humo estadístico.
La paradoja de Simpson
Una tendencia que se invierte al dividir los datos en grupos. Un tratamiento parece mejor en total pero peor en cada subgrupo, porque la mezcla de poblaciones sesga el agregado. Demuestra que mirar solo el global puede conducir a la conclusión contraria a la verdad.
El peligro de agregar
Simpson nace de una variable de confusión ignorada: el peso de cada subgrupo en el total. Agregar promedios sin considerar tamaños es mezclar peras con manzanas. El desglose honesto exige estratificar y comparar dentro de cada capa, no solo sobre el montón.
Sesgo de comparaciones múltiples
Si pruebas mil reglas, por puro azar algunas saldrán «significativas». Este fenómeno multiplica hallazgos falsos. Corregir por comparaciones múltiples, o validar en datos nuevos, es el antídoto contra descubrir lo que no está.
Medidas de interés reales
Más allá de soporte y lift, medidas como la convicción, la lift corregida o el interés nulo evalúan cuánto una regla sorprende respecto a lo esperado bajo independencia. Premian la anomalía informativa y castigan lo trivial.
Dominio y conocimiento previo
El último filtro es humano: una regla que contradice todo lo sabido exige escepticismo y una comprobación extra; una que solo confirma lo obvio carece de interés. El conocimiento previo guía qué merece investigación y qué es ruido.
Errores frecuentes
- Afirmar causalidad a partir de una asociación sin descartar variables de confusión.
- Quedarse con el agregado global y no estratificar, cayendo en Simpson.
- Celebrar un patrón raro sin corregir por las miles de reglas probadas.
Ejemplo resuelto: dos hospitales y una tasa de éxito
Un hospital luce mejor tasa de éxito global que otro, y hay que decidir cuál es mejor. La auditoría:
- Mirar el agregado: el hospital A tiene más supervivientes porcentuales que el B.
- Estratificar por gravedad de los casos, un candidato a confusor.
- Comparar dentro de cada capa: resulta que B gana en casos leves y también en graves.
- Detectar el sesgo de mezcla: A recibía casos más fáciles, inflando su global.
- Concluir con el desglose, no con el total, y reportar la variable que invertía la tendencia.
¿Para qué sirve en la realidad?
En medicina, educación o negocio, agregar sin estratificar lleva a decisiones contrarias a la verdad: elegir el tratamiento peor, cerrar un curso que en realidad funciona. Medir el interés es, ante todo, desconfiar del número global.
¿Qué revela la paradoja de Simpson sobre el análisis agregado?
Corregir por comparaciones múltiples reduce el número de hallazgos falsos al probar muchas reglas.
Cómo ganar confianza
Revalidar en datos recolectados después, estratificar por candidatos a confusores, y someter cada regla a un mecanismo plausible. La minería honesta no presume de encontrar; duda, desglosa y vuelve a comprobar antes de anunciar.
Interés
Toca una tarjeta para ver la respuesta.
Ordena la validación de un patron descubierto:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Une cada trampa estadística con lo que hace.
Válido no significa verdadero
- Interés y paradojas
- Espurias
- tercera causa
- tercera causa
- correlación no causal
- Espurias
- se invierte al agregar
- falsos positivos
- novedad más utilidad
Paradoja de SimpsonDefinición formal y ejemplos clásicos de la inversión de tendencias al agregar.
Un curso parece tener mejor tasa de aprobado que otro en total, pero peor en cada nivel de alumno. ¿Qué paradoja opera y qué conclusiones docentes sacarías?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.