Regresión múltiple y multicolinealidad
Mapa conceptual
- Regresion
- Lineal simple
- Beta 0 y 1
- R-cuadrado
- Residuos
- Supuestos
- Normalidad
- Homocedasticidad
- Independencia
- Multiple
- Multicolinealidad
- Ajuste R2
- AIC/BIC
- Logistica
- Odds ratio
- Sigmoide
- Regularizacion
- Lineal simple
De la recta al plano
Con varios predictores, el modelo lineal deja de ser una recta y pasa a un hiperplano: una combinación lineal de todos ellos más un intercepto. Cada coeficiente mide la dirección e intensidad con que ese predictor contribuye a la respuesta.
El coeficiente parcial
El coeficiente de cada predictor es el cambio medio de la respuesta al subirlo una unidad manteniendo constantes los demás. Es un efecto «neto» o «controlado», la forma estadística de aislar la aportación propia de cada variable dentro del conjunto.
Interpretar «ceteris paribus»
Ese «manteniendo los demás fijos» es a la vez la gran virtud y una fuente de malentendidos. Un coeficiente puede cambiar de signo o tamaño al añadir o quitar predictores, porque lo que «controla» depende de con quién se le compare.
R cuadrada ajustada
La R cuadrada siempre sube al añadir predictores, incluso irrelevantes, por puro sobreajuste. La R cuadrada ajustada penaliza el número de variables, premiando solo las que aportan más de lo que cuestan en libertad perdida. Es la métrica honesta para comparar modelos de distinto tamaño.
El problema de la multicolinealidad
Cuando dos o más predictores están muy correlacionados entre sí, el modelo no sabe a cuál atribuir el mérito: la variación compartida podría explicarse por cualquiera. Los coeficientes individuales se vuelven inestables y sus errores estándar se inflan.
Por qué se inflan los errores
Estimar el efecto neto de un predictor exige separarlo de los que le acompañan. Si casi siempre van juntos, hay poca variación «independiente» que observe, y la incertidumbre sobre su papel propio se dispara, aunque la predicción conjunta siga siendo buena.
El factor de inflación de varianza
El VIF de un predictor mide cuánto se infla la varianza de su coeficiente por su correlación con los demás. Valores altos advierten de multicolinealidad. Pero ojo: el VIF señala un problema de interpretación, no necesariamente de predicción.
Colinealidad perfecta
Si un predictor es combinación lineal exacta de otros (una columna duplicada, o variables indicadoras que suman uno junto al intercepto), la matriz no se puede invertir y el modelo se rompe: la solución no es única. Es la forma extrema, y fácil de evitar con un diseño atento.
Consecuencias de la multicolinealidad
- Coeficientes grandes y cambiantes ante pequeñas modificaciones del modelo.
- Errores estándar inflados: variables relevantes salen «no significativas».
- Signos contraintuitivos que invierten la dirección esperada del efecto.
- Inestabilidad que arruina la interpretabilidad, aunque la predicción aguante.
Predecir frente a explicar
La multicolinealidad destruye la inferencia sobre coeficientes individuales, pero apenas daña la predicción: si los predictores viajan juntos también en datos nuevos, el modelo predice bien aunque no sepa atribuir. La pregunta que persigues decide cuánto te importa.
Diagnosticar la colinealidad
- Matriz de correlaciones entre predictores: pares casi perfectos saltan a la vista.
- VIF por variable: valores altos resumen la redundancia global.
- Observar coeficientes inestables o de signo raro al cambiar la especificación.
- Índice de condición: delata combinaciones de varias variables casi dependientes.
Remedios
- Eliminar predictores redundantes cuando uno es claramente superfluo.
- Combinar variables correlacionadas en un índice o mediante componentes principales.
- Regularizar (ridge) para estabilizar coeficientes inflados.
- Recolectar más o mejor variabilidad que desempate los predictores.
El peligro de eliminar por VIF
Borrar todo predictor con VIF alto no siempre es correcto: si las variables miden facetas de un mismo constructo, eliminar una distorsiona. Primero entender la estructura; la estadística señala, el dominio decide.
Variables de confusión controladas
La potencia real de la regresión múltiple en datos observacionales es incluir confusores para «restarlos» del efecto de interés. Pero controlar es delicado: meter una consecuencia de la respuesta en lugar de una causa empeora el cuadro. Elegir a controlar es tan crucial como el modelo.
Términos de interacción
Cuando el efecto de un predictor depende del nivel de otro, se añade un término producto que captura esa interacción. Sin él, el modelo impone que los efectos se suman, una restricción a menudo falsa que enmascara estructuras reales.
Errores frecuentes
- Interpretar coeficientes individuales sin mirar el VIF ni la estabilidad.
- Añadir todos los predictores posibles para maximizar la R cuadrada, sobreajustando.
- Controlar por variables que son consecuencia de la respuesta, no causa.
La multicolinealidad alta entre predictores afecta sobre todo a:
La R cuadrada nunca disminuye al añadir un predictor nuevo al modelo.
Estandarizar para comparar
Para comparar la aportación relativa de predictores en escalas distintas, conviene tipificarlos antes de entrar al modelo: los coeficientes quedan en unidades adimensionales comparables, sin que la escala bruta dicte quién parece más importante.
Menos a veces es más
Un modelo parsimonioso, con pocas variables bien elegidas, suele ser más robusto, interpretable y generalizable que uno atiborrado. La selección de predictores es un acto de criterio que equilibra bondad de ajuste contra complejidad.
Regresión múltiple
Toca una tarjeta para ver la respuesta.
Ordena el abordaje de la multicolinealidad:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Interpretable MLInterpretación de coeficientes y problemas de colinealidad.
Dos predictores muy correlacionados: tu jefe quiere saber «cuál importa más». ¿Qué le explicas sobre la multicolinealidad y qué harías?
Tu texto se guarda sólo en este dispositivo.
NIST: RegressionReferencia completa de metodos de regresion.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.