Diagonalización y PCA (intuición)

Diagrama de algebra lineal: vectores en 3D, matriz y autovectores. — Algebra lineal: vectores, matrices, sistemas lineales y descomposicion espectral.

Mapa conceptual

Algebra Lineal
- Vectores
  - Operaciones
  - Dependencia
  - Producto punto
- Matrices
  - Multiplicacion
  - Transformaciones
  - Inversa
- Sistemas
  - Gauss
  - Gauss-Jordan
  - Rango
- Espacios
  - Base
  - Dimension
  - Nucleo e Imagen
- Eigen
  - Autovalores
  - Autovectores
  - Diagonalizacion PCA

Matriz diagonal

Una matriz diagonal solo tiene valores en la diagonal principal y ceros fuera. Multiplicar por ella es escalar cada eje de forma independiente: nada se mezcla. Es la forma más simple y más fácil de elevar a potencias o invertir.

Diagonalizar

Diagonalizar una matriz A es escribir A como P por D por P inversa, donde D es diagonal y P guarda en sus columnas los autovectores de A. Los valores de la diagonal de D son los autovalores. En la base de P, la transformación A no es más que escalar ejes.

Cuándo es posible

Una matriz de tamaño n se diagonaliza si tiene n autovectores linealmente independientes. Las matrices simétricas siempre cumplen esto: tienen autovalores reales y autovectores ortogonales. Por eso el mundo de los datos, lleno de matrices simétricas de covarianza, es tan diagonalizable.

Ortonormal y espectral

Para una matriz simétrica, P se puede elegir ortonormal (sus columnas son bases ortonormales), así que P inversa es simplemente P transpuesta. Esta descomposición espectral es numéricamente estable y es la base de PCA y de muchas otras técnicas.

Idea de PCA

Un dataset es una nube de puntos en muchas dimensiones. La mayoría de las veces esa nube se concentra cerca de unas pocas direcciones: ahí hay información. PCA busca esas direcciones de máxima variación para describir los datos con menos números casi sin perder nada.

De la covarianza a los componentes

Centra los datos (quita la media) para trabajar sobre desviaciones.
Calcula la matriz de covarianza, que es simétrica.
Diagonalízala: sus autovectores son las direcciones principales, sus autovalores cuánta varianza capturan.
Ordena por autovalor decreciente y quédate con los primeros componentes.

Interpretación de autovalores

Cada autovalor dice qué fracción de la variabilidad total explica su dirección. El primero suele capturar lo esencial; los últimos, casi ruido. Reducir a los componentes grandes conserva la señal y descarta dimensión superflua: es la compresión inteligente.

Rotar, no deformar

PCA gira los ejes hacia las direcciones de mayor variación y los reordena. Es una rotación a una base mejor, no una pérdida arbitraria de datos. Al quedarte con k componentes, proyectas sobre un subespacio: lo más informativo de k dimensiones.

PCA es una diagonalización de la matriz de covarianza, paso a paso.
Paso de PCA	Qué hace	Qué obtienes
Centrar	quita la media	datos alrededor del origen
Covarianza	mide cómo varían juntos los rasgos	matriz simétrica
Autovectores	direcciones de máxima variación	nuevos ejes (componentes)
Autovalores	variabilidad de cada eje	importancia de cada componente

En PCA, ¿qué representan los autovectores de la matriz de covarianza?

Reducir dimensionalidad

Con cien columnas correlacionadas pero rango efectivo 5, PCA te deja proyectar a cinco dimensiones manteniendo casi toda la varianza. Aligerza el modelo, evita el sobreajuste y hace posible visualizar en 2D o 3D lo que vivía en R a la cien.

Componentes como combinaciones

Cada componente principal es una combinación lineal de las variables originales. Se puede mirar qué pesos lleva para interpretar qué significa esa nueva dirección: una mezcla ponderada de los rasgos de entrada.

Cuidado con escalar

PCA es sensible a la escala: una variable en euros y otra en gramos distorsionan la covarianza. Se normalizan las columnas antes de aplicar PCA (entonces se trabaja sobre la matriz de correlación). Detalle que decide si el resultado tiene sentido.

Cuando el lineal no basta

PCA solo captura estructura lineal. Si la variación sigue una curva (un manifold en «S»), un plano lineal la corta mal. Ahí aparecen variantes no lineales. Pero PCA es el punto de partida y la intuición que esas técnicas extienden.

Errores frecuentes

Aplicar PCA sin centrar (ni normalizar) los datos.
Quedarse con demasiados o muy pocos componentes sin mirar la varianza explicada.
Confundir componente principal con variable original: es una combinación de ellas.

Los autovalores de la matriz de covarianza indican cuánta varianza captura cada componente principal.

PCA como proyección

Visualiza una nube de puntos 3D achatada como un disco: en dos dimensiones se ve casi todo. PCA encuentra ese plano. Bajar a los componentes grandes es mirar los datos desde el ángulo donde más se diferencian.

Ordena los pasos de PCA:

Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.

Video complementario

Recurso audiovisual para reforzar los conceptos.

Tienes datos de tres variables muy correlacionadas. Explica por qué PCA permitirá describirlos bien con uno o dos componentes, y qué te dice el autovalor más grande sobre esa primera dirección.

Tu texto se guarda sólo en este dispositivo.

3Blue1Brown: Linear AlgebraSerie Essence of Linear Algebra con intuicion geometrica.

Diagonalización y PCA (intuición)

Herramientas de la lección

Sobre este contenido

Ir a