Gradiente e intuición multivariable
Una función de varias variables tiene una pendiente por cada variable. Cada una de esas pendientes es una derivada parcial: se deriva respecto a una variable tratando las demás como constantes.
Derivadas parciales
- Notación: la derivada parcial respecto a cada variable.
- Geométricamente, la inclinación al cortar la superficie por un plano paralelo a un eje.
- Juntas forman el vector gradiente.
El vector gradiente
El gradiente recoge todas las derivadas parciales en un vector. Su dirección apunta al crecimiento local más rápido de la función, y su longitud, a cuán pronunciado es ese crecimiento.
Máximo crecimiento
- Moverse en la dirección del gradiente sube lo más rápido posible.
- Moverse contra él baja lo más rápido: la idea del descenso.
- En direcciones perpendiculares, la subida es menor o nula.
Superficies y curvas de nivel
Una función de dos variables define un paisaje de alturas. Las curvas de nivel unen puntos de igual valor, como un mapa topográfico; el gradiente es perpendicular a la curva de nivel, apuntando ladera arriba.
Puntos críticos multivariable
- Ocurren donde el gradiente se anula por completo: ninguna dirección sube.
- Pueden ser mínimos, máximos o puntos de silla.
- Los puntos de silla son la piedra en el zapato del descenso de gradiente.
Descenso de gradiente
Para minimizar una función, se da un paso en la dirección opuesta al gradiente, con un tamaño controlado por una tasa de aprendizaje. Repetir el paso desciende por la superficie hacia un mínimo.
La tasa de aprendizaje
- Un paso demasiado grande oscila o diverge.
- Un paso demasiado pequeño tarda una eternidad.
- Elegirla bien es un equilibrio entre velocidad y estabilidad.
Gradientes y aprendizaje automático
- La pérdida de un modelo es una función de sus pesos.
- El gradiente de la pérdida marca cómo cambiar cada peso para reducirla.
- La retropropagación calcula esos gradientes con la regla de la cadena.
Interpretación de las parciales
Cada componente del gradiente dice cuánto mejoraría (o empeoraría) el objetivo al mover un poco ese parámetro. Es una tabla de sensibilidades que explica qué palancas importan.
Cuidado con la escala
- Si las variables están en escalas muy distintas, el gradiente se inclina hacia las grandes.
- Normalizar las entradas equilibra los pasos por dirección.
- Es una razón práctica para preprocesar los datos.
Errores frecuentes
- Creer que el gradiente anula todas las direcciones por igual: solo marca la de mayor subida.
- Ignorar la escala de las variables y dejar que una domine el paso del descenso.
- Confundir un punto de silla con un mínimo porque la pendiente local es nula.
Ejemplo resuelto: leer un gradiente
Supón que en un punto el gradiente de una función tiene por componentes dos y menos uno. Interpreta esos valores y deduce hacia dónde moverte para bajar.
- La primera componente vale dos: al aumentar x, la función sube deprisa en esa dirección.
- La segunda vale menos uno: al aumentar y, la función baja.
- El gradiente apunta a la subida más pronunciada, combinando ambas pendientes.
- Para descender hay que moverse en la dirección opuesta al gradiente.
- El tamaño del paso lo fija la tasa de aprendizaje, que no conviene exagerar.
¿Para qué sirve en la realidad?
El gradiente es la brújula del aprendizaje automático: al entrenar un modelo, el gradiente de la pérdida respecto a cada peso indica cómo tocarlo para reducir el error, y repetir esos pequeños pasos es lo que entrena las redes neuronales.
El vector gradiente de una función en un punto apunta en la dirección de:
En un punto donde el gradiente se anula, necesariamente hay un mínimo.
Gradiente
Toca una tarjeta para ver la respuesta.
Empareja cada noción multivariable con su significado.
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Descenso de gradienteOptimización iterativa siguiendo la dirección opuesta al gradiente.
Une cada noción del gradiente con su papel:
Subir y bajar en varias dimensiones
- Gradiente multivariable
- Parciales
- una pendiente por variable
- una pendiente por variable
- las demás se mantienen fijas
- Parciales
- vector de parciales
- paso opuesto al gradiente
GradienteDefinición y propiedades del vector de derivadas parciales.
Explica con la analogía de la niebla en una montaña cómo el descenso de gradiente encuentra un valle tocando solo el suelo bajo tus pies, y por qué podrías quedarte en un punto de silla.
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.