Optimizacion II: metodos no lineales
Muchos problemas reales no son lineales: las funciones objetivo son curvas complejas. El gradiente descendente es el algoritmo mas usado para optimizar funciones no lineales, especialmente en inteligencia artificial✦.
Gradiente descendente
Imagina que estas en una montana con neblina y quieres bajar al valle. El gradiente descendente es como dar pasos en la direccion de maxima pendiente hacia abajo, repitiendo hasta llegar al fondo.
| Metodo | Tipo de problema | Velocidad |
|---|---|---|
| Gradiente descendente | No lineal convexo | Moderado |
| Newton | No lineal suave | Rapido |
| Enjambre de particulas | No lineal global | Lento |
| Adam | Machine learning | Rapido |
Funcion de costo
En machine learning, la funcion de costo mide que tan mal predice el modelo. Minimizar esta funcion significa mejorar las predicciones.Tasa de aprendizaje
Controla que tan grandes son los pasos. Si es muy pequena, tarda mucho; si es muy grande, puede saltarse el minimo.Minimos locales vs globales
El gradiente descendente puede quedar atrapado en minimos locales (valles pequenos) sin encontrar el minimo global (el valle mas profundo).
Paso 1 de 3
El gradiente descendente es el corazon del entrenamiento de redes neuronales. Cada vez que ChatGPT mejora sus respuestas, esta usando una variante de este algoritmo para ajustar millones de parametros.
Piensa y responde
¿Que hace el gradiente descendente?
El gradiente descendente siempre encuentra el minimo global.
La de aprendizaje controla el tamano de los pasos, y la funcion de mide que tan mal predice el modelo.
Relaciona cada concepto con su descripcion:
Clasifica estas funciones segon su convexidad:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Ordena los pasos del gradiente descendente:
Coloca los elementos en orden y pulsa Comprobar.
¿Como crees que el gradiente descendente permite que los coches autonomos aprendan a conducir?
Tu texto se guarda sólo en este dispositivo.
Para dominar este tema
- Comprende el gradiente descendente
- Identifica minimos locales y globales
- Conoce la tasa de aprendizaje
- Aplica estos conceptos en machine learning
Optimizacion no lineal
Aquí se mira lo que ya fuiste acertando. Pulsa «Comprobar» para saber si puedes seguir.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.