Compromiso sesgo-varianza
Las tres fuentes del error
- Sesgo: el error que introduce suponer una forma demasiado simple para la realidad.
- Varianza: el error que introduce que el modelo cambie mucho según qué muestra de entrenamiento toque.
- Ruido irreducible: la variabilidad de la propia realidad que ningún modelo puede explicar.
Qué es el sesgo
Un modelo con alto sesgo subajusta: insiste en una estructura que no se corresponde con el mundo, y falla de forma sistemática y predecible. Sus predicciones se desvían siempre en la misma dirección, porque su hipótesis es demasiado rígida.
Qué es la varianza
Un modelo con alta varianza sobreajusta: entrena con muestras distintas y da soluciones muy diferentes, persiguiendo el azar de cada conjunto. Es inestable: acierta en promedio cerca de la verdad pero se dispersa enormemente alrededor de ella.
El intercambio
Hacer el modelo más flexible baja el sesgo pero sube la varianza; hacerlo más rígido baja la varianza pero sube el sesgo. No se pueden minimizar ambas a la vez con una sola palanca: la complejidad es un balance, no un dial hacia la perfección.
El error irreducible
Hay un suelo que ninguna destreza elimina: el ruido genuino de los datos. Mide la varianza de la respuesta dada la misma entrada. Todo modelo, por bueno que sea, tropieza con ese techo; perseguirlo es sobreajustar el azar.
Dónde está el óptimo
El error total es suma de sesgo al cuadrado, varianza y ruido. Su mínimo no está en el modelo más simple ni en el más rico, sino en el punto donde bajar el sesgo empieza a costar más varianza de la que ahorra. Ese equilibrio es el objetivo del diseño.
Más datos bajan varianza
Aumentar el tamaño de la muestra no reduce el sesgo —la forma equivocada sigue equivocada—, pero sí estabiliza al modelo y baja su varianza, porque el ruido medio se cancela. Por eso el dato abundante doma a los modelos flexibles.
Los ensembles como doma
Promediar muchos modelos —bolsas, bosques aleatorios— ataca la varianza: los errores aleatorios individuales se cancelan entre sí y la predicción media se estabiliza. Combinar aprendices endebles flexibles da un conjunto menos variable sin aumentar el sesgo.
Sesgo y varianza en la práctica
Si el error en entrenamiento es alto, luchas contra el sesgo: necesitas un modelo más expresivo o mejores características. Si el hueco entre entrenamiento y validación es grande, luchas contra la varianza: más datos, regularización o ensembles. Cada síntoma apunta a su remedio.
Errores frecuentes
- Creer que un modelo más complejo siempre será mejor por definición.
- Buscar reducir el error por debajo del ruido irreducible, sobreajustando el azar.
Ejemplo resuelto: atacar la varianza con un ensemble
Un modelo muy flexible acierta en promedio pero cambia muchísimo con cada remuestreo. La intervención:
- Diagnosticar: error de entrenamiento bajo y brecha grande con validación apunta a varianza, no a sesgo.
- Elegir palanca: más datos o promediar modelos bajan la varianza; cambiar de familia atacaría el sesgo.
- Construir el ensemble: entrenar decenas de árboles sobre muestras distintas y votar o promediar.
- Medir de nuevo: la varianza debe caer sin que el sesgo suba de forma apreciable.
- Aceptar el suelo: si el error se acerca al ruido irreducible, detenerse; seguir es sobreajustar el azar.
¿Para qué sirve en la realidad?
Las competiciones y proyectos de datos se ganan diagnosticando el componente dominante del error: sabes si invertir en recolectar datos, en simpleza o en ensembles. Sin la descomposición, cada mejora se intenta a ciegas.
Al hacer un modelo más flexible, típicamente:
Añadir datos de entrenamiento reduce principalmente el sesgo del modelo.
La intuición de los dardos
Imagina lanzar dardos a un blanco muchas veces, cambiando de sala. El sesgo es cuán descentrado está tu promedio de tiros; la varianza, cuán dispersos caen. Puedes ser preciso pero inclinado (alta varianza), o centrado en promedio pero muy disperso. El maestro apunta a bajo sesgo y baja varianza a la vez, y eso exige entrenamiento.
Sesgo-varianza
Toca una tarjeta para ver la respuesta.
Ordena la lectura diagnóstica del compromiso:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
ExplainedDescomposiciones visuales del error y del intercambio sesgo-varianza.
Une cada componente del error con su señal o su remedio.
Descomponer el error
- Sesgo y varianza
- Sesgo
- rigidez
- rigidez
- falla en la misma dirección
- Sesgo
- nerviosismo
- irreducible
- más flexibilidad
El compromiso sesgo-varianzaGuía didáctica en español con gráficos del intercambio entre sesgo y varianza.
Tu modelo gana al promediar diez versiones en bolsas. ¿Qué componente del error estás reduciendo, y por qué eso no arregla un modelo estructuralmente equivocado?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.