Un nuevo modelo puede ser mejor en el conjunto y peor en un segmento, o simplemente más lento. Reemplazar la versión en vivo de golpe es una apuesta. Las estrategias de despliegue permiten cambiar gradualmente, observar y retroceder antes de que un problema se generalice.
Estrategias de despliegue
- Shadow (doble lectura): el nuevo modelo corre en secreto y se compara con el actual, sin afectar al usuario.
- Canary: expone una fracción pequeña del tráfico real a la nueva versión.
- Blue-green: dos entornos completos; se conmuta el tráfico de uno a otro.
- A/B: versiones distintas concurrentes, medidas por una métrica de negocio.
Shadow: probar sin exponer
En modo sombra, la nueva versión responde a las mismas peticiones pero no sirve al usuario: solo se registran sus predicciones para comparar calidad y latencia. Detecta degradaciones sin ningún riesgo visible.
Canary y A/B
El canary expone al 1% o 5% del tráfico y vigila métricas técnicas: si suben los errores o la latencia, se corta. El A/B mide impacto de negocio comparando grupos y decide con evidencia, no con la intuición de que el modelo "debería" ser mejor.
Rollback y feature flags
Toda publicación debe poder deshacerse al instante, idealmente sin redeploy: una feature flag o un conmutador de tráfico que devuelva la versión anterior en segundos. El rollback es parte del diseño, no un parche de emergencia.
| Estrategia | Qué hace | Riesgo que controla |
|---|---|---|
| Shadow | corre en paralelo sin servir | peor calidad sin exposición |
| Canary | fracción del tráfico real | errores o latencia en producción |
| Blue-green | conmuta entorno completo | cambio fallido, revierte rápido |
| A/B | compara por métrica de negocio | mejora técnica que no mejora el negocio |
Errores frecuentes
- Cambiar de golpe el modelo en vivo sin etapa de sombra.
- Vigilar solo la precisión y olvidar latencia y tasa de error.
- No tener un camino de rollback probado antes de publicar.
Ejemplo resuelto: nuevo modelo de scoring
- Desplegar en sombra y comparar predicciones y tiempos con el actual.
- Si la comparación es sana, abrir un canary al 5% con puertas en errores y latencia.
- Subir al 50% y medir una semana.
- Concluir con A/B sobre la métrica de negocio objetivo.
- Mantener el rollback activo durante todo el proceso.
¿Para qué sirve en la realidad?
Publicar modelos es un problema de confianza operativa: poder avanzar en etapas, observar cada señal y revertir convierte una apuesta de todo o nada en un cambio controlado.
¿Qué caracteriza a un despliegue en modo shadow?
Un rollback debería poder ejecutarse al instante, idealmente sin un nuevo despliegue completo.
La estrategia que expone una fracción pequeña del tráfico real a la nueva versión y vigila métricas se llama .
Clasifica cada señal según a qué estrategia de despliegue evalúa primero.
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Une cada término con su idea.
Despliegue de modelos
Toca una tarjeta para ver la respuesta.
Despliegue seguro de modelos
- Publicar modelos
- Estrategias
- shadow doble lectura
- shadow doble lectura
- canary fraccion
- Estrategias
- blue-green
- errores latencia
- rollback
Canarying releases (Google SRE Workbook)Cómo publicar en fracciones y decidir con métricas.
Hidden Technical Debt in Machine Learning SystemsSistema de deuda técnica en ML que el despliegue con versiones y rollback debe contener.
Vas a reemplazar el modelo de riesgo de crédito por uno nuevo más preciso pero 3 veces más lento. ¿Qué secuencia de despliegue usarías y qué señal te haría abortar aunque la precisión fuera mejor?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.