Codificación de texto y categorías
De categorías a números
Casi todos los algoritmos exigen entradas numéricas, pero una categoría es nominal: no ordenada ni medible. La codificación convierte etiquetas en columnas numéricas que el modelo pueda digerir sin imponer una estructura falsa.
One-hot
La codificación uno activo crea una columna binaria por categoría, sin jerarquías ni distancias inventadas. Perfecta para pocas categorías y modelos lineales, pero revienta la dimensionalidad si hay muchas, y dispersa la información en columnas raras.
El problema de alta cardinalidad
Con miles de ciudades o códigos de producto, uno activo genera miles de columnas casi vacías que desestabilizan el modelo y lo hacen lentísimo. Ahí convienen codificaciones que comprimen: objetivo, de frecuencia, o agrupar las categorías minoritarias.
Codificación objetivo
Sustituye cada categoría por la media del objetivo en esa categoría: «ciudad» pasa a valer su tasa media de impago. Potentísima, pero peligrosísima: si calculas la media con los mismos datos que validas, filtrar la respuesta. Exige suavizado y cálculo fuera del pliegue.
Codificación de frecuencia
Reemplaza la categoría por cuántas veces aparece, comprimiendo cardinalidad e indicando qué tan típica es. No usa el objetivo, así que no filtra, pero puede confundir rareza con irrelevancia y aplasta categorías distintas de igual frecuencia.
Ordinal: cuando sí hay orden
Si las categorías tienen un orden natural —tallas, niveles de satisfacción—, una codización ordinal que preserve ese rango es más informativa que uno activo. Pero reservar el orden para cuando existe de verdad; imponerlo donde no hay es el error clásico.
Hashing
La técnica de dispersion asigna categorías a un número fijo de columnas mediante una función hash, acotando la dimensionalidad y aceptando colisiones. Útil en streaming o vocabularios enormes, donde enumerar todas las categorías es inviable.
Texto: bolsa de palabras
Para texto libre, la bolsa de palabras convierte documentos en vectores de recuento de términos, ignorando el orden. Con tf-idf se pondera la rareza del término. Es la puerta de entrada al procesado del lenguaje, antes de empaquetamientos más ricos.
Errores frecuentes
- Codificar de forma ordinal categorías nominales sin orden real.
- Calcular la codificación objetivo con los mismos datos de validación y filtrar la respuesta.
- Usar uno activo sobre variables de cardinalidad enorme y disparar la dimensionalidad.
Ejemplo resuelto: codificar la ciudad de un cliente
Un modelo de impago recibe una columna «ciudad» con muchos valores y hay que volverla numérica sin mentir. El protocolo:
- Mirar la cardinalidad: si son pocas ciudades, uno activo basta; si son miles, conviene comprimir.
- Descartar un orden numérico falso: las ciudades son nominales, no ordinales.
- Elegir el método: uno activo para pocas, o codificación de frecuencia u objetivo para muchas.
- Si se usa la media del objetivo, calcularla solo con el entrenamiento y suavizar categorías raras.
- Verificar que ninguna categoría de validación desconocida rompe el vector.
¿Para qué sirve en la realidad?
Casi todo conjunto de datos real trae categorías —producto, zona, segmento, dispositivo—: codificarlas bien desbloquea su señal sin engañar al modelo, y elegir según cardinalidad y riesgo de fuga decide buena parte del resultado.
¿Por qué la codificación uno activo puede ser un problema para una categoría de miles de valores?
La codificación ordinal es apropiada para una variable nominal sin orden inherente.
Fuga en la codificación objetivo
El brillo peligroso de la codificación objetivo es que puede leer la respuesta. Se controla calculando cada media solo con el entrenamiento del pliegue y suavizándola hacia el global cuando la categoría tiene pocos casos. Bien hecha gana; mal hecha engaña.
Codificación
Toca una tarjeta para ver la respuesta.
Ordena la decisión para codificar una categoría:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Une cada codificación con cuándo conviene.
Las categorías no saben de números
- Codificación de categorías
- One-hot
- pocas categorías
- pocas categorías
- sin orden falso
- One-hot
- potente
- comprime
- acota dimensiones
Variables categóricas en la prácticaGuía breve sobre uno activo y cómo tratar categorías con el modelo.
Una columna de «identificador de tienda» con tres mil valores mejora tu modelo al codificarla por objetivo, pero desconfías. ¿Qué comprobarías antes de creerlo?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.