Teoria de informacion I: entropia y compresion de datos
La teoria de informacion, creada por Claude Shannon en 1948, es la base matematica de las comunicaciones digitales. Establece limites fundamentales sobre cuanta informacion puede transmitirse y comprimirse, revolucionando telecomunicaciones, almacenamiento y computacion.
Entropia de Shannon
La entropia mide la cantidad de informacion o incertidumbre en un mensaje. Un mensaje completamente predecible tiene entropia cero, mientras que un mensaje completamente aleatorio tiene entropia maxima. Shannon demostro que la entropia determina el limite teorico de compresion.
La formula de entropia de Shannon es H igual a menos la suma de p sub i por logaritmo de p sub i, donde p sub i es la probabilidad de cada simbolo. Esta formula cuantifica cuanta informacion contiene en promedio cada simbolo de un mensaje.
- Entropia alta: mensaje impredecible, dificil de comprimir
- Entropia baja: mensaje predecible, facil de comprimir
- Entropia maxima: todos los simbolos igualmente probables
- Entropia cero: un solo simbolo siempre aparece
- Bit como unidad: la entropia se mide en bits por simbolo
| Concepto | Definicion | Ejemplo |
|---|---|---|
| Entropia | Medida de incertidumbre o informacion | Moneda justa: 1 bit de entropia |
| Redundancia | Informacion repetida o predecible | Letra E aparece mucho en espanol |
| Codificacion | Representacion eficiente de informacion | Codigo Morse para letras frecuentes |
| Compresion | Reducir tamano manteniendo informacion | ZIP, MP3, JPEG |
| Canal | Medio por donde se transmite informacion | Fibra optica, WiFi |
Codigos de Huffman y compresion
El codigo de Huffman asigna codigos mas cortos a los simbolos mas frecuentes y codigos mas largos a los menos frecuentes. Es un algoritmo de compresion sin perdida que alcanza el limite teorico de compresion para simbolos independientes.
Paso 1: Contar frecuencias
Analizar el mensaje y contar cuantas veces aparece cada simbolo o caracter.Paso 2: Construir el arbol
Crear un arbol binario combinando los dos simbolos menos frecuentes repetidamente hasta formar un arbol completo.Paso 3: Asignar codigos
Recorrer el arbol: ir a la izquierda agrega 0, ir a la derecha agrega 1. Los simbolos frecuentes quedan cerca de la raiz (codigos cortos).Paso 4: Codificar el mensaje
Reemplazar cada simbolo por su codigo binario. El mensaje resultante es mas corto que el original.
Paso 1 de 4
La compresion de datos esta en todas partes: archivos ZIP, imagenes JPEG, musica MP3, video streaming. Los algoritmos de compresion sin perdida (ZIP, PNG) preservan todos los datos, mientras que los con perdida (JPEG, MP3) descartan informacion menos perceptible.
Piensa y responde
¿Que mide la entropia de Shannon en un mensaje?
Un mensaje con entropia cero no puede comprimirse mas.
El codigo de asigna codigos mas a los simbolos mas frecuentes.
Relaciona cada concepto con su descripcion:
Clasifica estos formatos de archivo:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Ordena los pasos del algoritmo de Huffman:
Coloca los elementos en orden y pulsa Comprobar.
¿Como ha cambiado la compresion de datos nuestra vida diaria? ¿Que seria imposible sin tecnicas como JPEG o MP3?
Tu texto se guarda sólo en este dispositivo.
Para dominar este tema
- Domina el concepto de entropia y su relacion con la compresion
- Comprende el algoritmo de Huffman y como asigna codigos
- Distingue entre compresion con y sin perdida
- Conoce aplicaciones practicas en formatos de archivo
Verificacion de dominio
Aquí se mira lo que ya fuiste acertando. Pulsa «Comprobar» para saber si puedes seguir.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.