Es una propuesta teórica presentada por Claude E. Shannon y Warren Weaver a finales de la década de los años 1940. Esta teoría está relacionada con las leyes matemáticas que rigen la transmisión y el procesamiento de la información y se ocupa de la medición de la información y de la representación de la misma, así como también de la capacidad de los sistemas de comunicación para transmitir y procesar información. La teoría de la información es una rama de la teoría matemática y de las ciencias de la computación que estudia la información y todo lo relacionado con ella: canales, compresión de datos y criptografia, entre otros.
La teoría de la información nos proporciona una serie de conceptos y formulaciones desde el punto de vista matemático, que permiten en última instancia plantear alternativas para el manejo inteligente del proceso de comunicación.
¿Cuál es el contenido real de información de un mensaje?
¿Cuál es la forma mas óptima cuando se trata de optimizar parámetros como: tiempo invertido para transmitirlo, ancho de banda, cantidad de símbolos o señales para representarlo?
Si los mensajes se codifican para su almacenamiento y transmisión, cómo selecciono o diseño un código óptimo para ello?
¿Cuál es la capacidad máxima, que un medio ó canal específico de comunicación tiene para transmitir información?
¿Cómo acoplo el canal de comunicación con la fuente de información a fin de lograr la máxima transferencia de información por el canal, con mínima probabilidad de pérdida de información?
¿Cómo puede el receptor de la información, procurar que la posibilidad de error sea mínima? Cómo puede darse cuenta de que hay un error y cómo lograr corregirlo?
¿Cómo logro introducir cambios a la estructura de una información para facilitar su inmunidad a perturbaciones naturales o artificiales (ruido)?
El estudio de la teoria de la información debe permitir: conocer las técnicas de cifrado, corrección y detección de errores y procesos de eliminación de redundancia en una información,
Fuentes de Información
Una fuente de información es un objeto, que produce a su salida un evento; dicha salida es seleccionada aleatoria mente de acuerdo a una probabilidad de distribución. En un sistema de comunicación, es un elemento que produce mensajes, y éstos pueden ser análogos o discretos. Una fuente discreta está formada por un conjunto finito de símbolos. Las fuentes de información pueden clasificarse en fuentes con memoria y fuentes sin memoria. Una fuente sin memoria pude especificarse por: la lista de símbolos, la probabilidad de ocurrencia de los símbolos, y la rata de generación de los símbolos de la fuente.
Entropía de una Fuente de Información
Contenido de Información de Fuentes discretas sin memoria.
La cantidad de información de un mensaje, es inversamente proporcional a la probabilidad de ocurrencia.
Si un evento es conocido, la información aportada es cero, de hecho su probabilidad de ocurrencia es uno.
La probabilidad de un mensaje siempre estará en un valor entre cero y uno.
La información contenida en eventos independientes debería sumarse.
Si un evento es conocido, la información aportada es cero, de hecho su probabilidad de ocurrencia es uno.
La probabilidad de un mensaje siempre estará en un valor entre cero y uno.
La información contenida en eventos independientes debería sumarse.
Es un parámetro que nos permite determinar el contenido promedio de información de una fuente o un mensaje en particular. En un proceso de comunicación, transmitimos usualmente secuencias largas de símbolos, y estamos mas interesados en el contenido promedio de información que la fuente produce, que en la información contenida en cada símbolo.
