Transmisión de Datos Katty Rohoden Jaramillo
23 de septiembre 2013
Contenidos El modelo de comunicaciones digitales Preguntas Antecedentes Teoría de la Información según Shannon Información Fuente de Información Entropía Propiedades de la Entropía Fuente de Información Continua
Contenidos El modelo de comunicaciones digitales Preguntas Antecedentes Teoría de la Información según Shannon Información Fuente de Información Entropía Propiedades de la Entropía Fuente de Información Continua
Teoría de la Información
Figure : Modelo de Comunicaciones Digitales
El modelo de comunicaciones digitales Fuente: fuente de datos (digitales). Codificador de fuente: remueve redundancia de los datos. Esta es la parte de compresión de datos. Codificador de Canal: Introduce redundancia nuevamente a los datos, para detección o corrección de errores. Decodificador de Canal: Ejecuta correción o detección de errores. Decodificador de Fuente: Añade la información que se quitó a los datos en el Codificador de la Fuente.
Teoría de la Información
Preguntas
¿Cómo podemos medir la cantidad de información? ¿Hasta cuánto podemos comprimir? ¿Cómo comprimimos? ¿Cómo evitamos errores que afecten el rendimiento? ¿Qué tan rápido pueden ser enviados los datos por un canal de comunicaciones? ¿Qué pasa si la velocidad de los datos excede la capacidad del canal?
Teoría de la Información
Antecedentes “Orígenes de la teoría de la información datan de la publicación, por Claude E. Shannon, de un artículo en el Bell System Technical Journal en 1948.” Shannon tituló a su artículo: Una teoría matemática de la comunicación. Shannon trata de los símbolos, y no de la información misma. Estudia la comunicación y los medios de comunicación, antes que el producto final de la información (Shannon, 1948). Shannon sugirió algunos límites fundamentales para la representación y transmisión de información.
Teoría de la Información
Teoría de la Información según Shannon
Esta teoría responde a dos peguntas fundamentales: ¿Cuál es el umbral por debajo del cual una señal no puede ser comprimida? ¿Cuál es la tasa de transmisión máxima para una comunicación fiable a lo largo de un canal ruidoso?
Teoremas de Shannon
Teoremas Shannon
Teorema de Codificación de la Fuente (Primer Teorema de Shannon). Teorema de Codificación del Canal (Segundo Teorema de Shannon).
Información Definición Sea
E un suceso que puede presentarse con probabilidad P(E). Cuando E tiene lugar, decimos que hemos recibido: 1 I (E ) = logr P (E ) En donde: I(E) es la cantidad de información. E es el suceso. P(E) es la probabilidad de ocurrencia del suceso. r es la unidad de información.
Unidades de Información
La elección de la base del logaritmo que interviene en la definición equivale a elegir una determinada unidad, ya que, loga (x) =
1 log b (x) logb (a)
Unidad de Información: bit
Si se introduce el logaritmo de base 2, la unidad correspondiente se denomina bit, I (E ) = log2
1 bits P (E )
Unidad de Información: nat
Cuando se emplean logaritmos naturales, la unidad correspondiente se denomina nat , I (E ) = ln
1 nats P (E )
Unidad de Información: hartley
Para los logaritmos de base 10, la unidad de información es el Hartley, 1 I (E ) = log10 Hartleys P (E )
Unidad de Información: Logaritmos de base r
Empleando logaritmos de base r, 1 I (E ) = logr unidades de orden r P (E )
1 Hartley = 3,32 bits 1 nat = 1,44 bits
Teoría de la Información
Fuente de Información
Una fuente de información es un modelo matemático que produce de forma aleatoria una sucesión de símbolos llamados ”salidas“. Los símbolos producidos pueden ser números reales como mediciones de voltaje de un transductor, números binarios, formas de onda continua o discontinua, etc. El espacio que contiene todos los posibles símbolos de salida se conoce como alfabeto de la fuente.
Fuente de Información de Memoria Nula Es una fuente emitiendo una secuencia de símbolos pertenecientes a un alfabeto finito y fjo, S = s1 , s2 ,...,sq
Los símbolos emitidos sucesivamente se eligen de acuerdo con una ley fija de probabilidad. Los símbolos emitidos son estadísticamente independientes. La fuente de memoria nula puede describirse mediante el alfabeto fuente S y las probabilidades con que los símbolos se presentan: P (s1 ), P (s2 ),...,P (sq )
Información media
Información media suministrada por una fuente de información de memoria nula. La presencia de un símbolo S i corresponde a una cantidad de información igual a I (si ) = log P (1s ) bits. i
La probabilidad de que aparezca es precisamente P (si ).
Teoría de la Información
Entropía
Es la cantidad media de información por símbolo de la fuente: 1 H (S ) = P (si )log bits P (si )
S
indica la suma extendida a q símbolos de la fuente S. H (S ) es el valor medio de la incertidumbre de un observador antes de conocer la salida de la fuente. La unidad de medida de la entropía es bits por símbolo. S ,
Entropía: Ejemplo 1
Consideremos la fuente S = (s1 , s2 , s3 ) con P (s1 ) = 1/2 y P (s2 ) = P (s3 ) = 1/4. Entonces: H (S ) = 1/2 log(2)+1/4 log(4)+1/4 log(4) = 3/2 bits/símbolo
Propiedades de la Entropía H (S ) = 0, si y solo si la probabilidad P (si ) = 1 para i = 1, 2,... y las probabilidades restantes en el conjunto son todas cero (ninguna incertidumbre). H (S ) = log(q ), si y solo si P (si ) = 1q para todo q. Todos los símbolos son igualmente probables (incertidumbre máxima).
El valor máximo de la entropía es precisamente log(q ), alcanzándose solamente si todos lo símbolos de la fuente son equiprobables, log(q ) − H (S ) ≥ 0
Velocidad de la Entropía
R = n.H (S ) bits/segundo, en donde: n es la velocidad de la fuente (velocidad del símbolo) (símbolo/segundo).
La unidad de la velocidad de la entropía es bits de información/segundo. R indica el promedio de información entregada por una fuente en un segundo.
Redundancia de la Entropía
=1−
H (S ) H max ,
en donde: H (S ) y H max están expresadas en la misma unidad (con la misma base de algoritmo). Para fuentes sin memoria con valores igualmente probables, R = 0. R
Entropía: Ejemplo 2 Una fuente de 3 símbolos S = (0, 1, 2) cuyas probabilidades son P (0) = 0.3, P (1) = 0.5 y P (2) = 0.2. Genera los símbolos a razón de 3 símbolos/segundo. Calcular: (a) La información que genera el símbolo 1. (b) Si la fuente emite en un segundo la secuencia de símbolos 112, calcular la cantidad de información generada por la fuente en ese segundo. (c) La cantidad de información generada por símbolo en ese segundo. (d) La cantidad de información promedio generada por la fuente. (e) La tasa de información promedio generada por la fuente. (f) La cantidad de información generada en 10 segundos.
Entropía: Respestas ejemplo 2 (a) La información que genera el símbolo 1. 1 I (1) = log = 1 bit de información 0.5 (b) Si la fuente emite en un segundo la secuencia de símbolos 112, calcular la cantidad de información generada por la fuente en ese segundo. 1 1 1 I = log + log + log = 4.32 bits de información 0.5 0.5 0.2 (c) La cantidad de información generada por símbolo en ese segundo. 4.32 I/3 = = 1.44 bits de información/símbolo 3
Entropía: Respestas ejemplo 2 (a) La cantidad de información promedio generada por la fuente. H (S ) = 0.3log
1 1 1 +0.5log +0.2log = 1.48 bits/símbolo 0.3 0.5 0.2
(b) La tasa de información promedio generada por la fuente. R = r.H (S ) = 3(1.48) = 4.45 bits de información/segundo
(c) La cantidad de información generada en 10 segundos. I 10seg
bits de información = 4.45 10segundos = 44.5 bits de inf. segundo
Entropía: H ( p)
La entropía es 0 cuando p = 0 ó p = 1. No existe incertidumbre. La entropía es máxima cuando p = 1/2. Cuando p = 1/2 la incertidumbre es máxima.
Figure : H(p), función entropía
Deber Demostrar que: H (S ) H r (S ) = logr
En el lanzamiento de una moneda, qué pasa con la cantidad de información promedio si: 1
2
¿Ambos lados de la moneda tienen igual probabilidad de ocurrir? ¿Un lado de la moneda tiene el 90% de probabilidad de ocurrir?
Propiedades de la Información.
