UNIVERSIDAD NACIONAL DE LOJA ÁREA DE LA ENERGÍA, LAS INDUSTRIAS Y LOS RECURSOS NATURALES NO RENOVABLES CARRERA DE INGENIERÍA EN ELECTRÓNICA Y TELECOMUNICACIONES MATERIA: TEORIA DE LA INFORMACION Y CODIFICACION 6º Módulo EXPOSICION N º 1
ALUMNO Ethetson Pineda (
[email protected])
DOCENTE: Ing. Paulo Samaniego
20 de Octubre del 2015
ENTROPIA CONJUNTA
Hemos definido la entropía de una variable aleatoria X. Se da el caso que a veces, interesa considerar fenómenos en los que aparecen dos variables aleatorias, sea una de ellas la anterior variable aleatoria X; y sea Y otra variable aleatoria de rango discreto y finito
{,,…., } Cuya función de masa de probabilidad es
Consideradas conjuntamente las dos variables aleatorias, X e Y, tenemos una nueva variable aleatoria bidimensional (X, Y), cuyo rango, también discreto y finito será
× { , : ∈ , ∈ } Y cuya función de masa de probabilidad será
, , Como, a la hora de calcular la entropía, lo único relevante son los valores de las probabilidades, pero no los valores que puede tomar la variable aleatoria, entonces no hay ninguna dificultad para extender la definición de entropía a variables aleatorias bidimensionales. Así, la entropía de la variable aleatoria bidimensional (X, Y) vendrá dada por
, ∑∑ , 1 , = =
DEFINICION Se define la entropía conjunta de las variables aleatorias X e Y como la entropía de la variable bidimensional (X, Y)
Relación entre las entropías individuales y la conjunta
Vamos a probar a continuación que la entropía conjunta de dos variables aleatorias no puede superar a la suma de las entropías de dichas variables aleatorias consideradas por separado, Y, más aún, que es condición necesaria y suficiente para que la entropía conjunta alga lo mismo que la suma de las entropías individuales que ambas variables aleatorias sean independientes entre sí. TEOREMA 1 Se verifica en general que
, ≤ + Siendo condición necesaria y suficiente que las variables aleatorias X e Y sean independientes entre sí para que se cumpla que
, + DEMOSTRACION Dado que
∑ ,
∑ ,
Entonces
∑∑ , 1
1 ∑∑ ,
Por tanto
1 + ∑∑ ,
1 ≥ ∑∑ , + Donde la desigualdad se sigue de la desigualdad de Gibbs; por lo que se tiene, además, que se cumplirá la igualdad si y solo si se verifica que
( , ) ( ) ∀( , ) EJEMPLO Sea (X, Y) una variable aleatoria bidimensional con la siguiente distribución conjunta
1 1 8 16 1 1 16 8 p ( x, y ) 1 1 16 16 1 0 4
1 32 1 32 1 16 0
1 32 1
32 1 16 0
Encontrar la entropía conjunta de la distribución conjunta y comprobar el teorema 1
Primero comprobamos que la suma de las probabilidades de la distribución conjunta sea igual a 1
∑∑( , ) 1
∑∑( , ) 2 × 18 + 6 × 161 + 4 × 321 + 14 1
Para encontrar la entropía de H(X) y H(Y) tenemos que encontrar la probabilidad marginal p(x) y p(y)
∑ ,
∑ ,
Para encontrar p(x) sumamos cada columna de la distribución conjunta
1 + 1 + 1 + 1 1 8 16 16 4 2 1 + 1 + 1 + 0 1 16 8 16 4 1 + 1 + 1 + 0 1 32 32 16 8
1 + 1 + 1 + 0 1 32 32 16 8
1 1 1 1 ∑( , ) 2 , 4 , 8 , 8 = Para encontrar p(y) sumamos cada columna de la distribución conjunta
1 + 1 + 1 + 1 1 8 16 32 32 4 1 + 1 + 1 + 1 1 16 8 32 32 4 1 + 1 + 1 + 1 1 16 16 16 16 4 1 + 0 + 0 + 0 1 4 4
( ) ∑( , ) 14 , 14 , 14 , 14
A partir de las probabilidades marginales podemos sacar nuestra entropía H(x) y H(y)
12 , 14 , 18 , 18 − 12 12 − 14 14 − 18 18 − 18 18 74 1.75 1 1 1 1 1 1 4 , 4 , 4 , 4 −4 × 4 4 2 La entropía conjunta podemos calcularla directamente de la matriz
1 1 − 4 , −2 × 18 18 − 14 14 − 6 × 16 16 1 1 27 3,37 × 32 32 8 Por lo tanto se comprueba el teorema 1
, ≤ + 3.37 ≤ 1.75 +2 3.37 ≤ 3.75
REFERECIAS BIBLIOGRAFICAS
[1] Cándido López García, Manuel Fernández Veiga << Teoría de la información y codificación>>: TORCULO Artes Gráficas S.A:2002 [2]
Thomas M. COVER, Joy A. THOMAS <
>,New Jersey: JOHN WILEY & SONS, INC: 2006