MAE0311 - Inferˆencia Estat´ıstica Fernando Henrique Ferraz Pereira da Rosa 24 de setembro de 2003 Lista 31 3.2 Sejam X1 , . . . , Xn uma amostra aleat´ oria de tamanho n da vari´ avel aleat´ oria X com fun¸ca ˜o de densidade de probabilidade dada por: f (x|θ) = θxθ−1 ,
0 < x < 1, θ > 0
(a) Encontre os estimadores de m´ axima verossimilhan¸ca de θ e de g(θ) = θ/(1 + θ). L(θ; x) = θxθ−1 . . . θxθ−1 = θn n 1
n Y
xθ−1 i
i=1
Ent˜ ao: l(θ; x) = log θn + log
n Y
i=1
Assim:
xθ−1 = n log θ + (θ − 1) i
n X
log xi
i=1
n
δl n X −n = + log xi ⇒ θˆ = Pn δθ θ i=1 log xi i=1
Notemos que como:
δ2 l −n = 2 < 0, δθ2 θ
∀θ ∈ Θ
Conclu´ımos que θˆ ´e o estimador de m´ axima verossimilhan¸ca para θ. Pelo princ´ıpio da invariˆ ancia, temos que o estimador de m´ axima verossimilhan¸ca de θ/(1 + θ) ser´ a: ˆ = g(θ) = 1 Powered
1
Pn −n i=1 log xi + Pn −nlog xi i=1
−n log xi − n i=1
Pn
by LATEX 2ε , R 1.7.1 and Gentoo 1.4
1
Pn log xi −n Pn i=1 i=1 log xi i=1 log xi − n
= Pn
(b) Encontre a distribui¸ca ˜o aproximada dos estimadores em (a) quando n ´e grande. Para isso precisamos primeiro encontrar a Informa¸ca ˜o de Fisher de θ: 2 2 δ log f (x|θ) δ (log θ + (θ − 1) log x) IF (θ) = −E = −E δθ2 δθ2 # " δ θ1 + log x −1 1 = −E = −E = 2 δθ θ2 θ Feito isso sabemos que: √ ˆ a n(θ − θ) ∼ N
1 0, IF (θ)
Em particular: a θˆ ∼ N
1 θ, nIF (θ)
a ⇒ θˆ ∼ N
θ2 θ, n
De modo an´ alogo: √
a
ˆ − g(θ)) ∼ N n(g(θ)
0,
(g 0 (θ))2 IF (θ)
Ent˜ ao: a ˆ ∼ g(θ) N
(g 0 (θ))2 g(θ), nIF (θ)
a ˆ ∼ ⇒ g(θ) N
θ2 θ, (1 − θ)4 n
3.6 Encontre o estimador de m´ axima verossimilhan¸ca de θ 2 no Exerc´ıcio 2.9 e compare seu erro quadr´ atico m´edio com o do estimador eficiente γˆ dado no Exerc´ıcio 2.9. 1 −(x−θ)2 f (x|θ) = √ e 2 2π E da´ı: Pn 2 1 −(x1 −θ)2 1 −(xn −θ)2 1 1 2 2 L(θ; x) = √ e ... √ e =p e− 2 i=1 (xi −θ) n 2π 2π (2π)
Dessa forma:
l(θ; x)
= log p 1 = − 2
1
1
(2π)n
n X i=1
x2i
+ log e− 2 2
Pn
+ nθ − 2θ 2
i=1 (xi −θ)
n X i=1
xi
!
2
− n log
√
2π
Ent˜ ao: 0
l (θ; x) = −nθ + Como l00 (θ; x) = −n < 0, −nθˆ
n X i=1
n X
xi
i=1
∀θ ∈ Θ:
n
Xi = 0 ⇒ θˆ =
1X Xi = X n i=1
Utilizando-nos ent˜ ao do princ´ıpio da invariˆ ancia, temos que o estimador de verossimilhan¸ca de g(θ) = θ 2 ser´ a dado por: ˆ = g(X) = X g(θ)
2
Em primeiro lugar o estimador γˆ n˜ ao ´e eficiente. E seu erro quadr´ atico m´edio ´e dado por: 2 EQM (ˆ γ ) = V ar(X ) O estimador de m´ axima verossimilhan¸ca entretanto tem EQM: EQM (ˆ γ)
2
2
= V ar(X ) + B 2 (X ) 2 2 2 = V ar(X ) + E[X ] − µ2 2
= V ar(X ) + (µ2 + 2
= V ar(X ) +
1 − µ 2 )2 n
1 n2
ˆ > EQM (ˆ Logo notamos facilmente que EQM (g(θ)) γ ) sempre, e portanto o estimador γˆ , apesar de n˜ ao eficiente, ´e melhor do que o estimador obtido a partir do m´etodo da m´ axima verossimilhan¸ca. 3.7 Considere uma amostra aleat´ oria de tamanho n da distribui¸ca ˜o da vari´ avel aleat´ oria X onde cada observa¸ca ˜o apresenta um de trˆes resultados poss´ıveis (por exemplo, favor´ avel, contra e indiferente), que denotamos por “0”,“1” e “2”. Suponhamos que a probabilidade de “0” ´e p1 = (1 − θ)/2, a probabilidade da ocorrˆencia do resultado “1” ´e p2 = 1/2 e do resultado “2” ´e p3 = θ/2. Seja n1 : o n´ umero de vezes que “0” ocorre, n2 : o n´ umero de vezes que “1” ocorre e n3 : o n´ umero de vezes que “2” ocorre. (a) Encontre, como fun¸ca ˜o de n1 , n2 , n3 , uma estat´ıstica suficiente para θ. 1 (1 − θ)n1 θn3 = (1 − θ)n1 θn3 L(θ; x) = n {z } 2n 2 |{z} | h(x1 ,...,xn )
gθ (T (x1 ,...,xn ))
Assim pelo crit´erio da fatora¸ca ˜o, uma estat´ıstica suficiente para θ ´e: T (X1 , . . . , Xn ) = (N1 , N3 ) 3
(b) Encontre o estimador de m´ axima verossimilhan¸ca de θ. log (1 − θ)n1 + log θn3 − log 2n n1 log (1 − θ) + n3 log θ − n log 2 n3 n1 ⇒ l0 (θ; x) = − θ 1−θ Verifiquemos agora o sinal de l 00 (θ; x): n3 n3 n1 n1 00 l (θ; x) = − 2 − =− + < 0, ∀θ ∈ Θ θ (1 − θ)2 θ2 (1 − θ)2 l(θ; x)
= =
Assim o estimador de m´ axima verossimilhan¸ca θˆ procurado ser´ a dado por: n1 n1 n3 n3 ˆ = n1 θˆ − = = 0⇒ ⇒ n3 (1 − θ) ˆ ˆ ˆ θ θ 1−θ 1 − θˆ ⇒ n3 − n3 θˆ = n1 θˆ ⇒ n3 = n1 θˆ + n3 θˆ ˆ 1 + n3 ) = θ(n n3 ⇒ θˆ = n1 + n 3 3.8 Sejam X1 , . . . , Xn uma amostra aleat´ oria de tamanho n da vari´ avel aleat´ oria X com fun¸ca ˜o de densidade de probabilidade dada por f (x|θ) = θ(θ + 1)xθ−1 (1 − x),
0 ≤ x ≤ 1, θ > 0
(a) Encontre, usando o m´etodo dos momentos, um estimador para θ. Notemos que X se “parece” com uma Beta, vamos ent˜ ao tentar achar seus parˆ ametros: Y ∼ Beta(a, b) ⇒ f (y|a, b) =
1 xa−1 (1 − x)b−1 I(0,1) (x) B(a, b)
b − 1 = 1 ⇒ b = 2 (θ − 1) = a − 1 ⇒ a = θ
Notando ainda que:
Γ(θ + 2) (θ + 1)! 1 = = = θ(θ + 1) B(θ, 2) Γ(θ)Γ(2) (θ − 1)!
Temos que X ∼ Beta(θ, 2). Dessa forma temos de imediato que: E[X] =
a θ = a+b θ+2
P Notando ainda que m1 = n1 ni=1 Xi = X, pelo m´etodo dos momentos: θˆ ˆ − 1) + 2X = 0 µ1 = m 1 ⇒ = X ⇒ X θˆ + 2X − θˆ = 0 ⇒ θ(X θˆ + 2 ˆ − 1) = −2X ⇒ θˆ = −2X = 2 X ⇒ θ(X X −1 1−X 4
(b) Encontre o estimador de m´ axima verossimilhan¸ca de θ e sua distribui¸ca ˜o aproximada em grandes amostras. L(θ; x) = θ(θ + 1)xθ−1 (1 − x1 ) . . . θ(θ + 1)xθ−1 n (1 − xn ) 1 n n Y Y = (θ(θ + 1))n xθ−1 (1 − xi ) i i=1
l(θ; x)
=
i=1
n log θ(θ + 1) + (θ − 1)
⇒ l0 (θ; x) =
n(2θ + 1) + θ(θ + 1)
n X
log Xi + log
i=1 n X
n Y
i=1
(1 − xi )
log Xi
i=1
Antes de procedermos na procura de nosso estimador, devemos verificar se l00 (θ; x) < 0: l00 (θ; x)
2θ(θ + 1) − (2θ + 1)2 2θ2 + 2θ − 4θ2 − 4θ − 1 = n θ2 (θ + 1)2 θ2 (θ + 1)2 1 2 θ +θ+ 2 −2θ2 − 2θ − 1 = −2n 2 < 0, ∀θ ∈ Θ = n 2 2 θ (θ + 1) θ (θ + 1)2
= n
Onde a desigualdade decorre do fato do denominador ser sempre positivo, do numerador tamb´em ser sempre positivo, e de n ser sempre positivo. Assim θˆ que por ventura encontrarmos zerando l 0 (θ; x) ser´ a um estimador de m´ axima verossimilhan¸ca: Pn − i=1 log Xi 2θˆ + 1 = ˆ θˆ + 1) n θ( Chamando a express˜ ao a ` direita de ξ, e desenvolvendo as express˜ oes, ˆ obtemos a seguinte equa¸ca ˜o do segundo grau em θ: ξ θˆ2 + (ξ + 2)θˆ + 1 = 0 O que resolvendo em θˆ nos d´ a duas poss´ıveis solu¸co ˜es: p p 2 − ξ + 4 + ξ2 2 − ξ − 4 + ξ2 θˆ1 = e θˆ2 = 2ξ 2ξ Notemos agora que ξ > 0 sempre, pois 0 < Xi < 1 e portanto log Xi < 0. Assim θˆ2 pode assumir valores negativos, entretanto isso est´ a fora do espa¸co param´etrico pois θ > 0. Logo θˆ2 sequer ´e um estimador para θ. O estimador de m´ axima verossimilhan¸ca para θ ´e portanto: r Pn 2 P − i=1 log Xi − n p i=1 log Xi + 4 + 2− 2 n n 2−ξ+ 4+ξ P θˆ = = − n i=1 log Xi 2ξ 2 n 5
Esse estimador parece estranho demais para estar certo. Vamos fazer algumas simula¸co ˜es para verificar isso. Com o seguinte c´ odigo em R, definimos os dois estimadores (o de m´ axima verossimilhan¸ca e o de momentos): #esse e ´ o estimador de m.v. >est <- function(amostra) { -sum(log(amostra))/length(amostra) } >est1 <- function(est) { 0.5*(2-est+sqrt(4+est^2))/est } >maxver <- function(x) { est1(est(x)) } #esse e ´ o de momentos >momentos <- function(x) { 2*mean(x)/(1-mean(x)) } A seguir simulamos 1000 amostras de tamanho 1000 de uma vari´ avel aleat´ oria seguindo distribui¸ca ˜o Beta(4, 2) (o 4 ´e arbitr´ ario) e verificamos o comportamento dos dois estimadores: >amostra <- matrix(rbeta(10^6,4,2),1000,1000) >momentos.s <- apply(amostra,2,momentos) >maxver.s <- apply(amostra,2,maxver) > c(mean(momentos.s),var(momentos.s)) [1] 3.99988361 0.01019566 > c(mean(maxver.s),var(maxver.s)) [1] 4.00068103 0.00968428 Donde verificamos que n˜ ao s´ o o estimador de m´ axima verossimilhan¸ca e o de momentos tem esperan¸ca igual a θ como a variˆ ancia do estimador de m´ axima verossimilhan¸ca ´e menor do que a do estimador ´ ele ´e feio mas funciona. obtido pelo m´etodo de momentos. E, Para acharmos a distribui¸ca ˜o assint´ otica do estimador que acabamos de achar, basta, precisamos encontrar IF (θ):
δ 2 log f (x|θ) IF (θ) = −E δθ2
Primeiro notemos que: log f (x|θ) = log θ(θ + 1) + (θ − 1) log x + log (1 − x) 6
Assim:
2θ + 1 δ log f (x|θ = + log x δθ θ(θ + 1)
E portanto, observando que j´ a fizemos essa conta anteriormente para garantir l00 (θ; x) < 0: 2θ2 + 2θ + 1 2θ2 + 2θ + 1 δ 2 log f (x|θ) = − ⇒ I (θ) = F δθ2 θ2 (θ + 1)2 θ2 (θ + 1)2 Assim, como:
√
a n(θˆ − θ) ∼ N
Segue que: a θˆ ∼ N
θ,
1 0, IF (θ)
2θ2 + 2θ + 1 nθ2 (θ + 1)2
E assim θˆ ´e assintoticamente eficiente. 3.10 Sejam X1 , . . . , Xn uma amostra aleat´ oria de tamanho n da vari´ avel aleat´ oria X com fun¸ca ˜o de densidade de probabilidade f (x|θ) =
(x + 1) −x/θ e , θ(θ + 1)
x > 0, θ > 0
(a) Encontre o estimador de m´ axima verossimilhan¸ca para θ e sua distribui¸ca ˜o em grandes amostras. L(θ; x) = l(θ; x) =
n X i=1
Qn
i=1 (xi + 1) − e θn (θ + 1)n
Pn i=1 xi θ
log (xi − 1) − n log θ(θ + 1) −
l0 (θ; x) = −
n(2θ + 1 + θ(θ + 1)
Pn
i=1 θ2
Pn
i=1
xi
θ
xi
Verifiquemos agora l 00 (θ; x): l00 (θ; x)
= =
Pn 2 i=1 xi −2n(θ(θ + 1)) + n(2θ + 1)2 − θ2 (θ + 1)2 θ3 P n −2(θ + 1)(nθ 2 + (θ + 1) i=1 Xi ) + nθ(2θ + 1)2 <0 θ3 (θ + 1)2
7
Assim podemos finalmente obter nosso e.m.v: −n(2θˆ + 1) ˆ θˆ + 1) θ(
=
−
Pn
i=1 θˆ2
Xi
ˆ θˆ + 1) ⇒ (2θˆ + 1)θˆ2 = θ(
ˆ θˆ + 1) = (θˆ + 1) ⇒ nθ(2 ⇒ 2nθˆ2 + nθˆ − θˆ
n X i=1
n X
n X
Xi
i=1
Xi
i=1
Xi −
n X
Xi = 0
i=1
ˆ −X =0 ⇒ 2θˆ2 + θˆ − θX 2 ˆ − X) − X = 0 ⇒ 2θˆ + θ(1
ˆ obtemos: Resolvendo essa equa¸ca ˜o em θ, q q X − 1 + (X − 1)2 + 8X X − 1 − (X − 1)2 + 8X θˆ1 = e θˆ2 = 4 4 Notemos entretanto que θ2 < 0, e portanto n˜ ao pertence ao espa¸co param´etrico, de forma que o estimador de m´ axima verossimilhan¸ca fica dado por: q θˆ =
X −1+
(X − 1)2 + 8X
4 Para calcular sua distribui¸ca ˜o aproximada precisamos primeiro de IF (θ). 2 δ log f (X|θ) IF (θ) = −E δθ2 log f (X|θ) = log X + 1 − log θ(θ + 1) − Ent˜ ao:
X θ
δ log f (X|θ) 2θ + 1 X =− + 2 δθ θ(θ + 1) θ
Assim: δ 2 log f (X|θ) δθ2
X 1 2θ +1 2θ +1 −2 + + θ3 θ (θ + 1) θ2 (θ + 1) θ (θ + 1)2 2 Xθ2 + 4 Xθ + 2 X − 2 θ 3 − 2 θ2 − θ
= −2 = −
θ3 (θ + 1)
2
Aplicando a esperan¸ca e simplificando: 2 δ log f (X|θ) 2 θ2 + 4 θ + 1 −E = 2 δθ2 θ2 (θ + 1) 8
Notando agora que: a θˆ ∼ N
1 θ, nIF (θ)
Temos que: a θˆ ∼ N
2
θ2 (θ + 1) θ, n (2 θ2 + 4 θ + 1)
!
Assim, θˆ ´e assintoticamente eficiente. (b) Obtenha um estimador para θ usando o m´etodo dos momentos. Calculemos em primeiro lugar E[X]: Z ∞ x(x + 1) −x E[X] = e θ dx θ(θ + 1 0 Z ∞ Z ∞ −x −x x x2 θ e dx + e θ dx = θ(θ + 1) θ(θ + 1) 0 0 =
Z ∞ Z ∞ θ 1 −x 1 −x θ θ dx x dx xe xe + θ+1 θ2 θ2 | 0 {z } {z } |0 fX (x),X∼Γ(2, θ1 )
E[X],X∼Γ(2, 1θ )
=
θ θ θ(2θ + 1) 2θ + = θ+1 θ+1 θ+1
Pelo m´etodo dos momentos temos: E[X]
2θˆ2 + θˆ ˆ +X = X ⇒ 2θˆ2 + θˆ = θX θˆ + 1 ˆ − X) − X = 0 ⇒ 2θˆ2 + θ(1 =
X⇒
O que nos leva a mesma equa¸ca ˜o obtida pelo m´etodo de m´ axima verossimilhan¸ca. Dessa maneira, o estimador obtido pelo m´etodo dos momentos ´e igual ao obtido pelo m´etodo de m´ axima verossimilhan¸ca, a dizer: q X − 1 + (X − 1)2 + 8X θˆ = 4 3.13 Sejam X1 , . . . , Xn uma amostra aleat´ oria da vari´ avel aleat´ oria X com distribui¸ca ˜o exponencial com parˆ ametro θ. Encontre o estimador de m´ axima verossimilhan¸ca de g(θ) = P (X > 1) e sua distribui¸ca ˜o aproximada quando n for grande. Comecemos encontrando o e.m.v. para θ: L(θ; x) =
n Y
θe−θxi = θn e−θ
i=1
9
Pn
i=1
xi
Assim: l(θ; x) = n log θ − θ
n X i=1
xi ⇒ l0 (θ; x) =
n X − i = 1 n xi θ
Notemos ainda que: l00 (θ; x) =
−n < 0, θ2
∀θ ∈ Θ
Portanto o estimador que iremos encontrar ser´ a o de m´ axima verossimilhan¸ca: n 1 1 n X Xi ⇒ θˆ = Pn = = ˆ X θ i=1 i=1
Notemos agora que:
g(θ) = P (X > 1) = 1 − P (X ≤ 1) = 1 − F (1) = 1 − (1 − e−θ ) = e−θ Assim pelo princ´ıpio da invariˆ ancia, o estimador de m´ axima verossimilhan¸ca procurado ser´ a: ˆ = e−θˆ = e− X1 g(θ) Para calcular sua distribui¸ca ˜o aproximada precisamos saber IF (θ): " # 2 δ 2 log θ + log e−θx δ log f (x|θ) IF (θ) = −E = −E δθ2 δθ2 # " δ θ1 − x 1 1 = −E − 2 = 2 = −E δθ θ θ Assim, como: √
a ˆ − g(θ)) ∼ n(g(θ) N
(g 0 (θ))2 0, IF (θ)
Segue que: a ˆ ∼ g(θ) N
(g 0 (θ))2 g(θ), nIF (θ)
a ˆ ∼ ⇒ g(θ) N
θ,
e−2θ n θ2
=N
e−2θ θ2 θ, n
ˆ ´e assintoticamente eficiente. E portanto g(θ)
Sobre A vers˜ ao eletrˆ onica desse arquivo pode ser obtida em http://www.feferraz. net
10
Copyright (c) 1999-2005 Fernando Henrique Ferraz Pereira da Rosa. ´ E dada permiss~ ao para copiar, distribuir e/ou modificar este documento sob os termos da Licen¸ ca de Documenta¸ ca ~o Livre GNU (GFDL), vers~ ao 1.2, publicada pela Free Software Foundation; Uma c´ opia da licen¸ ca em est´ a inclusa na se¸ ca ~o intitulada "Sobre / Licen¸ ca de Uso".
11
