View
15
Download
0
Category
Preview:
Citation preview
IntroducaoPrincıpios da IB
Inferencia Bayesiana - Aula 1 -
Marcia D’Elia Branco
Universidade de Sao PauloInstituto de Matematica e Estatıstica
www.ime.usp.br/ mbranco - sala 295-A -
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Paradigmas Bayesiano
Fazer inferencia e usar a informacao para reduzir a incertezasobre um objeto em estudo.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Paradigmas Bayesiano
Fazer inferencia e usar a informacao para reduzir a incertezasobre um objeto em estudo.
Existe duas fontes de informacao: amostral (associado aoexperimento) e conhecimentos previos (sua experiencia devida)
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Paradigmas Bayesiano
Fazer inferencia e usar a informacao para reduzir a incertezasobre um objeto em estudo.
Existe duas fontes de informacao: amostral (associado aoexperimento) e conhecimentos previos (sua experiencia devida)
A incerteza a respeito de tudo o que e desconhecido deve sertraduzida por uma medida de probabilidade.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Paradigmas Bayesiano
Fazer inferencia e usar a informacao para reduzir a incertezasobre um objeto em estudo.
Existe duas fontes de informacao: amostral (associado aoexperimento) e conhecimentos previos (sua experiencia devida)
A incerteza a respeito de tudo o que e desconhecido deve sertraduzida por uma medida de probabilidade.
Interpretacoes subjetiva ou logica de probabilidade.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Paradigmas Bayesiano
Fazer inferencia e usar a informacao para reduzir a incertezasobre um objeto em estudo.
Existe duas fontes de informacao: amostral (associado aoexperimento) e conhecimentos previos (sua experiencia devida)
A incerteza a respeito de tudo o que e desconhecido deve sertraduzida por uma medida de probabilidade.
Interpretacoes subjetiva ou logica de probabilidade.
Probabilidade como uma medida pessoal de incerteza, naocomo o limite da frequencia relativa (postura classica).
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Comparacao com a inferencia classica
Na escola Bayesiana cada observacao e unica.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Comparacao com a inferencia classica
Na escola Bayesiana cada observacao e unica.
A escola Classica e baseada na possibilidade de repetir
experimentos sob as mesmas condicoes.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Comparacao com a inferencia classica
Na escola Bayesiana cada observacao e unica.
A escola Classica e baseada na possibilidade de repetir
experimentos sob as mesmas condicoes.
Exemplo 1: Interpretacao da medida de probabilidade.EC: Se lancamos n vezes a mesma moeda sob as mesmascondicoes e calculamos a frequencia relativa do numero de caras,este valor se estabilizara em 1/2 (limite da frequencia relativa).
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Comparacao com a inferencia classica
Na escola Bayesiana cada observacao e unica.
A escola Classica e baseada na possibilidade de repetir
experimentos sob as mesmas condicoes.
Exemplo 1: Interpretacao da medida de probabilidade.EC: Se lancamos n vezes a mesma moeda sob as mesmascondicoes e calculamos a frequencia relativa do numero de caras,este valor se estabilizara em 1/2 (limite da frequencia relativa).EB: Para voce a credibilidade na ocorrencia de cara e a mesmaque na nao ocorrencia. Se voce tiver que apostar contra umoponente no resultado da moeda (cara) devera apostar 1 contra 1.Entao Prob(cara) = 1/2.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Comparacao com a inferencia classica
Exemplo 2: Faz sentido utilizar toda a informacao disponıvel ousomente a amostral e relevante?
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Comparacao com a inferencia classica
Exemplo 2: Faz sentido utilizar toda a informacao disponıvel ousomente a amostral e relevante?
Voce deseja inferir sobre a capacidade de uma pessoa acertarresultados. Apresentam-se para o teste
∗ um especialista em musica que diz ser capaz de diferir asmusicas de Haydn e Mozart.
∗ um bebado que diz ser capaz de acertar os resultados nolancamento de uma moeda.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Comparacao com a inferencia classica
Exemplo 2: Faz sentido utilizar toda a informacao disponıvel ousomente a amostral e relevante?
Voce deseja inferir sobre a capacidade de uma pessoa acertarresultados. Apresentam-se para o teste
∗ um especialista em musica que diz ser capaz de diferir asmusicas de Haydn e Mozart.
∗ um bebado que diz ser capaz de acertar os resultados nolancamento de uma moeda.
Se ambos sao submetidos a dez provas e acertam todas elas, entao
sua inferencia baseada nos dados e a mesma. Sera razoavel?
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
Em estudos de populacao de peixes os cientistas estaointeressados na relacao entre o tamanho e a maturidadesexual da femea de uma determinada especie de peixe. Ointeresse e determinar o tamanho em que cerca de 50 % dasfemeas alcancam a maturidade sexual, denominado tamanho
de maturacao.
Os dados na Tabela 1 representam o tamanho e a maturidadesexual de 17 femeas capturadas na costa sul do Brasil.
Considere yi o numero de femeas maduras e ni o numerototal de femeas. pi e a probabilidade de que uma femea naclasse i esteja madura.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
Tabela 1: Numero de femeas maduras por tamanho.Comprimento (cm) Total Maduras
10 - 20 3 020 - 30 5 130 - 40 4 340 - 70 5 5
Suponha yi uma Binomial(ni, pi) com pi a probabilidade de queuma femea na classe i esteja madura. xi e o ponto medio daclasse i. O modelo logıstico e dado por
log
(
pi
1 − pi
)
= β0 + β1(xi − x)
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
A quantidade principal de interesse e
LT50 = −β0
β1+ x,
obtida quando substitui-se pi por 0.5.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
A quantidade principal de interesse e
LT50 = −β0
β1+ x,
obtida quando substitui-se pi por 0.5.
A analise Bayesiana resulta na obtencao da distribuicao deprobabilidade associada a LT50.
Esta distribuicao de probabilidade representa a incerteza aposterior sobre a quantidade de interesse.
A partir da distribuicao a posterior, pode-se obter umaestimacao pontual igual a 28 cm e um intervalo, deprobabilidade 0.95, igual a (22.65 ; 35.25).
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
LT50 depende de dois parametros desconhecidos β0 e β1, osquais tambem possuem uma distribuicao de probabilidade aposterior.
Iniciamos com uma medida de probabilidade a priori
f(β0, β1), por exemplo, normal bivariada.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
LT50 depende de dois parametros desconhecidos β0 e β1, osquais tambem possuem uma distribuicao de probabilidade aposterior.
Iniciamos com uma medida de probabilidade a priori
f(β0, β1), por exemplo, normal bivariada.
Para obter a medida a posterior utilizamos a formula de Bayes
f(β0, β1 | y) =f(y | β0, β1)f(β0, β1)
f(y),
onde f(y | β0, β1) e a probabilidade conjunta de y1, y2, . . . , yk
supondo os parametros conhecidos. No nosso caso, estaprobabilidade e o produto de binomias.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
LT50 depende de dois parametros desconhecidos β0 e β1, osquais tambem possuem uma distribuicao de probabilidade aposterior.
Iniciamos com uma medida de probabilidade a priori
f(β0, β1), por exemplo, normal bivariada.
Para obter a medida a posterior utilizamos a formula de Bayes
f(β0, β1 | y) =f(y | β0, β1)f(β0, β1)
f(y),
onde f(y | β0, β1) e a probabilidade conjunta de y1, y2, . . . , yk
supondo os parametros conhecidos. No nosso caso, estaprobabilidade e o produto de binomias.
A quantidade f(y) e a distribuicao marginal e e obtida pelaintegracao do numerador. Nao existe solucao analıtica ealgoritmos numericos sao necessarios.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
Sob a abordagem classica os parametros podem ser estimadosutilizando-se os estimadores de maxima verossimilhanca e ateoria assintotica normal.
As estimativas pontuais, e por intervalo, de maximaverossimilhanca de β1 sao 0.266 e (-00188 ; 0.5526), comconfianca de 95 % .
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
Sob a abordagem classica os parametros podem ser estimadosutilizando-se os estimadores de maxima verossimilhanca e ateoria assintotica normal.
As estimativas pontuais, e por intervalo, de maximaverossimilhanca de β1 sao 0.266 e (-00188 ; 0.5526), comconfianca de 95 % .
Sob a abordagem Bayesiana, o intervalo de credibilidade e(0.112 ; 0.795), com probabilidade 95 %.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
Sob a abordagem classica os parametros podem ser estimadosutilizando-se os estimadores de maxima verossimilhanca e ateoria assintotica normal.
As estimativas pontuais, e por intervalo, de maximaverossimilhanca de β1 sao 0.266 e (-00188 ; 0.5526), comconfianca de 95 % .
Sob a abordagem Bayesiana, o intervalo de credibilidade e(0.112 ; 0.795), com probabilidade 95 %.
Esta diferenca justifica-se pela assimetria observada nadistribuicao a posteriori.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Motivacao: Estudo da maturidade sexual do peixe-galo.
Sob a abordagem classica os parametros podem ser estimadosutilizando-se os estimadores de maxima verossimilhanca e ateoria assintotica normal.
As estimativas pontuais, e por intervalo, de maximaverossimilhanca de β1 sao 0.266 e (-00188 ; 0.5526), comconfianca de 95 % .
Sob a abordagem Bayesiana, o intervalo de credibilidade e(0.112 ; 0.795), com probabilidade 95 %.
Esta diferenca justifica-se pela assimetria observada nadistribuicao a posteriori.
Enquanto que o intervalo classico indica que β1 pode ser zero,a distribuicao a posteriori indica claramente um valor positivo.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico probabilıstico.
Uma medida de probabilidade P e definida em um espaco(X ,A), onde A e uma sigma algebra de elementosmensuraveis.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico probabilıstico.
Uma medida de probabilidade P e definida em um espaco(X ,A), onde A e uma sigma algebra de elementosmensuraveis.
Um espaco parametrico estatıstico e um conjunto (famılia) demedidas de probabilidade, associadas a um vetor aleatorio X,indexadas por um parametro θ,
(X ,A, Pθ), ∀θ
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico probabilıstico.
Uma medida de probabilidade P e definida em um espaco(X ,A), onde A e uma sigma algebra de elementosmensuraveis.
Um espaco parametrico estatıstico e um conjunto (famılia) demedidas de probabilidade, associadas a um vetor aleatorio X,indexadas por um parametro θ,
(X ,A, Pθ), ∀θ
Sob o ponto de vista Bayesiano e preciso definir uma medidade probabilidade a prior para θ,
(Θ,B, π)
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
Sob certas suposicoes, e possıvel definir uma medida deprobabilidade conjunta para X e θ .
Usa-se a formula de Bayes para obter a medida deprobabilidade condicional de θ dado o resultado da amostraX = x
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
Sob certas suposicoes, e possıvel definir uma medida deprobabilidade conjunta para X e θ .
Usa-se a formula de Bayes para obter a medida deprobabilidade condicional de θ dado o resultado da amostraX = x
Exemplo 1: O modelo binomial.X | θ, n ∼ Bin(n, θ) , 0 < θ < 1 e n inteiro.Suponha n conhecido, e preciso definir uma medida deprobabilidade para θ.Prior 1:
θ 0.25 0.50 0.75
f(θ) 0.25 0.50 0.25
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial
A medida de probabilidade a posterior e
f(θ | x) =f(θ)Cn,x(θ)x(1−θ)n−x
f(x) ,
com f(x) =∑
θ
f(θ)Cn,x(θ)x(1 − θ)n−x.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial
A medida de probabilidade a posterior e
f(θ | x) =f(θ)Cn,x(θ)x(1−θ)n−x
f(x) ,
com f(x) =∑
θ
f(θ)Cn,x(θ)x(1 − θ)n−x.
Para n = 2 a posterior e
θ 0.25 0.50 0.75
f(θ | x = 0) 0.500 0.440 0.060
f(θ | x = 1) 0.214 0.572 0.214
f(θ | x = 2) 0.060 0.440 0.500
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
Prior 2: θ ∼ Beta(a, b). Entao sua funcao de densidade e
f(θ) =Γ(a + b)
Γ(a)Γ(b)θa−1(1 − θ)b−1 , a > 0 b > 0.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
Prior 2: θ ∼ Beta(a, b). Entao sua funcao de densidade e
f(θ) =Γ(a + b)
Γ(a)Γ(b)θa−1(1 − θ)b−1 , a > 0 b > 0.
Para obter a marginal f(x) integra-se em θ
f(x) =
1∫
0
f(θ)Cn,x(θ)x(1 − θ)n−x.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
Prior 2: θ ∼ Beta(a, b). Entao sua funcao de densidade e
f(θ) =Γ(a + b)
Γ(a)Γ(b)θa−1(1 − θ)b−1 , a > 0 b > 0.
Para obter a marginal f(x) integra-se em θ
f(x) =
1∫
0
f(θ)Cn,x(θ)x(1 − θ)n−x.
Observe que nao ha necessidade de preocupar-se com a constantepois
f(θ | x) =θa+x−1(1 − θ)b+n−x−1
1∫
0
(θ)a+x(1 − θ)b+n−x−1
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
E facil obter a distribuicao a posteriori
θ | x ∼ Beta(a + x, b + n − x).
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
E facil obter a distribuicao a posteriori
θ | x ∼ Beta(a + x, b + n − x).Se as distribuicoes a priori e a posteriori estao na mesma classe dedistribuicoes, falamos de conjugacao.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
E facil obter a distribuicao a posteriori
θ | x ∼ Beta(a + x, b + n − x).Se as distribuicoes a priori e a posteriori estao na mesma classe dedistribuicoes, falamos de conjugacao.
Como escolher a e b ?
Se a = b temos uma distribuicao simetrica.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
E facil obter a distribuicao a posteriori
θ | x ∼ Beta(a + x, b + n − x).Se as distribuicoes a priori e a posteriori estao na mesma classe dedistribuicoes, falamos de conjugacao.
Como escolher a e b ?
Se a = b temos uma distribuicao simetrica.
Se a = b = 1 temos uma uniforme.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O modelo parametrico binomial.
E facil obter a distribuicao a posteriori
θ | x ∼ Beta(a + x, b + n − x).Se as distribuicoes a priori e a posteriori estao na mesma classe dedistribuicoes, falamos de conjugacao.
Como escolher a e b ?
Se a = b temos uma distribuicao simetrica.
Se a = b = 1 temos uma uniforme.
A media e a variancia a priori saoE[θ] = a
a+b
V ar[θ] = ab(a+b)2(a+b+1)
.
A media a posteriori eE[θ | x] = a+x
a+b+n= ω x
n+ (1 − ω)E[θ] com w = n
a+b+n.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Exemplo simulado: Efeito do tamanho amostral.
Suponha que o verdadeiro valor de θ = 0.6 e que escolhemos a
priori θ ∼ Beta(5, 45). Note que nossa inferencia a priori estamuito longe do verdadeiro θ pois E(θ) = 0.1. Suponha tambemque simulamos amostras de diferentes tamahnos(n = 5, 100, 1000, 10000) de uma Bernoulli(0.6) e que observamos60% de sucessos em todas as amostras.
Tabela: Medias a posteriori
n Distr. Post. E(θ) EMV ω E(θ | x)5 Beta(8, 47) 0.1 0.6 0.0909 0.1454
100 Beta(65, 85) 0.6667 0.43341000 Beta(605, 445) 0.9524 0.576210000 Beta(6005, 4045) 0.9950 0.5975
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Exemplo simulado: Efeito do tamanho amostral.
Figura: Distribuicoes a posteriori
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
020
4060
80
θ
Den
sity
Priorin=5n=100n=1000n=10000
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Exemplo simulado: Efeito da distribuicao a priori 1
Suponha que o verdadeiro valor de θ = 0.6 e que escolhemosdistintas distribuicoes a priori para θ. Suponha tambem quesimulamos uma amostra de tamanho n = 5 de uma Bernoulli(0.6)e observamos 60% de sucessos na amostra gerada.
Tabela: Medias a posteriori
Distr. Priori Distr. Post. E(θ) EMV 1 − ω E(θ | x)Beta(1, 1) Beta(4, 3) 0.5 0.6 0.2857 0.5714Beta(5, 5) Beta(8, 7) 0.6667 0.5333Beta(5, 45) Beta(8, 47) 0.1 0.9091 0.1454Beta(1, 9) Beta(4, 11) 0.6667 0.2666
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Exemplo simulado: Efeito da distribuicao a prior 2
Suponha que o verdadeiro valor de θ = 0.5 e que escolhemosdistintas distribuicoes a priori para θ. Suponha tambem quesimulamos uma amostra de tamanho n = 10 de uma Bernoulli(0.5)e que observamos 6 sucessos na amostra gerada.
Tabela: Medias a posteriori
Distr. Priori Distr. Post. E(θ) EMV 1 − ω E(θ | x)Beta(1, 1) Beta(7, 5) 0.5 0.6 0.1667 0.5833
Beta(50, 50) Beta(56, 54) 0.9091 0.5090Beta(1, 9) Beta(6.1, 6.4) 0.1 0.0909 0.5545Beta(5, 45) Beta(11, 49) 0.8334 0.1833
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Exemplo simulado: comentarios
∗ A distribuicao a priori influencia a inferencia a posteriori.Portanto, ela deve traduzir adequadamente o conhecimentoprevio sobre θ (pre-amostral).
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Exemplo simulado: comentarios
∗ A distribuicao a priori influencia a inferencia a posteriori.Portanto, ela deve traduzir adequadamente o conhecimentoprevio sobre θ (pre-amostral).
∗ As distribuicoes a priori pouco informativas nem sempreconduzem a inferencias melhores.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Exemplo simulado: comentarios
∗ A distribuicao a priori influencia a inferencia a posteriori.Portanto, ela deve traduzir adequadamente o conhecimentoprevio sobre θ (pre-amostral).
∗ As distribuicoes a priori pouco informativas nem sempreconduzem a inferencias melhores.
∗ A distribuicao a priori e dominada pelos dados se
+ a amostra e grande,+ a distribuicao a priori e pouco informativa.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Princıpios da IB
⋆ O Princıpio da Verosimilhanca(PV)
Toda a informacao a respeito do parametro de interesse θproporcionada pela amostra x esta contida na funcao de
verosimilhanca.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Princıpios da IB
⋆ O Princıpio da Verosimilhanca(PV)
Toda a informacao a respeito do parametro de interesse θproporcionada pela amostra x esta contida na funcao de
verosimilhanca.
Princıpio Fraco: considere x , x∗ ∈ X ef(x | θ) = K(x, x∗)f(x∗ | θ), ∀θ ∈ Θ, onde K(x, x∗) naoenvolve θ. Entao, inferencias para θ obtidas via x ou x∗
devem ser identicas.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Princıpios da IB
⋆ O Princıpio da Verosimilhanca(PV)
Toda a informacao a respeito do parametro de interesse θproporcionada pela amostra x esta contida na funcao de
verosimilhanca.
Princıpio Fraco: considere x , x∗ ∈ X ef(x | θ) = K(x, x∗)f(x∗ | θ), ∀θ ∈ Θ, onde K(x, x∗) naoenvolve θ. Entao, inferencias para θ obtidas via x ou x∗
devem ser identicas.
Princıpio Forte: considere x ∈ X com f.d.p. fX(x | θ) ey ∈ Y com f.d.p. fY (y | θ), com um espaco de parametros Θem comum. Se f(x | θ) = K(x, y)f(y | θ), ∀θ ∈ Θ, entaosao identicas as inferencias para θ obtidas via x ou y.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O Princıpio da Verosimilhanca(PV)
Exemplo 1: Lancamento de uma moeda, onde θ e a probabilidadede corona. Resultado experimental:
{C, C, C, C, C, C, C, C, C, C, C, C}
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O Princıpio da Verosimilhanca(PV)
Exemplo 1: Lancamento de uma moeda, onde θ e a probabilidadede corona. Resultado experimental:
{C, C, C, C, C, C, C, C, C, C, C, C}
Regras de Paradas:
(i) Lancar a moeda 12 vezes.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O Princıpio da Verosimilhanca(PV)
Exemplo 1: Lancamento de uma moeda, onde θ e a probabilidadede corona. Resultado experimental:
{C, C, C, C, C, C, C, C, C, C, C, C}
Regras de Paradas:
(i) Lancar a moeda 12 vezes.
(ii) Lancar a moeda ate obter 3 caras.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O Princıpio da Verosimilhanca(PV)
Exemplo 1: Lancamento de uma moeda, onde θ e a probabilidadede corona. Resultado experimental:
{C, C, C, C, C, C, C, C, C, C, C, C}
Regras de Paradas:
(i) Lancar a moeda 12 vezes.
(ii) Lancar a moeda ate obter 3 caras.
(iii) Lancar a moeda ate que o lancador esteja saturado.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O Princıpio da Verosimilhanca(PV)
Exemplo 1: Lancamento de uma moeda, onde θ e a probabilidadede corona. Resultado experimental:
{C, C, C, C, C, C, C, C, C, C, C, C}
Regras de Paradas:
(i) Lancar a moeda 12 vezes.
(ii) Lancar a moeda ate obter 3 caras.
(iii) Lancar a moeda ate que o lancador esteja saturado.
Em qualquer das situacoes a verosimilhanca e proporcional a
θ9(1 − θ)3
Se X e o numero de coroas, entao x = 9.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O Princıpio da Verosimilhanca(PV)
Se queremos testar
H0 : θ = 1/2 versus H1 : θ > 1/2.
Vamos calcular o P-valor
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O Princıpio da Verosimilhanca(PV)
Se queremos testar
H0 : θ = 1/2 versus H1 : θ > 1/2.
Vamos calcular o P-valor
(i) X | θ ∼ B(12, θ).P1 = P (X ≥ 9 | θ = 1/2) = C12,9(1/2)12 + C12,10(1/2)12 +C12,11(1/2)12 + C12,12(1/2)12 = 0, 075.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O Princıpio da Verosimilhanca(PV)
Se queremos testar
H0 : θ = 1/2 versus H1 : θ > 1/2.
Vamos calcular o P-valor
(i) X | θ ∼ B(12, θ).P1 = P (X ≥ 9 | θ = 1/2) = C12,9(1/2)12 + C12,10(1/2)12 +C12,11(1/2)12 + C12,12(1/2)12 = 0, 075.
(ii) X | θ ∼ BN(3, 1 − θ).P2 = P (X ≥ 9 | θ = 1/2) =C11,9(1/2)12 + C12,10(1/2)13 + C13,11(1/2)14 + · · · = 0, 0325.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
O Princıpio da Verosimilhanca(PV)
Se queremos testar
H0 : θ = 1/2 versus H1 : θ > 1/2.
Vamos calcular o P-valor
(i) X | θ ∼ B(12, θ).P1 = P (X ≥ 9 | θ = 1/2) = C12,9(1/2)12 + C12,10(1/2)12 +C12,11(1/2)12 + C12,12(1/2)12 = 0, 075.
(ii) X | θ ∼ BN(3, 1 − θ).P2 = P (X ≥ 9 | θ = 1/2) =C11,9(1/2)12 + C12,10(1/2)13 + C13,11(1/2)14 + · · · = 0, 0325.
Para α = 0.05, H0 nao e rejeitada no primeiro caso, mas erejeitada no segundo. Esta decisao viola o PV .Usualmente o T.H. classico viola o PV.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Princıpios da suficiencia e da condicionalidade.
Princıpio da suficiencia: Seja T (X) uma estatısticasuficiente para θ, x e x∗ dois resultados amostrais. SeT (x) = T (x∗) entao, as inferencias sobre θ baseadas em x oux∗ devem ser identicas.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Princıpios da suficiencia e da condicionalidade.
Princıpio da suficiencia: Seja T (X) uma estatısticasuficiente para θ, x e x∗ dois resultados amostrais. SeT (x) = T (x∗) entao, as inferencias sobre θ baseadas em x oux∗ devem ser identicas.
Princıpio da condicionalidade: E e um experimentodefinido como uma mistura de experimentos Ej , j = 1, . . . , mescolhidos com probabilidades Pj . Se apenas um ocorre,entao as inferencias (decisoes) devem basear-se unicamenteno experimento realizado. Experiencias nao realizadas saoirrelevantes para a inferencia estatıstica.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Princıpios da suficiencia e da condicionalidade.
Exemplo 2: Dois laboratorios sao candidatos para analise de umasubstancia: Fleury e Lavoisier.A escolha e feita via lancamento de uma moeda, e o Fleury foiescolhido.O resultado deve depender dos possıveis resultados que se obteriase o Lavoisier tivesse sido escolhido?
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Princıpios da suficiencia e da condicionalidade.
Exemplo 2: Dois laboratorios sao candidatos para analise de umasubstancia: Fleury e Lavoisier.A escolha e feita via lancamento de uma moeda, e o Fleury foiescolhido.O resultado deve depender dos possıveis resultados que se obteriase o Lavoisier tivesse sido escolhido?
Teorema de Birnbaum: Os princıpios da condicionalidade esuficiencia juntos sao equivalentes ao princıpio de verossimilhanca.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Princıpios da suficiencia e da condicionalidade.
Exemplo 2: Dois laboratorios sao candidatos para analise de umasubstancia: Fleury e Lavoisier.A escolha e feita via lancamento de uma moeda, e o Fleury foiescolhido.O resultado deve depender dos possıveis resultados que se obteriase o Lavoisier tivesse sido escolhido?
Teorema de Birnbaum: Os princıpios da condicionalidade esuficiencia juntos sao equivalentes ao princıpio de verossimilhanca.
⋆ A ideia de permutabilidade.Motivado pela incongruencia do conceito de independencia quandoθ e desconhecido, um conceito mais fraco e mais facil de seobservar e introduzido.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Permutabilidade e Independencia.
Permutabilidade: Um conjunto finito de variaveis aleatoriasX1, . . . , Xn e permutavel se
f(x1, . . . , xn) = f(xπ(1), . . . , xπ(n))
para qualquer permutacao {π(1), . . . , π(n)} do conjunto{1, 2, . . . , n}.Um conjunto infinito e permutavel se cada subconjunto finito epermutavel.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Permutabilidade e Independencia.
Permutabilidade: Um conjunto finito de variaveis aleatoriasX1, . . . , Xn e permutavel se
f(x1, . . . , xn) = f(xπ(1), . . . , xπ(n))
para qualquer permutacao {π(1), . . . , π(n)} do conjunto{1, 2, . . . , n}.Um conjunto infinito e permutavel se cada subconjunto finito epermutavel.
Exemplo 3: Duas urnas com bolas brancas e pretas.Urna 1: 6 bolas brancas e 4 pretas.Urna 2: 4 bolas brancas e 6 pretas.Escolhe-se uma urna ao acaso, com probabilidade 1/2, e retira-sebolas sucessivamente com reposicao.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Permutabilidade e Independencia.
Xi = 1 se a i-esima bola e brancaXi = 0 se a i-esima bola e preta.Supondo permutabilidade, para n=2, temos
P (X1 = 0, X2 = 1) = P (X1 = 1, X2 = 0)
isto e, a probabilidade nao depende da ordem. E razoavel?
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Permutabilidade e Independencia.
Xi = 1 se a i-esima bola e brancaXi = 0 se a i-esima bola e preta.Supondo permutabilidade, para n=2, temos
P (X1 = 0, X2 = 1) = P (X1 = 1, X2 = 0)
isto e, a probabilidade nao depende da ordem. E razoavel?
E razoavel supor independencia?
- Se observamos 59 bolas brancas e 41 pretas, a probabilidade deobservar branca na retirada 101 nao deve depender desteresultado?
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Permutabilidade e Independencia.
Xi = 1 se a i-esima bola e brancaXi = 0 se a i-esima bola e preta.Supondo permutabilidade, para n=2, temos
P (X1 = 0, X2 = 1) = P (X1 = 1, X2 = 0)
isto e, a probabilidade nao depende da ordem. E razoavel?
E razoavel supor independencia?
- Se observamos 59 bolas brancas e 41 pretas, a probabilidade deobservar branca na retirada 101 nao deve depender desteresultado?- Se observamos 40 brancas e 60 negras devemos ter o mesmovalor de probabilidade?
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Teorema de Representacao de Bruno de Finetti.
Teorema de Representacao:Se X1, X2, . . . e uma sequencia infinita de variaveis aleatoriaspermutaveis com valores em {0, 1}, entao para qualquer n inteiroexiste uma funcao de distribuicao de probabilidade H de talmaneira que
f(x1, . . . , xn) =
1∫
0
n∏
i=1
θxi(1 − θ)1−xidH(θ),
onde H(θ) = limn→∞
P (Sn
n≤ θ), com Sn = X1 + · · · + Xn e
θ = limn→∞
Sn
n.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Teorema de Representacao de Bruno de Finetti.
Exemplo 4:Evento credibilidade probabilidade dado θ
AAA a θ3
AAA b θ2(1 − θ)AAA b θ2(1 − θ)AAA b θ2(1 − θ)AAA c θ(1 − θ)2
AAA c θ(1 − θ)2
AAA c θ(1 − θ)2
AAA d (1 − θ)3
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Teorema de Representacao de Bruno de Finetti.
Exemplo 4:Evento credibilidade probabilidade dado θ
AAA a θ3
AAA b θ2(1 − θ)AAA b θ2(1 − θ)AAA b θ2(1 − θ)AAA c θ(1 − θ)2
AAA c θ(1 − θ)2
AAA c θ(1 − θ)2
AAA d (1 − θ)3
Entao existe uma distribuicao de probabilidade comE[θ3] = a, E[θ2 − θ3] = b e E[θ − 2θ2 + θ3] = c.Portanto E[θ2] = a + b e E[θ] = a + 2b + c.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Teorema de Representacao de Bruno de Finetti.
Resulta do teorema que
Xi, i = 1, 2, . . . sao v.a. Bernoulli, condicionalmenteindependentes dado θ.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Teorema de Representacao de Bruno de Finetti.
Resulta do teorema que
Xi, i = 1, 2, . . . sao v.a. Bernoulli, condicionalmenteindependentes dado θ.
θ e uma v.a. com distribuicao a priori H(θ).
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Teorema de Representacao de Bruno de Finetti.
Resulta do teorema que
Xi, i = 1, 2, . . . sao v.a. Bernoulli, condicionalmenteindependentes dado θ.
θ e uma v.a. com distribuicao a priori H(θ).
Pela lei forte dos grandes numeros, θ e o limite da frequenciarelativa de sucessos.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
IntroducaoPrincıpios da IB
Referencias.
Kinas, P.G. e Andrade, H.A. (2010). Introducao a analisebayesiana (com R). Editora: maisQnada.
Loschi, R. (2013). Estadıstica Bayesiana algunos de suaaspectos. Minicurso no Congreso Anual de la SociedadArgentina de Estadıstica, Mendoza
Migon, H and Gamerman, D. (1999). Statistical Inference:An integrated approach. Chapman and Hall/CRC.
Paulino, D. , Turkman, M.A. e Murteira, B. (2003).Estatıstica Bayesiana. Fundacao Calouse Gulbenkian - Lisboa.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 1 -
Recommended