Modelo de Rgressao Linear Simples

8/6/2019 Modelo de Rgressao Linear Simples

1/39

1

The Modelo de Regresso Simples

y = 0 + 1x + u


2/39

2

Alguma Terminologia

No modelo linear de regresso simples, em quey= 0 + 1x + u.

Tipicamente y expressa a varivel dependente,varivel explicada, varivel resposta, varivelpreviso, varivel left-hand side, ou regressada

Tipicamente x designada de varivelindependente, varivel explicativa, varivel de

controlo, regressor, covarincia


3/39

3

Uma Hiptese Simples

A mdia do valor de u, o termo erro, dapopulao 0. Isto ,

E(u) = 0No uma hiptese restritiva, uma vez quepodemos sempre utilizar 0 para normalizarE(u) a 0


4/39

4

Mdia Condicional Zero

Necessitamos de assumir uma hiptese crucialsobre a forma como u ex esto relacionados

Pretendemos que seja um caso em que o

conhecimento de algo sobre x no nos proporcionaqualquer informao sobre u, isto , estocompletamente no relacionadas. Analiticamente,

E(u|x) = E(u) = 0, o que implica que

E(y|x) = 0 + 1x


5/39

5

.

.

x1 x2

E(y|x) uma funo linear de x, em que para qualquerx,a distribuio de y est centrada volta de E(y|x)

E(y|x) = 0 + 1x

y

f(y)


6/39


7/39

7

.

.

.

.

y4

y1

y2

y3

x1 x2 x3 x4

}

}

{

{

u1

u2

u3

u4

x

y

Linha de regresso da populao, pontos daamostra e termos erros associados

E(y|x) = 0 + 1x


8/39

8

Derivao dos Estimadores OLS

Para derivao dos estimadores OLSnecessitamos de ter em conta a hiptesefundamental de que E(u|x) = E(u) = 0 tambm

implicaCov(x,u) = E(xu) = 0

Porqu? Lembre-se que, dos conceitos bsicos de

probabilidades, Cov(X,Y) = E(XY) E(X)E(Y)


9/39

9

Derivao dos OLS (continuao)

Podemos escrever duas restries emtermos dex,y, 0 e , com u =y 0 1x

E(y 0 1x) = 0E[x(y 0 1x)] = 0

Estas so chamadas restries momento conduz ao Mtodos dos Momentos (MM)


10/39

10

Derivao dos OLS pelo MM

A estimao pelo MM implica a imposiodas restries momento da populao srestries momento da amostra

O que que isto significa? Relembrandoque para E(X), a mdia da distribuio dapopulao, o estimador da amostra de E(X)

simplesmente a mdia aritmtica daamostra


11/39

11

Derivao dos OLS pelo MM (Cont.)

Pretendem-se valores para os parmetros queassegurem que as verses da amostra para asrestries momento so so verdadeiras

As verses da amostra so as seguintes:

0

0

1

10

1

1

10

1

n

i

iii

n

i

ii

xyxn

xyn


12/39

12

Derivao dos OLS (MM)

Dada a definio de mdia da amostra, epropriedades da soma, podemos escrever ascondies anteriores do seguinte modo:

xy

xy

10

10

or

,


13/39

13

Derivao dos OLS (MM)

n

i

ii

n

i

i

n

i

ii

n

i

ii

n

i

iii

xxyyxx

xxxyyx

xxyyx

1

2

1

1

1

1

1

1

11

0


14/39

14

Deste modo o declive estimado pelosOLS

0quedesde

1

2

1

2

1

1

n

i

i

n

i

i

n

i

ii

xx

xx

yyxx


15/39

15

Sntese sobre a estimativa declive OLS

A estimativa declive a covarincia entre x e y daamostray dividida pela varincia de x da amostra

Sex ey esto positivamente correlacionados, o

declive positivoSex ey esto negativamente correlacionados, odeclive negativo

Apenas necessitamos que x e y variem na nossa

amostra


16/39

16

Mais sobre os OLS

Intuitivamente, os OLS representam umajustamento da linha atravs dos pontos daamostra tal que a soma dos quadrados dos erros

seja o mais pequena possvel, da a designao demnimos quadrados

O resduo, , uma estimativa do termo erro, u, e a diferena entre a linha ajustada (funo

regresso da amostra - FRA) e os pontos daamostra


17/39

17

.

.

.

.

y4

y1

y2y3

x1 x2 x3 x4

}

}

{

{

1

2

3

4

x

y

Linha de regresso da amostra, pontos da amostrae inerentes termos erros estimados

xy 10


18/39

18

Mtodo Alternativo de derivao dos OLS

Dada a intuitiva ideia de ajustamento da linha,podemos formalizar o problema de minimizao

Isto , pretendemos determinar o valor dos

parmetros que minimizem o seguinte:

n

iii

n

ii

xyu1

2

101

2


19/39

19

Mtodo alternativo (cont.)

Se utilizarmos o clculo para a resoluo do problema deminimizao para os dois parmetros, obtm-se ascondies de primeira ordem, que so idnticas s obtidasanteriormente, multiplicando por n

0

0

1

10

1

10

n

i

iii

n

i

ii

xyx

xy


20/39

20

Propriedades Algbricas dos OLS

A soma dos resduos OLS zero

Deste modo, a mdia dos resduos OLS

tambm zeroA covarincia entre os regressores e osresduos OLS zero

A linha de regresso OLS vai sempre ao

longo da mdia da amostra


21/39

21

Propriedades Algbricas (justificao)

xy

ux

n

u

u

n

i

ii

n

i

in

i

i

10

1

1

1

0

0

logo,0


22/39

22

Mais terminologia

RSSESSTSSento(RSS)resduosdosquadradosdossomaa

(ESS)quadradosdossomaexplicadaa

(TSS)quadradosdossomadatotalo

:seguinteose-defineento

explicada,nooutraporeexplicadaparteumapor

compostaobservaocadaqueentenderPodemos

2

2

2

i

i

i

iii

u

yy

yy

uyy


23/39

23

Prova de que TSS = ESS + RSS

0quesabemose

SSE2SSR

2

22

2

22

yyu

yyu

yyyyuu

yyu

yyyyyy

ii

ii

iiii

ii

iiii


24/39

24

Bondade de Ajustamento

O que devemos pensar acerca de quanto bem alinha de regresso se ajusta aos dados da amostra?

Podemos calcular a fraco do total da soma dosquadrados (TSS) que explicado pelo modelo, ouseja, o R- quadrado da regresso

R2 = ESS/TSS = 1 RSS/TSS


25/39

25

Centricidade No enviesamentodos OLS

Assume que o modelo da populao linear nosparmetros,y = 0 + 1x + uAssume que podemos utilizar uma amostra

aleatria de dimenso n, {(xi, yi): i=1, 2, , n}, apartir do modelo da populao. Despe modo,podemos escrever o modelo da amostra por

yi = 0 + 1xi + uiAssumindo E(u|x) = 0, ento E(ui|xi) = 0

Assumindo que existe variao emxi


26/39

26

Centricidade dos OLS (cont)

De modo a tornar claro o no enviesamento, necessitamosde reescrever o nosso estimador em termos de parmetroda populao

Comea-se com uma simples reescrita da frmula, como

22

21queem,

xxs

s

yxx

ix

x

ii


27/39

27


ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10


28/39

28


211

2

1

2

mododestee,

porreescritoserpodenumeradoro,sejaou

,0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx


29/39

29


12

11

21

1

ento,1

resulta,assumindo

iix

iix

i

ii

uEds

E

uds

xxd


30/39

30

Centricidade - Sntese

As estimativas OLS de 1 e 0 so cntricas

A verificao da centricidade depende de 4hipteses se uma delas falhar, ento o estimador

OLS no necessariamente cntricoRelembrar que a centricidade a descrio doestimador em certa amostra podemos estarprximos ou afastados do verdadeiro

parmetro


31/39

31

Varincia dos Estimadores OLS

Agora sabemos que a distribuio do nossoestimador se centra volta do verdadeiroparmetro

Desejamos saber quo dispersa estadistribuio muito mais fcil pensar acerca davarincia sob a hiptese adicional, ou seja

Assumir Var(u|x) = 2 (Homocedasticidade)


32/39

32

Varincia OLS (cont)

Var(u|x) = E(u2|x)-[E(u|x)]2

E(u|x) = 0, ento 2 = E(u2|x) = E(u2) = Var(u)

Assim, 2 tambm a varincia nocondicionada, chamada varincia do erro, raiz quadrada da varincia do erro, sendodesignada de desvio padro do erro

Podemos dizer: E(y|x)=0 + 1x e Var(y|x) = 2


33/39

33

.

.

x1 x2

Caso Homocedstico

E(y|x) = 0 + 1x

y

f(y|x)


34/39

34

.

xx1 x2

f(y|x)

Caso Heterocedstico

x3

.

.

E(y|x) = 0 + 1x


35/39

35

Varincia OLS (cont)

122

22

22

2

2

2222

2

2

2

2

2

2

2

211

1

11

11

1

Vars

ss

ds

ds

uVardsudVars

uds

VarVar

xx

x

i

x

i

x

iix

iix

iix


36/39

36

Varincia OLS: Sntese

Quanto maior for a varincia do erro, 2, maior avarincia do coeficiente parcial da regressoA uma maior variabilidade dexi, correspondeuma menor varincia do coeficiente parcial daregressoConsequentemente, a um aumento da dimensoda amostra corresponde um decrscimo davariao do coeficiente parcial da regressoO problema que a varincia do erro desconhecida


37/39

37

Estimao da varincia do erro

Desconhecemos a varincia do erro,2,

porque no observamos os erros, ui

O que observamos so os resduos, i

Podemos utilizar os resduos para uma

estimativa da varincia dos erros


38/39

38

Estimativa da Varincia do erro (cont)

2/21

decntricoestimadoroento,

22

2

1100

1010

10

nSSRun

xu

xux

xyu

i

ii

iii

iii


39/39

39

Estimativa da Varincia (cont)

2

12

1

1

2

/se

,depadroerroo

temosentopormossubstituirse

sdqueorelembrand

regressodapadroErro

xx

s

i

x

Documents

Modelo de Rgressao Linear Simples