1 2. Modelos Univariados Estacionarios

1.1 a. Modelos ARMA

1.1.1 i. Generalidades

1. Teorema de Representacin de Wold Teorema de representacin deWold dice que

Yt = t +1j=0 j"tj

= t + (B) "t

donde 0 = 1;P1

j=0

j < 1 y "t es ruido blanco y (B) es polinomio enoperador de rezagos.A se le conoce como forma MA(1) del proceso, y si la forma MA(1)

cumple con las condicones anteriores, se dice que el proceso es estacionario.Si el proceso se puede escribir de la forma AR (1), se dice que el proceso es

invertible.Problema: Innitos parametros

2; 0; 1; :::

para muestra fYtgTt=1

Solucin: Podemos aproximar cualquier polinomio por polinomios racionalesde la forma

(B) =q (B)

p (B)

donde q (B) = (1 + 1B + :::+ qBq) y p (B) =1 + 1B + :::+ pB

p.

2. Condiciones de Estacionaridad Del Teorema de representacin de Woldsabemos que el proceso debe cumplir con la condicin que

P1j=0

j < 1 )P1j=0

2j

3. Funcin de Autocovarianzas y de Autocorrelacin Una serie esta-cionaria ergdica xt se puede estudiar a partir de la estructura de autoco-variacin (autocorrelacin) de la serie. La funcin de autocovarianzas se denecomo

s = cov (xt; xts) = E [(xt ) (xts )]en funcin de s, el nmero de rezagos. La funcin de autocorrelacin se puedeescribir como

s =Cov (xt; xts)

(V (Xt)V (xt2))1=2

=

s

0

en funcin del nmero de rezagos. A partir de estas deniciones se obtienen lassiguientes propiedades:

0 = V (xt) = 2X , y 0 = 1 jsj 0, y jsj 1 k = k, y s = sEl grco muestra un ejemplo de una funcin de autocorrelacin que se

conoce como autocorrelagrama. Clave tener en cuenta la propiedad de semi-denitud

nXi=1

nXj=1

ij(titj) 0

Necesaria para trabajo posterior.

1.1.2 4. La Funcin de Autocorrelacin Parcial

En adicin a las funciones de autocovarianza y autocorrelacin, las propiedadesde un proceso estocstico se estudian a travs de la funcin de autocorrelacinparcial

Corr (Xt; Xts=Xt1; Xt2; :::; Xts+1)

que es simplemente una funcin de autocorrelacin condicional a la informacincontenida en

Xt1; Xt2; :::; Xts+1

Podemos mostrar que la funcin de autocorrelacin parcial se puede escribircomo

11 = 1

2

0 1 2 3 4 5 6 7 8 9 10-1.00

-0.75

-0.50

-0.25

0.00

0.25

0.50

0.75

1.00

Figure 1: Ejemplo Funcin de Autocorrelacin

22 =

1 11 2 1 11 1

33 =

1 1 11 1 22 1 3

1 1 21 1 12 1 1

...

3

kk =

1 1 2 k2 11 1 1

. . . 2

2 1 1. . .

......

. . .. . .

. . . k2k2 k1k1 k2 2 1 k

1 1 2 k2 k11 1 1

. . . k2

2 1 1. . .

......

. . .. . .

. . . 2k2 1k1 k2 2 1 1

Estas ecuaciones caracterizan al coeciente k-simo de una regresin lineal

de Xt contra Xt1; Xt2; :::; Xtk.

5. Funcin de Autocorrelacin Extendida Suponga que Yt s ARMA (p; q)con media cero y suponga que conocemos todos los parmetros del modelo. En-tonces

Yt = q(B)p(B)"t

Z(1)t = (1 1B)Yt = (1 1B) q(B)p(B)"t =q+1(B)p(B)

"t s ARMA (p; q + 1)

Z(2)t =1 1B 2B2

Yt =

q+2(B)p(B)

"t s ARMA (p; q + 2)

Z(p)t = p (B)Yt = p(B)q(B)p(B) "t s ARMA (0; q)

1.1.3 ii. Procesos Autoregresivos

Los procesos autoregresivos se generan a partir de la aproximacin racional deltma de rep. de Wold haciendo q (B) = 1

Xt =1

1 1B 2B2 :: pBp"t

entonces

p (B)Xt

= Xt 1Xt1 :::: pXtp = "to nalmente,

Xt = 1Xt1 + ::::+ pXtp + "t

4

Es claro que este proceso es invertible. Pero es estacionario slo si las racesde p (B) estn por fuera del circulo unitario.

Podemos hallar la funcin de autocovarianzas al multiplicar porXts y hallarvalor esperado

s =

1s1 + 2s2 + :::+ psp

1s1 + 2s2 + :::+ psp + 2

s = 1; 2; 3; :::s = 0

sin embargo, para poder utilizar esta frmula recursiva necesitamos p+ 1 auto-covarianzas iniciales, digamos 0; 1; :::; p, para lo cual podemos aprovechar elhecho que s = s en el reemplazo de esta frmula para 0; 1; 2; :::; p.La funcin de autocorrelacin se puede obtener directamente dividiendo la

ecuacin anterior en la varianza 0, con lo cual obtenemos la siguiente frmularecursiva

s =

8>>>:1s1 + 2s2 + :::+ psp

s = 1; 2; 3; :::

1s1 + 2s2 + :::+ psp +2

0s = 0

que en conjuncin con los valores iniciales produce la funcin de autocorrelacin.La funcin de autocorrelacin parcial se puede obtener de las fracciones con

determinantes expuestas anteriormente, y se puede observar que esta se anulapara s = p+ 1; p+ 2; :::.Finalmente, si el proceso es estacionario, claramente podemos escribir este en

trminos de un MA (1). Para lo cual basta hallar los valores correspondientesde los j .

1.1.4 iii. Procesos de media Mvil

Este proceso surge de hacer p (B) = 1 en la aprox. racional a la rep. de Wold,

Xt = q (B) "t

= (1 1B ::: qBq) "t= "t 1"t1 ::: q"tq

Es claro que este proceso es siempre estacionario, pero es invertible slo silas races de q (B) estan por fuera del crculo unitario. Es fcil ver que

0 = 2"

qj=0

2j

donde 0 = 1, y las dems autocovarianzas estn dadas por

s =

2e (s + 1s+1 + :::+ qsq) s = 1; 2; 3; :::

0 k > q

por lo tanto la funcin de autocorrelacin es

s =

(s+1s+1+:::+qsq

1+21+:::+2q

s = 1; 2; 3; :::

0 k > q

5

La funcin de autocorrelacin parcial se puede obtener de las formulas conrazones de determinantes y se puede observar que estas decaen exponencial-mente con o sin ondas sinusoidales dependiendo de las races de q (B).Finalmente, si el proceso es invertible, se puede escribir en trminos de un

AR (1), para lo cual basta obtener los valores de los j .

1.1.5 iv. Procesos Mixtos

Este proceso contiene a los dos anteriores

p (B)Xt = q (B) "t

donde

q (B) = 1 1B ::: qBqp (B) = 1 1B :: pBp

Para que el proceso sea invertible las races de q (B) deben estar por fuera delcrculo unitario y para que sea invertible se requiere que las de p (B) estnpor fuera del circulo unitario. Para que el proceso sea parsimonioso se requiereadems que no haya races de comunes entre los dos polinomios.Un proceso ARMA(p; q) invertible y estacionario se puede escribir en su

forma AR (1). (B)Xt = "t

donde

(B) =p (B)

q (B)

=1 1B 2B2 + ::::

y tambin se puede escribir en su forma MA (1) como

Xt = (B) "t

=1Xj=0

j"tj

donde

(B) =q (B)

p (B)

= 1 + 1B + 2B2 :::

La funcin de autocovarianzas satisface la condicin

s = 1s1 + 2s2 + :::+ psppara s q + 1

6

y por lo tanto,

s = 1s1 + 2s2 + :::+ psppara s q + 1

lo cual signica que la funcin de autocorrelacin tiene el mismo comportamientode un AR (p) a partir del rezago (q+1)-simo. Sin embargo, esta representacinno es til para s < q + 1.

1.1.6 v. Identicacin de Procesos ARMA

El paso de identicacin de acuerdo con la metodologa de Box y Jenkins con-siste en comparar las autocorrelaciones muestrales con las poblaciones en casosconocidos de acuerdo con la siguiente tabla

ACF PACF ModeloCola Corte(p) AR(p)Corte(q) Cola MA(q)Cola Cola ARMASi las autocorrelaciones no deciden, se debe tratar con la Autocorrelacin

Extendida

1.1.7

1.1.8 vi. Estimacin de Procesos ARMA

1. Media, Autocovarianzas y Autocorrelaciones Con una nica real-izacin del proceso estocstico, es decir la serie de tiempo

x1; x2; :::; xT

no es posible estimar ningn momento si el proceso que genera estos datos es noestacionario. En este caso se requiere tener ms de una replicacin del proceso.En el caso estacionario, como los momentos son invariantes, podemos usar

informacin de distintos periodos de tiempo para estimar los momentos pobla-cionales. Suponga que el proceso que gener esta serie de tiempo es estacionario,y que se cuenta con las T observaciones para estimar los momentos.Como el proceso es estacionario,

E [Xt] = V [Xt] = 2

Cov (Xt; Xts) = s

7

Media Podemos estimar la media muestral con el promedio muestral delas observaciones b = xT = 1

TTt=1xt

y es fcil ver que este es un estimador insesgado

E [b] = adems, su varianza est dada por

V [b] = 0T 2T1k=(T1) (T jkj) k

=

0TT1k=(T1) (1 jkj =T ) k

Si esta varianza converge a cero cuando T ! 1, entonces b = xT es unestimador consistente de la media muestral y entonces el proceso ser ergodicoen media. Una condicin suciente para esto es que s ! 0 cuando s ! 1,es decir, cuando las observaciones que estn muy apartadas tiemden a no estarcorrelacionadas y por lo tanto la nueva informacin que entra en el calculode b = xT al incrementar T contiene alguna informacin nueva acerca delparmetro desconocido .

Funcin de Autocovarianzas Convencionalmente se utilizan dos esti-madores para la funcin de autocovarianza el estimador muestral sin corregir

bs = 1T Tst=1 Xt Xt Xts Xt 1

TTst=1 (Xt ) (Xts ) +

T sT

Xt

2y el corregido por grados de libertad

bbs = 1T sTst=1 Xt Xt Xts Xt 1

T sTst=1 (Xt ) (Xts ) +

Xt 2

Ambos estimadores son sesgados en muestras pequeas

E [bs] s sT k T sT V XtEhbbsi s + V Xt

Si no hay error en la estimacin de ; cbs se vuelve insesgado en muestraspequeas.

8

Sesgobbs Sesgo(bs) en particular cuando s es grande con respecto a

T . Por lo tanto se sugiere que se observen slo las primeras T4 primerasautocorrelaciuones estimadas.

Si el proceso es ergdico en media y V Xt! 0 cuando T !1 entonceslos dos estimadores son asintticamante insesgados y equivalentes.

bs es denida positiva pero bbs no lo es siempre. En algunas ocasiones ECM (bs) ECM bbs Suponiendo normalidad residual tenemos las siguientes aproximaciones

V (bs) 1T 1i=1 2i + i+sisCov

bs; bs+j 1T 1i=1 ii+j + i+s+jisy

Vbbs 1T s1i=1 2i + i+sis

Covbbs; bbs+j 1T s1i=1 ii+j + i+s+jis

entonces V (bs) V bbs. Por esta razn se preere utilizar bs. bs, como funcin de s = 0; 1; 2; :: se conoce como funcin de autocovari-anzas muestral de X.

Funcin de Autocorrelacin Se dene como

bs = bsb0 = Tst=1

Xt Xt

Xts Xt

Tt=1

Xt Xt

2 s = 0; 1; 2; :::si el proceso es estacionario, cuando T !1 este estimador tiende a comportarsecomo una variable normal con media s y varianza

V (bs) = 1T 1i=1 2i + i+sis 4siis + 22s2i y para un proceso en el que s = 0 para s m, esta se aproxima como

V (bs) = 1T 1 + 2 21 + 22 + :::+ 2mEn particular, bajo la hiptesis de que la serie es ruido blanco ( no autocor-

relacin de ningn orden)

V (bs) = 1T9

Funcin de Autocorrelacin Parcial Para hallar un estimador para laautocorrelacin parcial basta reemplazar k por bk en la ecuacin que la dene.Sin embargo el calculo de los determinantes puede ser complicado y preferimosla siguiente frmula recursiva

bs+1;s+1 = bs+1 +sj=1bsjbs+1j1 sj=1bsjbj

y bs+1;j = bs;j bs+1;s+1bs;s+1j j = 1; 2; :::; sBajo el supuesto que el residuo es ruido blanco, la varianza de bss se puede

aproximar como

Vbss 1T

la cual se puede usar para probar la hiptesis de que el proceso en cuestin esruido blanco.

Funcin de Autocorrelacin Extendida Sea Yi =mPi=1

(j)Yt1+jP

k=1

(j)"(jk)tk +

"(j)t

para m = pmin; :::; pmax y j = qmin; :::; qmaxdonde

"(j)t = Yt

mPi=1

(j)Yti jP

k=1

(j)k "

(jk)tk

Para un valor de m dado, sea la serie ltrada

Z(m;j)t = Yt

mPi=1

(j)i Yti

La j-sima ACF de Z(m;j)t es la EACF rj(m) = rj(Z(m;j))

Pasos

1. Para m = 0

(a) Para j = 0

Yt = "(0)t

"(0)t = Yt

Z(0;0)t = Yt

(b) Para j = 1

Yt = (1)1 "

(0)t1 + "

(1)t

"(1)t = Yt (1)1 "(0)t1Z(0;1)t = Yt

10

(c) Para j = 2

Yt = (2)2 "

(0)t2 +

(2)1 "

(1)t1 + "

(2)t

"(2)t = Yt (2)2 "(0)t2 (2)1 "(1)t1Z(0;2)t = Yt

(d) Nos damos cuenta que la primera la de la ESACF es simplementela ACF de Yt:

2. Para m = 1

(a) Para j = 0

Yt = (0)1 Yt1 + "

(0)t

"(0)t = Yt (0)1 Yt1Z(1;0)t = Yt (0)1 Yt1La ACF de orden cero de Z(1;0)t es la ESCAF

(b) Para j = 1

Yt = (1)1 Yt1 +

(1)1 "

(0)t1 + "

(1)t

"(1)t = Yt (1)1 Yt1 (1)1 "(0)t1Z(1;1)t = Yt (1)1 Yt1La ACF de orden uno de Z(1;1)t es la ESCAF

(c) Para j = 2

Yt = (2)1 Yt1 +

(2)2 "

(0)t2 +

(2)1 "

(1)t1 + "

(2)t

"(2)t = Yt (2)1 Yt1 (2)2 "(0)t2 (2)1 "(1)t1Z(1;2)t = Yt (2)1 Yt1La ACF de orden dos de Z(1;2)t es la ESCAF

Procediendo sucesivamente se obtiene la EACF

Para determinar la signicancia de la ESACF, bajo la hiptesis nula de querj(m) = 0, con normalidad asinttica solo necesitamos la varianza var(rj(m)) t(T mj)1 donde T es el tamao de la muestra. Se coloca una X si j rj(m) j=2pvar(rj(m)) en otro caso se coloca cero.

2. Parmetros del Modelo Luego que se identicado un modelo tenta-tivo, podemos obtener estimaciones mnimo cuadrticas de los parmetros delmodelo.Recuerde que un modelo se dice lineal si es una funcin lineal de los parmet-

ros. Si un modelo es lineal, la derivada parcial de "t con respecto a cualquierparmetro no depende de los parmetros del modelo.Un proceso autoregresivo es lineal y por lo tanto la estimacin es fcil.Para un proceso AR(2)

11

xt = + 1xt1 + 1xt2 + "t

si queremos ver si es lineal hallamos @"ti , la cual debera ser constante cra losparmetros del modelo. En este caso

@"ti

= xti

Si tenemos T observaciones del proceso fxtgTt=1, podemoes escribir en formamatricial 2666664

x3x4...xT1xT

3777775 =2666641 x2 x11 x3 x2::: ::: :::1 xT2 xT31 xT1 xT2

37777524 12

35+2666664"3"4..."T1"T

3777775que es lo mismo que

Y = X +E

De donde se obtienen los estimadores

b = (XTX)1XTYNote que en el proceso se pierden 2 observaciones (p en el modelo AR(p)).

Bajo el supuesto de normalidad residual podemos calcular la funcin de verosimil-itud condicional,

LC () = fX3;X4;:::;XT =X1;X2 (x3; x4; :::; xT )

lo cual nos dara la estimacin condicional aX1 yX2. Si T es pequeo, la prdidade la informacin contenida en estas observaciones podra ser signicativa. Sepodra hallar la densidad incondicional de X1 y X2; gX1;X2 (x1; x2) y maximizarla funcin de verosimilitud incondicional

L () = fX3;X4;:::;XT =X1;X2 (x3; x4; :::; xT ) gX1;X2 (x1; x2)

si la muestra es grande, el efecto es dercartable.Desafortunadamente la estimacin en parmetros MA y mixtos es ms com-

pleja por la no linealidad. Por ejemplo, si

xt = "t 1"t1o

"t = (1B1)1xtla primera derivada es

12

@"t@1

= B(1B1)2

que est en funcin de 1. Por lo tanto no se pueden usar mnimos cuadrados.En este caso es necesario implementar un algoritmo de busqueda que maxim-

ice la funcin de veriosimiltud o minimice la suima de cuadrados de los residuos.Todos los mtodos de busqueda dependen de un valor inicial de los parmet-

ros. Una forma de obtener estos valores iniciales es a travs de la relacinentre parmetros y las autocorrelaciones del modelo. El proceso consiste enreemplazar las autocorrelaciones por sus contrapartes muestrales y resolver losvalores de los parmetros. por ejemplo, en el proceso AR(1), sabemos quelas autocorrelaciones poblaciones satisfacen k =

k1 . Entonces, un estimador

inicial de 1 sera b1 = b1.Se debe tener cuidado ya que los valores preliminares no son estimadores

ecientes y pueden diferir considerablemente de los valores nales del ejercicio.

1.1.9 vii. Pronsticos de Procesos ARMA

1. Teora General Considere la representacin MA(1) Yt = (B) "t, en-tonces Yt+s = (B) "t+s. Con la informacin disponible hasta el peridodo t,que denotamos zt = fYt; Yt1; :::g queremos obtener el mejor pronstico delvalor de la variable a un horizonte de s periodos adelante, Yt+s. Esto se haceminimizando para b el Error Cuadrtico Medio de Pronstico

ECMs (Y ) = Et

h(Yt+s b)2

i= E

h(Yt+s b)2 =zt

ique se minimiza cuando b = argminbECMs (Y ) = Et (Yt+s). Es decir, el mejor(en el sentido del ECM) es

bYt+sjt = Et (Yt+s) = Et0@ 1Xj=0

j"t+sj

1A=

1Xj=s

j"t+sj

de donde el error de pronstico es

est = Yt+s bYt+sjt=

s1Xj=0

j"t+sj

cuyo valor esperado incondicional es cero. Entonces la varianza del error depronstico sera

Eh(est )

2i= 2

s1Xj=0

2j

13

Observamos que:

La innovacin del modelo "t es simplemente el error de pronstico a hori-zonte s = 1.

Si s ! 1, Eh(est )

2iconverge a una constante por la condicin de esta-

cionaridad.

1.1.10 viii. Pruebas Diagnsticas

1. Normalidad (Jarque Bera) Se basa en la distancia estandarizada entreel Sesgo y Kurtosis de la distribucin normal y la de los residuos del modelo.Para una distribucin normal estndar el coeciente de sesgo es 0 y el de kurtososes 3.La estadstica de prueba

JB =T

6

"S2 +

(K 3)24

#D! 2(2)

bajo la hiptesis de que los residuos son normales, y donde S =PT

t=1 "3t=PT

t=1 "2t

1:5y K =

PTt=1 "

4t=PT

t=1 "2t

2Bajo la hiptesis nula T6 S

2 D! N (0; 1) y T6 (K3)2

4

D! N (0; 1) y adems sonasintticamente independientes.

2. No Autocorrelacin Serial

14

Queremos probar H0 : 1 = 2 = ::: = k = 0Bajo la hiptesis nula las bj van a ser asintticamente normales con media

cero y adems independientes, de tal forma que bajo la nula

Q = T (T + 2)kXj=1

(T j)1 b2j D! 2(km)donde m es el nmero de parmetros estimados en el modelo.

1.1.11 ix. Modelos Multiplicativos Estacionales

Estudiamos uan extensin de los modelos anteriores para series estacionales.Considere un proceso estacional autoregresivo con s estaciones por ao, y

suponga que los nicos parmetros diferentes de cero son los que tienen subindicemltiplo de s. El proceso sera

Yt = 1Yts + 2Yt2s + :::+ pYtps + "t

Este es u proceso autoregresivo estacional de orden p, y los fig son losparmetros autoregresivos estacionales. De manera similar podemos denir unproceso MA (Q) estacional como

Yt = "t 1"ts 2"t2s ::: Q"tQsla funcin de autocorrelacin y autocorrelacin parcial se comporta como la

de los procesos AR y MA comnes. Para un proceso AR las autocorrelacionesdecaen exponencialmente pero son diferentes de cero slo en rezagos mltiplosde s, y la parcial corta en el rezago Ps.podemos tambin extender a procesos mixtos

Yt = 1Yts + 2Yt2s + :::+ pYtps ++"t 1"ts 2"t2s ::: Qs"tQs

que en trminos del operador B queda

(1 1Bs 2B2s ::: pBps)Yt = (1 1Bs 2B2s ::: QBQs)"t

o

p(Bs)Yt = Q(B

s)"t

donde p(Bs) y Q(Bs)"t son polinomios en Bs de grados P y Q respecti-vamente. Este es el proceso ARMA(P,Q) estacional.Generalizando, si el proceso fYtg no es estacionario debido a una raz unitaria

estacional, lo reducimos a estacional haciendo una diferencia estacional. Seas = (1Bs) el operador de diferencia estacional. Por ejemplo,

15

sYt = (1Bs)Yt = Yt YtsSi se necesitan D diferencias estacionales para hacer que el proceso sea esta-

cional, aplicamos sD = (1Bs)D, y entonces la forma general de los modelosARIMA estacionales sera

p(Bs)sDYt = Q(B

s)"t

que se denota ARIMA(P,D,Q)s.Modelo no es muy util porque supone independencia de las observaciones

entre las estaciones. Se propne mejor un modelo multiplicativo de la forma

p(B)p(Bs)dsYt = q(B)Q(B

s)t

que es modelo multiplicativo ARIMA(p; d; q)X(P;D;Q)s.Identiciacn, estimacin, pornstico y pruebas diagnsticas son similares a

modelos ARIMA ordinarios. Siempre se empieza la identicacin con la parteestacional.

16