Métodos Paramétricos Métodos No-paramétricos Contenido · 2012-07-11 · Introducción Métodos Paramétricos Métodos No-paramétricos Máxima Verosimilitud Método IFM Método

IntroducciónMétodos Paramétricos

Métodos No-paramétricos

Contenido

1 Introducción

2 Métodos ParamétricosMáxima VerosimilitudMétodo IFMMétodo CML

3 Métodos No-paramétricosCópula EmpíricaCópula Kernel

José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2



Resumen

Recordemos que una cópula es una función C : I2 → I tal que:1 Para cualesquiera u, v en I := [0,1]

C(u,0) = 0 = C(0, v),C(u,1) = u,C(1, v) = v . (1)

2 Para u1,u2, v1, v2 en I tales que u1 ≤ u2 y v1 ≤ v2

C(u2, v2)− C(u2, v1)− C(u1, v2) + C(u1, v1) ≥ 0. (2)




Resumen

TeoremaSea H una distribución conjunta bivariada con marginales F yG. Entonces existe una cópula C tal que ∀x , y en R

H(x , y) = C(F (x),G(y)). (3)

Si F y G son continuas, entonces C es única; en otro caso, Ces única sobre el conjunto RanF × RanG.

Observación

C(u, v) = H(F−1(u),G−1(u))




Resumen

EjercicioDetermina las marginales y la cópula asociada a la función dedistribución

H(x , y) =

(x+1)(ey−1)

x+2ey−1 (x , y) ∈ [−1,1]× [0,+∞)

1− e−y (x , y) ∈ (1,+∞)× [0,+∞)0 o.c.




Resumen

SoluciónLas funciones de distribución marginales son

F (x) =

0 x < −1x+1

2 x ∈ [−1,1]1 x > 1

G(y) =

{0 y < 01− e−y y ≥ 0

y cópula asociada

C(u, v) =uv

u + v − uv




Resumen

Determina las marginales y la cópula asociada a la función dedistribución Gumbel

Hθ(x , y) =

{1− e−x − e−y + e−(x+y+θxy) x ≥ 0, y ≥ 00 o.c.




Las distribuciones marginales sonF (x) = 1− e−x , G(y) = 1− e−y

y la respectiva copula es

Cθ(u, v) = u + v − 1 + (1− u)(1− v)e−θ ln(1−u)(1−v)




Cópulas arquimedianas

Recordemos queSi ϕ : [0,1]→ [0,+∞) una función continua y estríctamentedecreciente tal que ϕ(1) = 0 y pseudo inversa ϕ(−1), entoncesla función

C(u, v) = ϕ(−1)(ϕ(u) + ϕ(v)) (4)

es una cópula.Mas aún, si ϕ es dos veces derivable, con ϕ′ < 0 y ϕ′′ > 0entonces la inversa ϕ−1 existe.A ϕ se le conoce como el generador. Algunos ejemplos degeneradores son: ϕ(t) = − ln(t), ϕ(t) = (1− t)θ, ϕ(t) = t−θ,ϕ(t) = (t−θ) − 1)θ−1 y ϕ(t) = (− ln t)θ.




Introducción

ResumenSi un modelo es especificado via cópula, la estimación de susparámetros se puede realizar por máxima verosimilitud (MLE).Debido a que muy probablemente, el modelo está especificadomediante un número considerablemente grande de parámetros,el método MLE requiere de un trabajo de cómputo intensivo oun desarrollo matemático complejo.




El problema

Los datosLos datos consisten de n realizaciones de un vectorbidimensional X, es decir

{Xi = (X1i ,X2i) : i = 1,2, . . . ,n}. (5)

El vector X tiene función de distribución conjunta F y densidadf , así como distribución y densidad marginales Fi y fi ,i = 1,2respectivamente.




Máxima VerosimilitudMétodo IFMMétodo CML

1 Introducción







Método MLE

MLE¿Que necesitas para aplicar el método MLE?¿Cual es el procedimiento?





Método MLE

MLE¿Que necesitas para aplicar el método MLE?¿Cual es el procedimiento?





Recordemos que

F (x , y) = C(F1(x),F2(y)).

Derivando la ecuación anterior,

f (x , y) = c(F1(x),F2(y))f1(x)f2(x) (6)

donde

c(u, v) =∂2C(u, v)

∂u∂v(7)

y la ecuación (7) se puede obtener de la igualdad

C(u, v) = F (F−11 (u),F−1

2 (v)).





Supongamos que los parámetros a estimar son−→θ = (

−→β ′,−→α ′)′,

donde−→β comprende los parámetros de las marginales y −→α

son los parámetros de la cópula.La función Log- verosimilitud es de la forma

L(−→θ ) =

n∑i=1

log c(F1(X1i ,X2i ;−→α ) +

n∑i=1

2∑j=1

log fj(Xji ;−→β )

y el estimador de máxima verosimilitud es:

θ = argmaxθ∈ΘL(θ) (8)

donde Θ es el espacio de parámetros.





Ejemplo

Se tiene una muestra de tamaño n, de una función dedistribución con cópula gumbel

C(u, v) = exp{−[(− ln u)α + (− ln v)α]1/α}

Determinar la función de verosimilitud cuando las marginalesson:

1 Exp(λ1) y Exp(λ2)

2 N(µ1, σ21) y N(µ2, σ

22).





Condiciones de regularidad, caso real

1 Los X1, . . . ,Xn son i.i.d, con densidad f (x |θ).2 El parámetro es identificable; es decir si θ 6= θ′ entonces

f (x |θ) 6= f (x |θ′).3 Las densidades f (x |θ) tienen soporte común y son

diferenciables en θ.4 El espacio Θ contiene un conjunto abierto W y el

verdadero valor del parámetro, θ0 es un punto interior.5 ∀x ∈ X, donde X es el espacio de los valores posibles de

la v.a. X, f (x |θ) es tres veces diferenciable con respecto aθ, además la tercera derivada es continua en θ y∫

f (x |θ)dx es tres veces diferenciable bajo la integral.6 Para θ0 ∈ Θ existe c > 0 y una función M(x), tales que∥∥∥ ∂2

∂θ∂θT logL(θ|x)∥∥∥ ≤ M(x) para todo x ∈ X y θ ∈ B(θ0, c)

donde E [M(x)] <∞.José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2




Si las condiciones de regularidad se satisfacen, entonces elestimador de máxima verosimilitud tiene las siguientespropiedades:

1 Si U es un estadístico suficiente para θ entonces elestimador de máxima verosimilitud es función de U.

2 Si el estimador de máxima verosimilitud existe, entonceses asintóticamente insesgado y asintóticamente demínima varianza.

3 Si θ es el estimador de máxima verosimilitud de θ y t(θ) esuna función uno a uno, el estimador de máximaverosimilitud de t(θ) está dado por t(θ), a esta propiedadse le conoce como la propiedad de invarianza.

4 El estimador de máxima verosimilitud es consistente, esdecir, converge en probabilidad al valor real del parámetro.





Normalidad

Bajo las condiciones de regularidad, el estimador MLE esasintoticamente normal, es decir,

√T (θ − θ0)→ N(0, I−1(θ0)) (9)

donde I(θ0) es la matriz de Información de Fisher evaluada enel verdadero valor θ0 del parámetro θ.

DefiniciónLa matriz de información de Fisher se define como:

I(θ) = E

[(∂ ln L(θ)

∂θ

)(∂ ln L(θ)

∂θ

)t]

(10)

donde E denota el valor esperado con respecto a X .





Bajo ciertas condiciones (¿Cuáles?) se tiene la siguienteigualdad:

I(θ) = E

[(∂ ln L(θ)

∂θ

)(∂ ln L(θ)

∂θ

)t]

= −E[∂2 ln L(θ)

∂θ2

]

En una aplicación, ¿Cómo se obtiene la matriz de informaciónde Fisher muestral?





Bajo ciertas condiciones (¿Cuáles?) se tiene la siguienteigualdad:

I(θ) = E

[(∂ ln L(θ)

∂θ

)(∂ ln L(θ)

∂θ

)t]

= −E[∂2 ln L(θ)

∂θ2

]

En una aplicación, ¿Cómo se obtiene la matriz de informaciónde Fisher muestral?





1 Introducción







Inference for the margins (IFM)

Cuando la obtención por ML implica un trabajo computacionalintensivo, por ejemplo cuando el número de parámetros aestimar es muy grande, se puede aplicar el método IFM:

1 Se estiman los parámetros de las marginales:

−→β = ArgMax

n∑i=1

2∑j=1

ln fj(xjt ;−→β ) (11)

2 Dada la estimación−→β , se obtienen los estimadores de los

parámetros de la cópula:

−→α = ArgMax

n∑i=1

ln c(F1(x1i ;−→α ), F2(x2i ;

−→α )) (12)





El estimador obtenido mediante el método IFM es igual a

θIFM = (−→β ,−→α )t .





Método IFM

Bajo las condiciones de regularidad, el estimador IFM satisfacela propiedad de normalidad asintótica, es decir,

√T (θIFM − θ0)→ N

(0,G−1(θ0)

)(13)

donde G(θ0) es la matrix de Información de Godambe definidacomo

G(θ0) = D−1M(D−1)t (14)

con D = E[∂g(θ)t

∂θ

], M = E

[g(θ)tg(θ)

]y g es la función score.





1 Introducción







Método CML: Canonical Maximum Likelihood Method

Este método se utiliza cuando es de interés principal estimarlos parámetros de una cópula sin especificar las distribucionesmarginales, entonces





Método CML

Procedimiento:1 Estima las distribuciones marginales mediante las

distribuciones empíricas.2 Transforma cada uno de los datos Xi1,Xi2, . . . ,Xin en una

muestra con distribución Uniforme[0,1], Ui1,Ui2, . . . ,Uinutilizando la Función de distribución empíricacorrespondiente.

3 Estima mediante el MLE los parámetros de la cópula comosigue:

−→α = ArgMax

n∑i=1

ln c(U1i ,U2i ;−→α )




Cópula EmpíricaCópula Kernel

1 Introducción







La cópula empírica

Recordemos que los datos son de la forma

{Xt = (X1t ,X2t , . . . ,Xnt ) : t = 1,2, . . . ,T} .

con Xit = (x1t , x2t , . . . , xnt ).Una forma de definir la cópula empírica es por medio de cualquiercópula asociada a la función de distribución empírica, pero estano es única.Deheuvels (1981) propone la siguiente definición:Sean {x (t)

1 , x (t)2 , . . . , x (t)

n } y {r t1, r

t2, . . . , r

tn} los estadísticos de

orden y rango de la muestra. Estos satisfacen la relaciónx (r t

n)n = xnt





Cópula Empírica

DefiniciónCópula empírica de Deheuvels: Está definida sobre el látice(es decir, tiene saltos en):

L =

{(t1T,

t2T, . . . ,

tnT

): 1 ≤ j ≤ n, tj = 0,1,2, . . . ,T

}(15)

mediante la función

CT

(t1T,

t2T, . . . ,

tnT

)=

1T

T∑t=1

n∏j=1

1(r tj ≤ tj) (16)





Cópula Empírica

Propiedades de CT

1 La función de distribución empírica F esta determinada enforma única por

Las funciones de distribución empíricasLos valores de la cópula empírica CT en el conjunto L.

2 La cópula empírica CT definida en L es independiente delas marginales de F





Cópula Empírica

Propiedades asintóticasEs uniformemente consistente, es decir, la cópula empíricaconverge uniformemente a la cópula verdadera(Dehuevels, 1979)El proceso empírico {

√n(Cn − C)(u, v) : 0 ≤ u, v ≤ 1}

converge a un proceso Gaussiano (Fermanian et.al , 2004)

EjercicioPara el caso bivariado, expresa la cópula empírica en términosde las distribuciones conjunta y marginales empíricas.





1 Introducción







Estimador de densidad Kernel

Suponga que se tiene una muestra {X1,X2, . . . ,Xn} de unadensidad f . Si es de interés estimar f , ¿Que estimador oaproximación conoces?¿Que es un histograma? ¿Para que se utiliza?






Suponga que se tiene una muestra {X1,X2, . . . ,Xn} de unadensidad f . Si es de interés estimar f , ¿Que estimador oaproximación conoces?¿Que es un histograma? ¿Para que se utiliza?






Este estimador generaliza el concepto de histograma como"estimador" de la densidad de una variable aleatoria.

El problema

Suponga que se tiene una muestra {X1,X2, . . . ,Xn} de unadensidad f , y se desea estimar f en forma no-paramétrica.






DefiniciónUn Kernel es una función real acotada y simétrica K tal que∫

R

K (x)dx = 1

Nota: El kernel mas utilizado es la densidad normal estándar.

DefiniciónEl estimador kernel de la densidad f se define como

fK (x) =1

nh

n∑i=1

K(

x − xi

h

)(17)

donde h > 0 es llamado el ancho de banda.






EjercicioExpresa la fórmula para el estimador kernel de la densidad,cuando utilza el kernel definido como:

K (x) = 1[|x |≤1/2] (18)

ObservaciónSi el ancho de banda es muy grande, se sobre-suaviza ladensidad y se esconde la estructura de los datosSi el ancho de banda es pequeño, la densidad estimadatiene demasiados picos y por tanto es dificil de interpretar.





Cópula Kernel

Recordemos la siguiente relación entre la cópula C y lasfunciones de distribución conjunta y marginales:

C(u1,u2, . . . ,un) = F (F−11 (u1),F−1

2 (u2), . . . ,F−1n (un)). (19)

Un estimador kernel de la cópula C, se obtiene estimando lasdensidades marginales y conjuntas mediante un estimadorkernel y despues estimar las respectivas funciones dedistribución marginales y conjunta.





Cópula Kernel

Sean k1, k2, . . . , kn funciones kernelLas respectivas densidades marginales estimadas via kernelson:

fi(x) =1

Thi

T∑t=1

ki

(x − Xit

hi

)(20)

y la estimación kernel de la densidad conjunta es:

f (x) =1

h1h2 · · · hn

T∑t=1

n∏i=1

ki

(xi − Xit

hi

)(21)

con x = (x1, x2, . . . , xn).Note que el estimador (21) se obtiene utilizando el kernelmultivariado k(x) = k1(x1)k2(x2) · · · kn(xn).





Cópula Kernel

Aplicando las relaciones teóricas muy conocidas

Fi(x) =

∫ x

−∞fi(t)dt

F (x) =

∫ x1

−∞

∫ x2

−∞· · ·∫ xn

−∞f (t)dt

a los estimadores kernel (20) y (21) se obtienen estimadoresde las distribuciones marginales y conjunta respectivamente.Estos estimadores se insertan en la expresión (19) paraobtener la cópula kernel.





Cópula Kernel

ObservaciónUtilizando el mismo kernel univariado, normal estandar, seobtiene un kernel multivariado, el correspondiente anormales independientes.Una generalización del estimador anterior es utilizando unkernel multivariado, no necesariamente producto defunciones kernel univariados.





Bibliografía

Joe, H., Xu, J. (1996) The Estimation Method of InferenceFunctions for Margins for Multivariate Models. Technical Report166, Department of Statistics, University of British Columbia.Nelsen, Roger B. (1999). An introduction to copulas,Springer-Verlag, New York.

Trivedi, P. and Zimmer, D. (2007) Copula Modeling: AnIntroduction for Practitioners, Foundations and Trends inEconometrics Vol 1, No 1, pp 1-111.


Documents

Métodos Paramétricos Métodos No-paramétricos Contenido · 2012-07-11 · Introducción Métodos Paramétricos Métodos No-paramétricos Máxima Verosimilitud Método IFM Método