Modelo de regresión lineal múltiple

MotivaciónAsociación entre variables

MODELO DE REGRESIÓN LINEAL MÚLTIPLE

Andrey Mauricio Montoya Jurado

ASOCIACIÓN ENTRE VARIABLESEstadística y Probabilidad

Universidad del Quindío

Andrey Mauricio Montoya Jurado Regresión Lineal Múltiple


Contenido

1 MotivaciónRegresiónEjemplo de Motivación

2 Asociación entre variablesCaso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM



RegresiónEjemplo de Motivación

Contenido






Regresión

La historia dice que Sir Francis Galton a finales del siglo XIXestaba interesado en predecir la altura de los hijos a partir de laaltura de los padres.

Despues de reunir las alturas de padres e hijos, verificó quepadres altos tenían hijos altos y padres bajos tenían hijos bajos.

Esto lo hizo pensar que existía una regresión entre las alturasde padres e hijos, desde entonces se usa el término Regresiónpara asociar variables.




Contenido






Motivación

Una de las características del alambre para amarres es su resistenciaa tracción (Y ). Se desea estimar la resistencia a la tracción (Y ) conla información que proporcionan las variables: altura del amarre (X1),altura del poste (X2) y longitud del alambre(X3).



Caso particular del modelo de Regresión Lineal MúltipleCaso general del Modelo de Regresión Lineal MúltipleProblema de Aplicación del MRLM

Contenido






Modelo Poblacional del MRLM

Se tiene el interés de relacionar la variable Y con las variables expli-cativas X1 y X2 utilizando la regresión lineal, se trataría de analizarun modelo de la forma

Y = b0 +b1X1 +b2X2 + e

Si se dispone de un conjunto de n observaciones (x1i , x2i , yi ), i =1, . . . ,n

X1 X2 Yx11 x21 y1

x12 x22 y2

x13 x22 y3...

......

x1n x2n yn

Cuadro : Esquema de una Matriz de Datos con 3 variablesAndrey Mauricio Montoya Jurado Regresión Lineal Múltiple



Modelo Muestral del MRLM

El sistema de ecuaciones

yi = b0 +b1x1i +b2x2i + ei , i = 1, . . . ,n

Supuestos del modelo:ei ∼ N

(0, σ2).

ei son no correlacionados.X1 y X2 son no correlacionadas.

En notación matricial queda expresado en la forma

Y = Xβ + e




Modelo de Regresión Lineal Múltiple (MRLM)

donde Y =

y1y2...yn

, X =

1 x11 x211 x12 x22...

......

1 x1n x2n

,

β =

b0b1b2

, e =

e1e2...en




Estimación del modelo

Dado el modelo muestral

yi = b0 +b1x1i +b2x2i + ei , i = 1, . . . ,n

¿Cómo estimar los parámetros b0, b1 b2?




Método de mínimos cuadrados

La ecuación Y = Xβ + e puede también expresarse como

e = Y −Xβ

por lo tanto

e ′e =n

∑i=1

e2i = (Y −Xβ )′ (Y −Xβ )

= Y ′Y −2(Xβ )′Y + (Xβ )′ (Xβ )

= Y ′Y −2β′X ′Y + β

′X ′Xβ

es una ecuación que expresa la suma de los cuadrados de los erroresen términos del vector de parámetros β .




Método de mínimos cuadrados

El mínimo de esta función se obtiene derivando e ′e respecto a β eigualando a cero, esto es

∂e ′e∂β

=−2X ′Y +2X ′Xβ = 0

lo que conduce finalmente a la ecuación

X ′Xβ = X ′Y (1)

y el estimador de mínimos cuadrados de β esta dador por :

β =(X ′X

)−1 X ′Y (2)




Contenido






Caso General del MRLM

Cuando se desea relacionar p variables independientes X1,X2, X3, , . . . , Xpcon una variable dependiente Y , el modelo de regresión toma la for-ma

Y = b0 +b1X1 +b2X2 + · · ·+bpXp + e

Si se dispone de n observaciones (x1i , ,x2i ,, . . . , ,xpi , yi ) , i = 1, . . . ,n

yi = b0 +b1x1i +b2x2i + · · ·+bpxpi + ei , i = 1, . . . ,n

Supuestos del modelo:ei ∼ N

(0, σ2).

ei son no correlacionados.X ′s sean no correlacionados entre ellas.





En notación matricial el modelo queda expresado en la forma Y =Xβ + e

donde Y =

y1y2...yn

, X =

1 x11 x21 · · · xp11 x12 x22 · · · xp2...

......

......

1 x1n x2n · · · xpn

,

β =

b0b1...

bp

, e =

e1e2...en

de (2) tenemos:

β =(X ′X

)−1 X ′YAndrey Mauricio Montoya Jurado Regresión Lineal Múltiple




Con las matrices X ′X y X ′Y de la forma:

X ′X =

n ∑x1i ∑x2i ∑x3i · · · ∑xpi

∑x1i ∑x21i ∑x1ix2i ∑x1ix3i · · · ∑x1ixpi

∑x2i ∑x2ix1i ∑x22i ∑x2ix3i · · · ∑x2ixpi

......

......

. . ....

∑xpi ∑xpix1i ∑xpix2i ∑xpix3i · · · ∑x2pi

X ′Y =

∑yi

∑x1iyi

∑x2iyi...

∑xpiyi




Contenido






Problema de Aplicación del MRLM

Una de las características del alambre para amarres es su resistenciaa tracción (Y ). En la tabla, está la información sobre esta variable,altura del amarre (X1), altura del poste (X2) y longitud (X3) para19 alambres.




Datos de las variables de alambre para amarres.

Y X1 X2 X3

8,0 19,6 29,6 94,9

8,3 19,8 32,4 89,7

8,5 19,6 31 96,2

8,8 19,4 32,4 95,6

9,0 18,6 28,6 86,5

9,3 18,8 30,6 84,5

9,3 20,4 32,4 88,8

9,5 19,0 32,6 85,7

9,8 20,8 32,2 93,6

10,0 19,9 31,8 86,0

10,3 18,0 32,6 87,1

10,5 20,6 33,4 93,1

10,8 20,2 31,8 83,4

11,0 20,2 32,4 94,5

11,3 19,2 31,4 83,4

11,5 17,0 33,2 85,2

11,8 19,8 35,4 84,1

12,3 18,8 34 86,9

12,5 18,06 34,2 83,0

Cuadro : Datos de las variables de Alambre para amarres.




Forma matricial del problema

La variable Y se puede relacionar con las variables X1, X2, y X3 através del modelo de regresión lineal múltiple

Y = b0 +b1X1 +b2X2 +b3X3 + e

En forma matricial

Y =

88,38,5...

12,5

X =

1 19,6 29,6 94,91 19,8 32,4 89,7...

......

...1 18,6 34,2 83,0





Utilizando R (lenguaje y entorno de programación para análisis es-tadístico y gráfico) tenemos:

X ′X =

19 368,3 612 1682,2

368,3 7155,45 1186,22 32643,48612 11863,22 19757,92 54154,88

1682,2 32643,48 54154,88 149323,1

X ′Y =

192,5

3725,666227,2616980,18





(X ′X )−1 =

61,834 −0,681 −0,867 −0,233−0,681 0,078 −0,005 −0,007−0,867 −0,005 0,024 0,002−0,233 −0,007 0,002 0,003

finalmente

β =

b0b1b2b3

= (X ′X )−1 X ′Y =

5,6458−0,11310,5187−0,1133




Modelo de regresión que relaciona las variables

Así el modelo que relaciona las variables: resistencia a la tracción(Y ), altura del amarre (X1), altura del poste (X2), y longitud delalambre (X3), para los datos de la tabla es

Y = 5,6458−0,1131X1 +0,5187X2−0,1133X3 (3)




Evaluación del modelo

Debemos probar la significancia de los parámetros estimados

H0 : bi = 0 i = 0,1,2,3H1 : bi 6= 0

Si p−valor > 0,05




Confirmación de los resultados utilizando STATGRAPHICS




Mejor ajuste utilizando STATGRAPHICS




Diagramas de dispersión para las variables explicativas

Para visualizar la no colinealidad entre las variables regresoras X1, X2y X3 aparecen en la figura los diagramas de dispersión entre diferentespares de variables.

Figura : Diagramas de dispersión para las variables explicativas X1, X2 y X3.




Matriz de correlación

La matriz de correlación entre las variables explicativas X1, X2 y X3es

Corr(Xi ,Xj) =X1X2X3

X1 X2 X31,0000 0,0031 0,44630,0031 1,0000 −0,22480,4463 −0,2248 1,0000

y como puede observarse no existe correlación lineal alta entre ningúnpar de variables, confirmándose de nuevo la no colinelidad.




La calidad del Modelo de Regresión Multiple

La evaluación del Modelo de Regresión Multiple se hace, a travez de

R2 =β ′X ′Y −n (y)2

∑ni=1 Y 2

i −n (y)2

Utilizando el paquete R tenemos

y = 10,13n

∑i=1

y2i = 1983,55 β ′X ′Y = 1971,9

Finalmente se tiene que el coeficiente de determinación es

R2 =1971,9−19(10,13)2

1983,55−19(10,13)2 = 0,65

lo cual significa que las tres variables independientes consideradas eneste ejemplo explican el 65% de la variación de la resistencia a latracción.




MUCHAS GRACIAS


Bibliografia Lecturas Complementarias

Lecturas Complementarias I

Hurtado, L. H., García, M. D., Galvis, D. M., & Salcedo, G. E.(2006). Estadística Básica. Armenia.

Mendenhall, W., Beaver, R., & Beaver, B. (2003). Introduccióna la probabilidad y estadística. Mexico: Thomson Learning.

Ross, S. (2000). Probabilidad y Estadística para Ingenieros.Mexico: McGRAW-HILL.

Draper, N. R., & Smith, H. (1966). Applied RegressionAnalysis. New York: John Wiley & Sons, Inc.


Education

Modelo de regresión lineal múltiple