Upload
skyblackperu
View
239
Download
1
Embed Size (px)
DESCRIPTION
dgrado
Citation preview
Dpto de Economıa CuantitativaUniversidad Complutense de Madrid
ECONOMETRIARegresion lineal
Marcos Bujosa
Trasparencias de clase para la asignatura econometrıa de los
grados en Economıa y Administracion y Direccion de Empresas
de la Universidad Complutense de Madrid
copy 2010ndash2012 Marcos Bujosa marcosbujosacceeucmes
Actualizado el 8 de marzo de 2012 Version 0104
Copyright copy 2010ndash2012 Marcos Bujosa marcosbujosacceeucmes
Este material docente se distribuye bajo la Creative Commons Attribution-Share Alike 30 Spain Para ver una copia de esta licencia visite httpcreativecommons
orglicensesby-sa30es
Tabla de Contenido
1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO) 4
11 Introduccion 4
12 Algunos casos particulares 18
2 Propiedades algebraicas de la estimacion MCO 27
21 Propiedades basicas 27
22 Medidas de ajuste 32
Apendices 42
1 Derivacion tradicional de las Ecuaciones Normales 43
Bibliografıa 45
Transparencias 45
1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO)
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
11 Introduccion
uArr Relacionar una variables con otras puede mejorar la comprension 1
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Copyright copy 2010ndash2012 Marcos Bujosa marcosbujosacceeucmes
Este material docente se distribuye bajo la Creative Commons Attribution-Share Alike 30 Spain Para ver una copia de esta licencia visite httpcreativecommons
orglicensesby-sa30es
Tabla de Contenido
1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO) 4
11 Introduccion 4
12 Algunos casos particulares 18
2 Propiedades algebraicas de la estimacion MCO 27
21 Propiedades basicas 27
22 Medidas de ajuste 32
Apendices 42
1 Derivacion tradicional de las Ecuaciones Normales 43
Bibliografıa 45
Transparencias 45
1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO)
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
11 Introduccion
uArr Relacionar una variables con otras puede mejorar la comprension 1
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Tabla de Contenido
1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO) 4
11 Introduccion 4
12 Algunos casos particulares 18
2 Propiedades algebraicas de la estimacion MCO 27
21 Propiedades basicas 27
22 Medidas de ajuste 32
Apendices 42
1 Derivacion tradicional de las Ecuaciones Normales 43
Bibliografıa 45
Transparencias 45
1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO)
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
11 Introduccion
uArr Relacionar una variables con otras puede mejorar la comprension 1
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO)
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
11 Introduccion
uArr Relacionar una variables con otras puede mejorar la comprension 1
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Relacionar una variables con otras puede mejorar la comprension 1
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible
de las personas se relaciona del siguiente modo
CONn = β1 + β2RDn + Un
Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo
con como una funcion lineal de la renta disponible rd
con = β1 middot 1 + β2 middot rd =[1 rd
] [β1β2
]Aquı llamamos
regresando (o variable a explicar) al vector de datos de consumo con
regresores (o variables explicativas) al vector de unos (1) junto al vector de
datos de renta disponible (rd) [1 rd
]= X
vector de parametros a
β =
[β1β2
]
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 2 [precio de las viviendas]
EjPviviendainp Gretl
Suponga que dispone de los siguientes datos
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan
2002 pp 78)
Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio
del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion
estado de mantenimiento servicios etc)
Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ası
y= β1 middot 1 + β2 middot x
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ası
y= β1 middot 1 + β2 middot x =
y1y2y3y4y5y6y7y8y9y10y11y12y13y14
= β1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
+ β2
1065
1254
1300
1577
1600
1750
1800
1870
1935
1948
2254
2600
2800
3000
=
1 1065
1 1254
1 1300
1 1577
1 1600
1 1750
1 1800
1 1870
1 1935
1 1948
1 2254
1 2600
1 2800
1 3000
[β1
β2
]= Xβ
de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera
y7 = β1 + β2 middot x7 = β1 + β2 middot 1800
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Recta de regresion 2
ZCodigo EjPviviendainp Gretl
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
price versus sqftpric
e
sqft
Recta
deaj
uste
linea
l
y7
y12
e gt 0
y12
iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Modelos lineales en los parametros 3
El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1
yn
= β1
1
1
+ β2
x12
xN2
+ β3
x13
xN3
+ middot middot middot+ βk
x1kxNk
o
y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk
=[1xH2 xHk
]β
= Xβ
donde β =
β1
βk
X =[1 xH2 xHk
] y y
[Ntimes1]
= X[Ntimesk]
β[ktimes1]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Termino de error 4
Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra
concreta y y X son
e = y minus y = y minus Xβ
es decir el error cometido por el ajuste para el individuo n es
en = yn minus xnβ = yn minus yn
donde xn
=[1 xn2 middot middot middot xnk
]
Notese que descomponemos los datos en dos partes y = y + e
Consideremos la Suma de los Residuos al Cuadrado para todo n
SRC(β) equivNsum
n=1
e2n =
Nsumn=1
(yn minus yn
)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Ajuste lineal geometrıa 5
Tenemos una muestra de y y X es decir disponemos de
y =
y1y2
yN
X =
1 x11 x2
1 xN
y buscamos β =
(a
b
)tales que
y = Xβ + e
y donde queremos que e sea pequeno
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Ajuste lineal geometrıa 6
1
y
X H2
e
a1
y = Xβ
bX H2
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Ajuste lineal geometrıa MCO 7
a1
1
y
X H2
bX H2
e
y = Xβ
X =[1 xH2
] β =
[a
b
] y = y + e y = Xβ
e = y minus y
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Ajuste mınimo cuadratico Ecuaciones normales 8
La SRC(β) es mınima para valores β tales que los errores son ortogonales a los
regresores de la muestra X
e perp X rArr Xᵀe = 0
Ası
Xᵀe = 0 rArr Xᵀ(y minus Xβ
)= 0 rArr Xᵀy minus XᵀXβ = 0
es decir
XᵀX β=Xᵀy (11)
El calculo MCO de lo parametros es la solucion β a dichas ecuaciones
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Condicion para que las ecuaciones normales tengan solucion unica 9
Las ecuaciones normales
XᵀX β=Xᵀy
tienen solucion unica si y solo si XᵀX es de rango completo
Es decir podemos obtener unos valores para β solo si
rango
(X
[Ntimesk]
)= k
En tal caso
β=(XᵀX)-1Xᵀy (12)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros
SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un
donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus
anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)
Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros
ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un
En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de
empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia
y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible
Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el
efecto por separado de ambas variables solo podemos calcular su efecto conjunto
ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
12 Algunos casos particulares
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Modelo 1 una constante como unico regresor 10
Veamos en que consiste el ajuste MCO cuando X = 1
β = (XᵀX)-1Xᵀy
se reduce a
β1 = (1ᵀ1)-11ᵀy
y calculando los productos escalares
1ᵀ1 = N 1ᵀy =sum
yn
tenemos que
β1 =
sumyn
N= y y = Xβ = y middot 1 equiv y (13)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Modelo 2 Modelo Lineal Simple 11
Un regresor adicional a la constante
y =
y1y2
yN
X =
1 x11 x2
1 xN
β =
(a
b
)
Las ecuaciones normales son
XᵀXβ = Xᵀy
es decir
(1 1 1
x1 x2 xN
)1 x11 x2
1 xN
(a
b
)=
(1 1 1
x1 x2 xN
)y1y2
yN
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Modelo 2 Modelo Lineal Simple 12
a N + bsumxn =
sumyn
asumxn + b
sumx2n =
sumxnyn
(14)
dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y
operando
a + b x = y
b s2x = sxy(15)
es decir
b=sxy
s2x(16)
y
a =y- b x (17)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13
Ası pues el modelo lineal simple
b =sxy
s2x=
sxy
s2xmiddotsy
sy=
sxy
sxsymiddotsy
sx= rxy middot
sy
sx
es decir
b = rxy middotsy
sx
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Ejemplo 4 [precio de las viviendas]
ZCodigo EjPviviendainp Gretl
n Precio Superficie
1 1999 1065
2 2280 1254
3 2350 1300
4 2850 1577
5 2390 1600
6 2930 1750
7 2850 1800
8 3650 1870
9 2950 1935
10 2900 1948
11 3850 2254
12 5050 2600
13 4250 2800
14 4150 3000
Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)
Tratemos de ajustar por MCO un modelo lineal simple a los precios
y = β1 middot 1 + β2 middot x =[1 x
] [β1β2
]= Xβ
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
a partir de (16) y (17) en la pagina˜21 tenemos
b =sxy
s2x= 013875 a = y minus xb = 523509
Es decir
price = 5235 + 0139 sqft
Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de
1800 pies cuadrados sera de
y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares
sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala
situacion dispone de pocos servicios etc)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
n Precio Superficie Precio ajustado Error
por el modelo lineal e
1 1999 1065 2001200 -022000
2 2280 1254 2263438 165619
3 2350 1300 2327263 227368
4 2850 1577 2711602 1383984
5 2390 1600 2743514 -3535142
6 2930 1750 2951640 -216397
7 2850 1800 3021015 -1710148
8 3650 1870 3118140 5318600
9 2950 1935 3208328 -2583278
10 2900 1948 3226365 -3263653
11 3850 2254 3650941 1990587
12 5050 2600 4131017 9189826
13 4250 2800 4408518 -1585180
14 4150 3000 4686019 -5360187
Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores
estimados
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un
EjPviviendaSimuladoinp Gretl
ZCodigo EjPviviendaSimuladoinp Gretl
open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
2 Propiedades algebraicas de la estimacion MCO
21 Propiedades basicas
Capıtulos 2 y 3 de Wooldridge (2006)
Apendice E1 de Wooldridge (2006)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Mınimos cuadrados ordinarios Vectores ortogonales 14
La estimacion MCO de β T7 implica que
e perp X rArr Xᵀe =0
Y como y = Xβ
yᵀe = βᵀXᵀe = β
ᵀ0 = 0
Por tanto
Xᵀe =0 rArr yᵀe =0 (21)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15
yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)
Ya que
yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y
=yᵀy + 2yᵀe + eᵀe desarrollando el producto
=yᵀy + eᵀe ya que de (21) yᵀe = 0
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados 16
SRC equivNsum
n=1
en2 = eᵀe 6= Ns2e (por regla general)
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y
SEC equivNsum
n=1
(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Sumas de cuadrados Caso de modelos con cte 17
y =y + e (siempre)
se y =0 (siempre)
s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)
Si ademas el modelo incluye un vector de constantes entonces
eᵀ1 = 0 rArr e = 0 y
SRC equivNsum
n=1
en2 = eᵀe minusNe
2= Ns2e
STC equivNsum
n=1
(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)
Entonces SEC = Ns2y
y STC = SEC + SRC
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
22 Medidas de ajuste
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Medidas de ajuste Coeficiente de determinacion R2 18
R2 equiv 1minusSRC
STC R2 le 1 (no acotado inferiormente)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
R2ModeloConySinConstanteinp Gretl
simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Coeficiente de determinacion cuando hay termino constante 19
R2 =SEC
STC 0 le R2 le 1 (acotado)
Como SEC = Nsyy y entonces
R2 =SEC
STC=
SEC2
STC times SEC=
(Nsyy
)2
Ns2y timesNs2y=N2
N2
syyradics2y times s2y
2
=(ryy
)2
donde ryy es la correlacion lineal simple entre y e y
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Otras medidas de ajuste 20
R2 corregido (mejor cuanto mas elevado)
R2 equiv 1minusSRCNminuskSTCNminus1
= 1minusN minus 1
N minus k(1minusR2) le 1
Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)
AIC =N ln(2π) +N ln
(eᵀe
N
)+N + 2(k + 1)
SBC =N ln(2π) +N ln
(eᵀe
N
)+N + (k + 1) ln(N)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Estimaciones MCO utilizando las 14 observaciones 1ndash14
Variable dependiente price
Variable Coeficiente Desv tıpica Estadıstico t valor p
const 523509 372855 14041 01857
sqft 0138750 00187329 74068 00000
Media de la var dependiente 317493
DT de la variable dependiente 884982
Suma de cuadrados de los residuos 182736
Desviacion tıpica de los residuos (σ) 390230
R2 0820522
R2 corregido 0805565
Grados de libertad 12
Criterio de informacion de Akaike 144168
Criterio de informacion Bayesiano de Schwarz 145447
Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml
ZCodigo EjPviviendainp Gretl
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos
pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre
el modelo de mayor relevancia a la hora de valorarlo
Ejemplo 5 [peso de ninos segun su edad]
PesoEdadinp Gretl
n Peso Kg Edad
1 39 7
2 40 7
3 42 8
4 49 10
5 51 10
6 54 11
7 56 12
8 58 14
Cuadro 4 Peso (en kilogramos) y edad (en anos)
open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
(Modelo 1 Pn = β1 + β2EDADn + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 19 6910(6999)
+ 2 93003(10564)
Edad
T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161
(entre parentesis los estadısticos t)
grafico
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = minus5 11497(minus0664)
+ 8 06835(5159)
Edadminus 0 252102(minus3305)
Edad2
T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148
(entre parentesis los estadısticos t)
grafico
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3
n + Un)
E(P | e) = a + b middot e + c middot e2 + d middot e3estimada
observada35
40
45
50
55
60
65
6 7 8 9 10 11 12 13 14 15
Pes
oK
g
Edad
Peso con respecto a Edad (observado y estimado)
Peso Kg = 81 7714(1904)
minus 18 5964(minus1419)
Edad + 2 37778(1845)
Edad2minus 0 0836541(minus2043)
Edad3
T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188
(entre parentesis los estadısticos t)
grafico
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Regresograma y recta de regression 21
EstCondVentasinp Gretl
La media es un estimador insesgado de la esperanza
en el regresograma E(Yn | intervalo)
En el tema siguiente veremos bajo que condiciones la regresion es un estimador
insesgado de la esperanza condicional E(Yn | xn
)
include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Apendices
1 Derivacion tradicional de las Ecuaciones Normales
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22
SRC(β) = yᵀy minus 2βᵀXᵀy + β
ᵀXᵀXβ
Buscamos un vector βque minimice SRC
mınβ SRC(β)
partSRC(β)
partβ= 0 minus2Xᵀy + 2XᵀXβ = 0
con lo que obtenemos las ecuaciones normales
XᵀXβ = Xᵀy (11)
Estimacion MCO es la solucion a dichas ecuaciones
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
Bibliografıa
Ramanathan R (2002) Introductory Econometrics with applications
South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7
Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno
Thomson Learning Inc segunda ed 4 17 27
Transparencias
1 [T-1] Relacionar una variables con otras puede mejorar la comprension
2 [T-2] Recta de regresion
3 [T-3] Modelos lineales en los parametros
4 [T-4] Termino de error
5 [T-5] Ajuste lineal geometrıa
6 [T-6] Ajuste lineal geometrıa
7 [T-7] Ajuste lineal geometrıa MCO
8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales
9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica
10 [T-10] Modelo 1 una constante como unico regresor
11 [T-11] Modelo 2 Modelo Lineal Simple
12 [T-12] Modelo 2 Modelo Lineal Simple
13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal
14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales
15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
16 [T-16] Sumas de cuadrados
17 [T-17] Sumas de cuadrados Caso de modelos con cte
18 [T-18] Medidas de ajuste Coeficiente de determinacion R2
19 [T-19] Coeficiente de determinacion cuando hay termino constante
20 [T-20] Otras medidas de ajuste
21 [T-21] Regresograma y recta de regression
22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)
e=
My
=yperp X
y
y = Py = ysubX
C (X)
Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)
generado por los regresores (las columnas de X)