1
Estimación mediante Minimos Cuadrados Ordinarios de una
Regresión Lineal Simpleyi = b0 + b1xi + ui
Preparado por: Ph.D. David Sabando Vera
Universidad Federico Santa Maria – Campus Guayaquil
Mayo, 2014
2
Objetivo
Estimar los parámetros poblacionales de una regresión lineal, a través del Método de Mínimo Cuadrado Ordinarios.
3
Indice.
1. Recordando algunos aspectos importantes de la regresión lineal.
2. Desarrollo del Método de Mínimo Cuadrado Ordinarios MCO
3. Ejemplo de aplicación.
4
1. Recordando algunos aspectos importantes.
5
La relación funcional de la regresión lineal simple
yi = b0 + b1xi + ui
6
El valor promedio de ui, el término de error, en la población es = 0. Es decir,E(u) = 0
Este supuesto no es muy restrictivo puesto que siempre podemos ajustar el intercepto b0 para normalizar E(u) = 0
7
Hay un supuesto crucial sobre la relación entre el error y la variable explicativa: cov(x, u)
Es decir, que la información contenida en x sea independiente de la información contenida en u (ie, que no estén relacionados), de modo que:
E(u|x) = E(u) = 0, lo cual implica:
E(y|x) = b0 + b1x, implica que la función de regresión poblacional es una función lineal.
8
..
x1 x2
E(y|x) es una funcion lineal de x: para cada x,la predicción de y es E(y|x)
E(y|x) = b0 + b1x
y
f(y)
9
.
..
.
y4
y1
y2
y3
x1 x2 x3 x4
}
}
{
{
u1
u2
u3
u4
x
y
Línea de regresión, observaciones y errores
E(y|x) = b0 + b1x
10
Fuente: Wooldridge, J. 2010
¿Cómo estimar los parámetros b0 y b1?
11
12
Mínimos Cuadrados Ordinarios (MCO) La idea básica es estimar parámetros
poblacionales a partir de una muestra. Sea {(xi,yi): i=1, …,n} una muestra aleatoria
de tamaño n de una población. Para cada observación en la muestra,
tenemos:
yi = b0 + b1xi + ui
13
Derivación de estimadores MCO /OLS El supuesto E(u|x) = E(u) = 0 implica que
Cov(x,u) = E(xu) = 0
¿Por qué? En probabilidad básica sabemos que:
Cov(x,u) = E(xu) – E(x)E(u)
y dado que E(u)=0 Cov(x,u) = E(xu) = 0
• Las variables explicativa son no estocásticas• E (u) = 0• Var (u) constante (homocedasticidad)• E(ui, uj) = 0 para todo i=j (no autocorrelación)
iii uxy 10
Estimación de los parámetros Mínimos Cuadrados Ordinarios
Aquellos que minimizan la suma de los residuos al cuadrado. El error cometido en la estimación (residuo), es el estimador
de la perturbación, y por tanto el objetivo a minimizar.
iiii
iiiii
ii
iii
yyuresiduo
uyuxy
xy
uxy
ˆˆ
ˆˆˆˆˆ
ˆˆˆ
10
10
10
Media condicional poblacional
muestral
Media condicional muestral
Deducción de los estimadores MCO
17
• Se busca la recta que minimiza la suma al cuadrado de los residuos
21 101
2 ˆˆˆ..
n
i i
n
i i xyuRS
Deducción de los estimadores MCO
n
i i
n
i i
n
i ii
xny
xyRS
1101
1 100
0ˆˆ
0)1(ˆˆ2ˆ
..
0ˆˆ
0)(ˆˆ2ˆ
..
1
2101
1 101
n
i ii
n
i ii
i
n
i ii
xxxy
xxyRS
Ecuaciones Normales
Deducción de los estimadores MCO Despejando se obtienen los estimadores MCO
221
10
ˆ
ˆˆ
xnx
yxnxy
xy
i
ii
Cálculo de la ecuación de regresión lineal simple
X Y XY X2suj1 120 10 1200 14400suj2 100 9 900 10000suj3 90 4 360 8100suj4 110 6 660 12100
4 SUMA SUMA3120 44600
PROMEDIO PROMEDIO105 7.25
N4
Luego
5.8105*15.025.7ˆ
15.0105*444600
25.7*105*43120ˆ
0
21
𝒚=−𝟖 .𝟓+𝟎 .𝟏𝟓𝒙
21
3. Ejemplo de aplicación Práctica (Modelo simple) Algunos gerentes de ventas reunieron
información sobre el número de las ventas de las llamadas realizadas y el número de fotocopiadoras vendidas en una muestra aleatoria de 10 representantes de ventas. Utilizar el método de mínimos cuadrados ordinarios para determinar una ecuación lineal para expresar la relación entre las dos variables.
¿Cuál es el número esperado de fotocopiadoras vendidas por un representante que hizo 20 llamadas?
22
Ejemplo:
XY
XY
1842.19476.18
:isequation regression The
^
10
^
6316.42
)20(1842.19476.18^
^
Y
Y
23
Gráfico del Ejemplo