Una de las aplicaciones mas importantes de la estadística implica la estimación del valor medio de una variable de respuesta y o la predicción de algún valor futuro de y con base el conocimiento de un conjunto de variables independientes relacionadas, x1, x2, . . . xk.

Los modelos que se emplean para relacionar una variable dependiente y con las variables independientes x1, x2, . . . xk se denominan modelos de regresión o modelos estadísticos lineales porque expresan el valor medio de y para valores dados de x1, x2, . . . xk como una función lineal de un conjunto de parámetros desconocidos.

Los conceptos de análisis de regresión se presentan empleando un modelo de regresión muy sencillo, uno que relaciona y con una sola variable x. Aprenderemos a ajustar este modelo a un conjunto de datos mediante el método de los mínimos cuadrados.

Examinaremos los diferentes tipos de inferencias que pueden hacerse a partir de un análisis de regresión.

Un modelo de regresión simple: supuestos

Supongamos que se quiere determinar la magnitud de la compresión que se producirá en un tipo de material de 2 pulgadas de espesor cuando se someta a diferentes cantidades de presión.

Un modelo de regresión simple: supuestos

Se prueban cinco trozos experimentales del material bajo diferentes presiones. Los valores de x (en unidades de 10 libras por pulgada cuadrada) y las magnitudes de compresión y resultantes (en unidades de 0.1 de pulgada) se presentan en la tabla 1.

ESPÉCIMEN PRESIÓN COMPRESIÓN  X Y

1 1 12 2 13 3 24 4 25 5 4

TABLA # 1

En la figura 1 se muestra una gráfica de los datos, llamada diagrama de dispersión.

X

y

0 1 2 3 4

1

2

3

4

Figura 1.

X

y

0 1 2 3 4

1

2

3

4

X

y

0 1 2 3 4

1

2

3

4

X

y

0 1 2 3 4

1

2

3

4

Supongamos que creemos que el valor de y tiende a aumentar de forma lineal conforme x aumenta

5

Entonces, podríamos escoger un modelo que relacione a y con x trazando una línea recta a través de los puntos de la figura.

X

y

0 1 2 3 4

1

2

3

4

5

Semejante modelo determinístico (uno que no contempla errores de predicción) podría ser adecuado si todos los puntos de la figura quedaran sobre la línea ajustada.

La solución es construir un modelo probabilístico que relacione y con x; uno que contemple la variación aleatoria de los puntos de datos a los lados de una línea recta.

Un tipo de modelo probabilístico, el modelo de regresión lineal simple, supone que el valor medio de y para un valor dado de x se grafica como una línea recta y que los puntos se desvían de esta línea de medias en una cantidad aleatoria (positiva o negativa) igual a , es decir: xy 10

xy 10

xy 10

xy 10

xy 10

Valor medio de ypara una x dada

Erroraleatorio

Donde 0 y 1 son parámetros desconocidos de la porción determinística del modelo.

Valor medio de ypara una x dada

Erroraleatorio

Si suponemos que los puntos se desvían por encima y por debajo de la líneas de medias, siendo algunas desviaciones positivas, otras negativas, y con E() = 0, entonces el valor medio de y es:

xy 10

xExxEyE 101010ˆˆ)(ˆˆ)()(

xExxEyE 101010ˆˆ)(ˆˆ)()(

xExxEyE 101010ˆˆ)(ˆˆ)()(

xExxEyE 101010ˆˆ)(ˆˆ)()(

Por lo tanto, el valor medio de y para un valor dado de x, representado por el símbolo E(y), se grafica como una línea recta con ordenada al origen igual a 0 y pendiente igual a 1

0̂1̂

X

y

01 2 3 4

1

2

3

4

origenalordenada0̂

pendiente1̂

xyE 10ˆˆ)(

xy 10

Modelo de regresión lineal simple (probabilístico)

Donde: y = variable dependientex = variable independiente

E(y)=0+1x es el componente determinístico (la ecuación de una línea recta) = componente de error aleatorio

xyE 10ˆˆ)(

0 = punto en que la línea corta el eje y0̂1 = pendiente de la línea1̂

Si queremos ajustar un modelo de regresión lineal simple a un conjunto de datos, debemos encontrar estimadores para los parámetros desconocidos, 0 y 1.0̂ 1̂

Los supuestos, que se resumirán a continuación, son básicos para todo análisis de regresión estadístico.

SUPUESTO 1:La media de la distribución de probabilidad de es cero. Es decir, la media de los errores a lo largo de una serie infinitamente larga de experimentos es cero para cada valor de la variable independiente x. Este supuesto implica que el valor medio de y, E(y), para un valor dado de x es E(y)=0+1x xyE 10

ˆˆ)(

SUPUESTO 2:La varianza de la distribución de probabilidad de es constante para todos los valores de la variable independiente x

SUPUESTO 3:La distribución de probabilidad de es normal

Los errores asociados a cualquier dos observaciones distintas son independientes. Es decir, el error asociado a un valor de y en particular no tiene efecto alguno sobre los errores asociados a otros valores de y

SUPUESTO 4:

La suma de los cuadrados de las desviaciones se denomina suma de los cuadrados del error y se denota con el símbolo SSE. La línea recibe el nombre de línea de mínimos cuadrados, línea de regresión o ecuación de mínimos cuadrados.

ESTIMACIÓN DE 0 y 1:EL METODO DE LOS MÍNIMOS

CUADRADOS

0̂ 1̂

y

0

1

2

3

4

X1 2 3 4

X

y

01 2 3 4

1

2

3

4

X

y

01 2 3 4

1

2

3

4

El modelo de línea recta para la respuesta y en términos de x es: y= 0+1x +

y la línea ajustada, que esperamos encontrar, se representa como:

xy 10ˆˆˆ

La línea de medias es: E(y)= 0+1x

xyE 10ˆˆ)(

Formulas para las estimaciones de mínimos cuadrados

Pendiente:xx

xy

SS

SS1̂

Ordenada al origen:

xy 10ˆˆ

Donde:

n

iiixy yyxxSS

1

))((

n

iixx xxSS

1

2)(

Ejercicio:

A continuación tenemos las estaturas en centímetros (muestra x) y el peso en kilogramos (y) de niños de 6 años.

Niño 1 2 3 4 5 6 7 8 9 10Estatura (cm)

x

121

123

108

118

111

109

114

103

110

115

Peso (kg) y

25 22 19 24 19 18 20 15 20 21

Ejercicio:

Calcular: las medidas centrales, el primero y segundo cuartil, los percentiles 30 y 70, el diagrama de dispersión

Ejercicio:

Con esta información encontrar la ecuación de la línea recta E(y)=?

Niño 1 2 3 4 5 6 7 8 9 10Estatura (cm)

x

121

123

108

118

111

109

114

103

110

115

Peso (kg) y

25 22 19 24 19 18 20 15 20 21