Embed Size (px)
Citation preview
1. ¿Cuál es el propósito general del análisis de regresión?
En términos generales, el análisis de Regresión trata sobre el estudio de la dependencia de un fenómeno económico respecto de una o varias variables explicativas, con el objetivo de explorar o cuantificar la media o valor promedio poblacional de la primera a partir de un conjunto de valores conocidos o fijos de la/s segunda/s.
Utiliza el método de los "mínimos cuadrados" para ajustar una línea a una serie de observaciones. Puede utilizar esta herramienta para analizar la forma en que los valores de una o más variables independientes afectan a una variable dependiente; por ejemplo, en el rendimiento de un atleta inciden varios factores: la edad, la estatura y el peso entre otros. Basándose en un conjunto de datos de rendimiento, la regresión determinará la incidencia de cada uno de los factores en la medición del rendimiento y podrán utilizarse estos resultados para predecir el rendimiento de un atleta nuevo no sometido a ninguna prueba.
2. En el análisis de regresión intervienen dos tipos de variables: las independientes y las dependientes. Explique con sus palabras y a través de ejemplos, las características de estos dos tipos de variables.
En un Análisis de Regresión simple existe una variable respuesta o dependiente (y) que puede ser el número de especies, la abundancia o la presencia-ausencia de una sola especie y una variable explicativa o independiente (x). La variable independiente aquella que produce modificaciones en otra variable con la cual está relacionada. Suele designársele, por ello, como variable causal. La variable dependiente, por su lado, experimenta modificaciones siempre que la variable independiente cambia de valor o modalidad de darse. Por ello, también recibe el nombre de variable efecto. Es importante señalar que una variable independiente en una cierta relación puede ser dependiente en otra, o viceversa. De manera general, pero simplificada, podemos decir que entre una variable independiente y su correspondiente variable dependiente se puede dar una variable interviniente, que actúa como puente entre las dos primeras. 4.- Considere el modelo de regresión lineal simple yi=β0 + β1xi + εi, conteste:
a) Formule las hipótesis que se hacen sobre los parámetros del modelo y explique la consecuencia de aceptar o rechazar cada una de éstas.
Prueba de hipótesis para el parámetro β0 (que indica la intersección con el eje y). H0: β0 = 0
HA: β0 ≠ 0
Al aceptar la H0: β0 = 0, nos indica que nuestra ecuación nos quedaría de la siguiente
manera:
yi= β1xi y por lo tanto, al graficar nuestra recta de regresión ésta pasa por el origen
formando respecto al eje de las abscisas, un ángulo de 45°.
Con este resultado, no podemos considerar que nuestro modelo de regresión sea confiable
para predecir resultados debido a que no nos esta mostrando una relación de significancia
entre nuestros parámetros.
Prueba de hipótesis para el parámetro β1 (que indica la pendiente de la recta, es decir, el incremento o decremento de la variable y por cada incremento de x).
H0: β1 = 0
HA: β1 ≠ 0
Al aceptar nuestra H0: β1 = 0, estamos considerando un valor nulo para nuestra pendiente, y
la ecuación de regresión toma la siguiente forma: yi= β0 + (0) xi es decir, el último término
queda eliminado y por lo tanto, a la hora de graficarlo nos queda de la siguiente manera:
El resultado de la variable dependiente toma el valor constante de nuestro parámetro β0 y lo
que nos queda no es una recta de regresión lineal, ya que como en el caso anterior, no nos
plantea una relación para podre predecir con cierta confianza valores para nuestra variable
dependiente y.
b) Anote en forma detallada el estadístico de prueba, t0, para cada una de las hipótesis y dé una explicación de por qué sirven para probar las hipótesis. Es decir, determine cuándo estos estadísticos tienen valores pequeños o grandes, y la decisión que se tomaría con respecto a su hipótesis correspondiente.
Un estadístico de prueba es aquel calculado de una sola muestra aleatoria simple tomada de
la población de interés, en una prueba de hipótesis para establecer la verdad o falsedad de
la hipótesis nula.
Para el parámetro β1 tenemos que:
√
Para obtener la fórmula de éste estadístico, se hace un análisis respecto a la media y
varianza del parámetro β1 y se considera que tienen una distribución normal. Para calcular la
desviación estándar del estimador se hace una estimación dada por:
√ ⁄
Y recibe el nombre de error estándar de β1. Nótese que esta igualdad se toma en cuenta
para el cálculo del estadístico.
La distribución t-student se utiliza para muestras de n≤30. También es importante
mencionar que como nuestra HA contiene desviaciones desde la hipótesis nula en cualquier
dirección (por lo de β1≠0) se denomina hipótesis de dos colas, y he aquí donde se aplica la
distribución t-student.
Para el parámetro β0 tenemos que:
√ [
]
Como en el caso anterior, para formular el estadístico de prueba se tomo en cuenta que el
parámetro de β0 sigue una distribución normal considerando su media y varianza. Entonces
una estimación de esta última es:
( ) [
] [
]
De igual manera notamos que esto se toma en cuenta en la estructura del estadístico de
prueba.
En ambos casos para saber si aceptamos o rechazamos nuestra H0, representamos nuestro
criterio de rechazo de la siguiente manera:
| |
Si el valor de nuestro estadístico de prueba es grande o pequeño, podemos decir que es
respecto a los datos que se estén manejando para el análisis del problema, obviamente para
saber si se rechaza nuestra H0, el valor del estadístico debe satisfacer la expresión anterior,
por lo tanto estaremos aceptando la HA, esto quiere decir que el valor del estadístico si es
mayor que el área de rechazo (expresada con el valor que se obtiene de las tabla de
distribución t-student, con cierto nivel de significancia), entonces se encuentra en el área de
aceptación y como todo esto esta en función de la H0 podemos sacar conclusiones respecto
de lo que estamos afirmando.
c) Con respecto al análisis de varianza para el modelo, escriba y explique la hipótesis correspondiente. Además, anote con detalle el estadístico de prueba, F0, y dé una justificación de por qué tal estadístico sirve para probar tal hipótesis.
En este caso, se plantea un análisis enfocado hacia la variabilidad total observada en la
variable de respuesta (Syy), la variabilidad explicada por la recta de regresión (SCR)y la
variabilidad no explicada por la recta de regresión (SCE), obteniendo consecuentemente el
Cuadrado Medio del Error, considerando los grados de libertad. Todo esto se utiliza para
generar otra forma de probar la hipótesis sobre la significancia de la regresión.
Para el análisis de varianza, sólo utilizamos la prueba de hipótesis para el estimador β1,
como ya sabemos, la pendiente.
H0: β1 = 0
HA: β1 ≠ 0
El estadístico de prueba respecto la hipótesis nula es:
F0 =
=
En realidad, esta forma de probar la significancia de la regresión, es equivalente a la que se
estableció a través del estadístico t0, ya que al elevar éste al cuadrado obtenemos:
t02 =
=
=
= F0
La distribución Fisher, se utiliza para probar si dos muestras provienen de poblaciones que
poseen varianzas iguales. Esta prueba es útil para determinar si una población normal tiene
una mayor variación que la otra. Y como al principio se menciona que los datos del
problema están sometidos a un análisis de varianza, es por eso que debemos utilizar este
estadístico de prueba.
5.-Con respecto a los intervalos de confianza para la recta y los intervalos de predicción,
señale ¿Cómo se obtienen y para que se aplica cada uno de ellos?
Intervalo de confianza de la recta
- √
| -
√
Un intervalo de confianza está definido por dos valores entre los cuales se encuentra el valor del parámetro con un determinado nivel de confianza que se denota (1 – ) y que se aplica para mostrar los valores entre los cuales se puede encontrar nuestro estimador puntual, para dar una idea de la confiabilidad de nuestro estimador. Los intervalos de predicción
-
√
| -
√
Se utilizan para predecir o pronosticar nuevas o futuras observaciones de Y. Para predecir
por intervalos la nueva observación es independiente de las observaciones utilizadas para
ajustar el modelo de regresión lineal por tal motivo el intervalo anterior no es adecuado.
Este intervalo depende tanto del error del modelo como del error asociada las predicciones
futuras.
Entre más alejado del valor medio es xi, mayores son los intervalos de confianza y de
predicción.
Los intervalos tienen la propiedad de ser de diferente ancho, según el valor de X, siendo más
angostos cuando X es igual al promedio, ensanchándose a medida que nos alejamos del
promedio. Cuando se sale del rango de los datos, se ensanchan más fuertemente. Esto
significa que mientras más nos alejamos del centro de los valores de la variable X, más
imprecisas serán nuestras estimaciones del valor de la variable Y, lo que parece razonable.
15. ¿por qué se requiere la regresión lineal múltiple?
Porque en muchas situaciones practicas existen varias variables independientes que se
cree que influyen o están relacionadas con una variable de respuesta Y, y por lo tanto será
necesario tomar en cuenta si se quiere predecir o entender mejor el comportamiento de Y.
17. Considere un modelo de regresión lineal múltiple con cuatro variables: yi = 0 + 1 x1i
+ 2 x2i + ……..+ 4 x4 + i ; i = 1,2,…,n, y suponga que para estimar los parámetros se utilizaron un total de 12 observaciones, es decir, n = 12. Conteste las siguientes preguntas:
a) Explique en forma esquemática el procedimiento matemático para estimar los parámetros que minimizan los errores por mínimos cuadrados.
Generalmente, para el caso de k variables independientes X1, X2,....,Xk, la media de Y| X1,
X2,....,XK está dada por el modelo de regresión lineal múltiple
Y|x1, x2 ,………, xk = 0 + 1 x1 +……..+ k xk
y la respuesta estimada se obtiene de la ecuación de regresión de la muestra
Donde cada coeficiente de regresión i se estima por bi de los datos de la muestra con el uso del método de mínimos cuadrados.
Con 4 variables (x1, x2, x3, x4) y 12 observaciones (n=12) El procedimiento matemático es mediante el ajuste del modelo de regresión lineal múltiple:
Y|x1 , x2, x3 , x4 = 0 + 1x1+ 2x2+ 3x3 + 4x4
A los puntos de datos
i= 1,2,....,12 y 12 >4 },
Al utilizar el concepto de mínimos cuadrados para llegar a las estimaciones 0, 1, 2, 3, 4, minimizamos la expresión:
Al diferenciar SSE a su vez con respecto a 0, 1, 2, 3, 4, e igualar a cero:
Sustituyendo n con 12 y k con 4, estas ecuaciones se pueden resolver para a 0, 1,
2, 3, 4 mediante cualquier método apropiado para resolver sistemas de ecuaciones lineales.
b) Denote el modelo en forma matricial: y=X + exprese con precisión todas las matrices involucradas en el modelo.
De manera resumida:
Y =
[
]
X =
[ ]
=
[ ]
[
]
La matriz de datos Y es el conjunto de todas las observaciones en cuanto a la variable dependiente se observaron en el experimento, de aquí que va de y1 hasta y12 con respecto a la totalidad de observaciones n = 12.
La matriz de datos X representa en realidad los valores de las variables independientes ya sean en cuadrados, cubos, productos cruzados u otras funciones de las variables de predicción. Se observa que la primera columna de la matriz X es una columna de unos, por tanto, estamos insertando un valor de x, específicamente x0, como coeficiente de b0. Donde x0 siempre es igual a 1.
La siguiente matriz representa los estimadores del modelo, para cada parámetro de
la matriz hay una columna en la matriz X.
La ultima matriz representa el error aleatorio inherente a todo modelo de regresión.
c) Proporcione la expresión matricial para los estimadores de mínimos cuadrados.
Entonces la solución de mínimos cuadrados para la estimación de 0, 1, 2, 3, 4 ,
implica encontrar b para la que
SSE = (y - Xb)'(y - Xb)
se minimiza. Este proceso de minimización implica resolver para b en la ecuación
El resultado se reduce a la solución de b en(X'X) = X'Y
Podemos escribir la solución para el coeficiente de regresión como
=(X’X)-1 X’Y
De esta forma se puede obtener la ecuación de predicción o la ecuación de regresión al resolver un conjunto de k + 1 ecuaciones con un número igual de incógnitas. Esto implica la inversión de la matriz X'X de k + 1 por k + 1.
d) Especifique la hipótesis de significancia del modelo y lo que significa aceptar o rechazar esta hipótesis.
La hipótesis más importante sobre un modelo de regresión múltiple consiste en ver si la
regresión es significativa:
H0 : 1 2 3 4 = 0
HA : j ≠ 0 Para al menos un j = 1, 2, 3, 4
Aceptar H0 indica que ningún término en el modelo tiene una contribución
significativa al explicar la variable de respuesta, Y.
Rechazar H0 implica que por lo menos un término en el modelo contribuye de manera
significativa a explicar Y.
e) De la expresión del estadístico de prueba, F0, para la hipótesis anterior, así como una explicación racional de por qué funciona como estadístico de prueba, es decir, vea cuando este estadístico tiene valores grandes o pequeños, y lo que eso significa en términos de calidad de ajuste.
F0 = CMR/CME
La hipótesis nula anterior se rechaza si: F0 > F (α, 4, 7)
Dado que un estadístico es una medida cuantitativa, derivada de un conjunto de datos de una muestra, con el objetivo de estimar o contrastar características de una población o modelo estadístico, en este caso nos permite aceptar o rechazar la hipótesis, cuando el valor de F0 es mayor que el valor F(α, 4, 7) implica que debemos descartar la
hipótesis nula y aceptar la alternativa que nos habla de una significación del modelo, además si F0 es notablemente grande
refiere a una mayor significancia dado que se aleja del criterio de rechazo establecido.
f) Formule las hipótesis sobre los parámetros individuales del modelo y comente que significa aceptar o rechazar cada una de estas.
H0 : j = 0
HA : j ≠ 0 j = 1, 2, 3, 4
Aceptar la hipótesis nula, para cualquier estimador, indica que el mismo no contribuye esencialmente a predecir Y en general, en caso contrario, rechazar hipótesis nula y por consiguiente aceptar la hipótesis alternativa, indica que el parámetro Bj es significativo.
g) Proporcione la expresión para el estadístico de prueba para el caso anterior y comente por que estos estadísticos funcionan como criterio de aceptación o rechazo.
t0 =
La hipótesis nula anterior se rechaza si: t0 > t (α/2, 7 ) La prueba t de Student como todos los estadísticos de contraste se basa en el cálculo de estadísticos descriptivos previos: el número de observaciones, la media y la desviación típica en cada grupo. A través de estos estadísticos previos se calcula el estadístico de contraste experimental. Por lo tanto el criterio de rechazo anterior
funciona perfectamente con cada estimador j
h) ¿Cuáles son los riesgos de hacer predicciones fuera de la región de los datos originales?
Fuera de la región, los aspectos físicos o sociales que están atrás de todo modelo de regresión pueden empezar a actuar de otra forma, muy fuera de la región de región de los datos originales empiecen a actuar otros fenómenos no considerados en el modelo original. Este riesgo es más grande en el análisis de regresión múltiple, ya que se trabaja con regiones multidimensionales.
Problema 7
En un proceso de extracción se estudia la relación entre tiempo de extracción y
rendimiento. Los datos obtenidos se encuentran en la siguiente tabla.
Tiempo (min)
Rendimiento (%)
10 64
15 81.7 20 76.2
8 68.5 12 66.6
13 77.9 15 82.2
12 74.2 14 70
20 76 19 83.2
18 85.3
a) ¿En este problema cual variable se considera independiente y cual independiente?
- Se debe considerar el tiempo de extracción como variable independiente (x) y al
rendimiento como la variable dependiente (y), dado que el rendimiento siempre
va a variar conforme el tiempo y no viceversa.
b) Mediante un diagrama de dispersión analice la relación entre estas dos variables.
¿Qué tipo de relación observa y cuales son algunos hechos especiales?
Existe correlación lineal positiva ya que conforme aumenta el tiempo de extracción también
aumenta el rendimiento, es razonable suponer que la relación entre estas variables la
explique un modelo de regresión lineal simple.
c) Haga un análisis de regresión (ajuste una línea recta a estos datos, aplique pruebas
de hipótesis y verifique residuos)
Para ajustar la mejor recta que pasa más cerca de todos los puntos y para calcular
estimadores, se usa método de mínimos cuadrados, se resumen los cálculos en la hoja de
Excel:
X y X2 Y2 Xy Y estimado
e E2
Tiempo (min)
Rendimiento (%)
10 64 100 4096 640 69.93 -5.93 35.1649
15 81.7 225 6674.89 1225.5 75.88 5.82 33.8724
20 76.2 400 5806.44 1524 81.83 -5.63 31.6969
8 68.5 64 4692.25 548 67.55 0.95 0.9025
12 66.6 144 4435.56 799.2 72.31 -5.71 32.6041
13 77.9 169 6068.41 1012.7 73.5 4.4 19.36
15 82.2 225 6756.84 1233 75.88 6.32 39.9424
12 74.2 144 5505.64 890.4 72.31 1.89 3.5721
14 70 196 4900 980 74.69 -4.69 21.9961
20 76 400 5776 1520 81.83 -5.83 33.9889
19 83.2 361 6922.24 1580.8 80.64 2.56 6.5536
18 85.3 324 7276.09 1535.4 79.45 5.85 34.2225
Suma 176 905.8 2752 68910.36 13489 293.8764
Para ajustar la recta, se calcula:
)
∑ [
(∑ )(∑
)
] = 13489 – [(176) (905.8) /12] = 203.93
∑
[(∑
)
] = 2752 – [(176)2/12] = 170.66
∑
[(∑
)
] = 68910.36 – [(905.8)2/12] = 537.55
Para encontrar los estimadores:
= 203.93 / 170.66 = 1.19492187
= 75.48333333 - 1.19492187 (14.66666667) = 57.9578125
Por lo tanto, la línea recta ajustada está dada por:
Con esta ecuación podemos graficar la recta de regresión lineal:
Por lo que se observa, se concluye que los errores están distribuidos aleatoriamente, la prueba de hipótesis de interés plantea que la pendiente es significativamente diferente de 0.
Hipótesis a Establecer Análisis de Regresión
Para β1
H0 β1 = 0 HA β1≠ 0
t0 β1 /√
Para β0
H0 β0= 0 HA β0≠ 0
t0 β0 CME [
]
En ambos casos H0 se rechaza si | |> t ( / 2 , n -2 )
Hipótesis a Establecer Análisis de Varianza
H0 β1 = 0 HA β1≠ 0
F0= CMR / CME
H0 se rechaza si | |> F( , n -2 )
Estadísticos obtenidos, Minitab:
Con 5% de significancia para el
análisis de regresión, es obvio que
para los dos estimadores el
estadísticos son mayores (9.22;
2.88) que el del criterio de rechazo
(2.2281)
Para el análisis de Varianza es lo
mismo 8.29 > 4.965
Por lo tanto se rechazan las
hipótesis nulas establecidas y se
aceptan las alternativas, las cuales indican que el modelo es significativo
d) ¿La calidad del ajuste es satisfactoria? Argumente
Determinemos si el modelo permite hacer estimaciones con una precisión aceptable:
Coeficiente de determinación
R2 = SCR / Syy = 243.68 / 537.55 = 0.4533
El 45 % de la variación observada en el rendimiento es explicada por el modelo, la calidad
de ajuste no es satisfactorio, veamos su ajuste…
Coeficiente de determinación ajustado
R2 aj = CMtotal - CME / CMtotal =48.8681 – 29.38 / 48.8681 = 0.3987
Para fines de predicción se recomienda un coeficiente de determinación ajustado de 0.7
este es otro indicador de que nuestro modelo no hace estimaciones con precisión.
Coeficiente de Correlación
r = Sxy / √SxxSyy = 203.93 / √ (170.66) (537.55) = 0.6732
Observemos las gráficas 4 en uno del modelo de regresión:
Se observa que en la gráfica de probabilidad normal la mayor parte de los puntos tienden
a ajustarse a la línea recta pero en la de residuo contra valor ajustado hay cierto patrón, el
modelo registra falla.
Se concluye que aunque el modelo es significativo, la intensidad de la relación lineal
entre las variables no es muy fuerte
e) Destaque el valor de la pendiente de la recta e interprételo en términos prácticos
El valor de la pendiente de la recta es: 1.1949, en términos prácticos, tan solo es la
cantidad que se incrementa o disminuye la variable Y para cada unidad que se incrementa
X.
f) Estime el rendimiento promedio que se espera a un tiempo de extracción de 25
minutos y obtenga un intervalo de confianza para esta estimación.
El intervalo de confianza está dado por:
Y0 - t( / 2 , n -2 ) √ [
] <= <= Y0 +t( / 2 , n - √ [
]
Con X0 = 25 ; Y0 = 57.95781 + 1.19492 (25) = 87.83
87.83± 2.2281 √ [
]
87.83± 2.2281 0
87.83± 10.174
Por lo tanto el intervalo de confianza es:
77.65 <= <= 98.004
22.-se realizó un experimento para estudiar el sabor del queso panela en función de la cantidad del cuajo y la sal. La variable de respuesta observada es el sabor promedio reportado por un grupo de 5 panelistas que probaron todos los quesos y los calificaron con una escala hedónica. Los datos obtenidos se muestran a continuación:
Sal Cuajo sabor
6 0.3 5.67
5.5 0.387 7.44 4.5 0.387 7.33
4 0.3 6.33 4.5 0.213 7.11
5.5 0.213 7.22 5 0.3 6.33
5 0.3 6.66
a) ajuste el modelo
La ecuación de regresión es Y= 7.30 - 0.183 x1 + 1.26 x2
b) ¿el modelo explica la variación observada en el sabor? Argumente con base en la
significancia del modelo, los residuales y el coeficiente de determinación Para hablar de un modelo que tiene un ajuste satisfactorio es necesario que ambos coeficientes tengan valores superiores a 0.7, y en este caso muestro coeficiente de determinación presento un valor muy bajo del 0.05 (5%) y un coeficiente de determinación ajustado con valor negativo interpretando esto como un 0%. Esto se debe a que en nuestro modelo hay términos que no contribuyen de manera significativa por lo tanto debemos depurar el modelo. Análisis de residuos.- en la gráfica de probabilidad normal los puntos no se ajustan a la recta y presentan un cierto nivel de simetría en el comportamiento de los mismos por lo tanto podemos decir que el modelo no es aceptable. En la gráfica de residuos vs predichos si el modelo es adecuado se espera que en esta grafica los puntos no sigan ningún patrón y que, por lo tanto, estén distribuidos más o menos aleatoriamente a lo largo y ancho de la gráfica. Cuando esto ocurre significa que el modelo se ajusta de cualquier manera a lo largo de los modelos de Y.
En el caso de nuestra grafica se observa que los puntos están distribuidos a lo largo del eje de las X de forma constante. Y por último en la gráfica de residuos vs observamos que el comportamiento de los residuos maneja un patrón, lo cual quiere decir que nuestro modelo no es adecuado.
c) Ajuste un modelo que incluya términos cuadráticos y analice con detalle la calidad del ajuste.
Y = 5.4 + 4.77 x1 - 70.4 x2 + 0.00 x1x2 - 0.495 x12 + 119 x2
2 Podemos prescindir del cuarto término de la ecuación, ya que su coeficiente es cero, quedando la ecuación de la siguiente manera: Y = 5.4 + 4.77 x1 - 70.4 x2 - 0.495 x1
2 + 119 x22
d) Compare el error estándar de estimación (√ ) y los coeficientes de
determinación para ambos modelos
En nuestro primer modelo al calcular los coeficientes de determinación y el ajustado del mismo, nos pudimos dar cuenta de que el modelo no era adecuado para explicar la relación de variables debido a que el valor era demasiado bajo y por lo tanto no era un modelo confiable. Al obtener nuestra ecuación con términos cuadráticos, nos dimos cuenta que este modelo si es significativo debido a los valores que nos arrojó el coeficiente de determinación y su ajustado, al ver una amplia mejoría en los resultados.
Error estándar de estimación
Es claro que la diferencia entre un modelo y otro es evidente. e) ¿Cuál modelo prefiere para explicar el sabor?
El segundo modelo con términos cuadráticos.
Primer modelo Segundo modelo
R2=0.054 = 5% R2
aj= -0.32 = 0% R2=0.923 = 93.2% R2
aj= 0.761 = 76.1%
Primer modelo Segundo modelo
√ = 0.7127 √ = 0.3029
