Upload
rita-berlanga
View
232
Download
0
Embed Size (px)
Citation preview
ESTADÍSTICA II
UT 7 – Parte I
ANOVAAnálisis de la Varianza(ANalysis Of VAriance)
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Índice
I.- PreámbuloII.- Análisis de la varianza con 1 factor
II.1.- Un ejemploII.2.- Idea intuitiva del ANOVAII.3.- Descomposición de la suma de cuadrados. Test FII.4.- Intervalos LSD de comparación de mediasII.5.- Análisis de residuosII.6.- Estudio de efectos sobre varianzasII.7.- Realización práctica de los cálculosII.8.- Número desigual de observaciones para cada factorII.9.- Factores cuantitativos: descomposición de la SCFactor
Resumen
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
I-Preámbulo
Técnica básica para el estudio de observaciones que dependen de varios factores.
Herramienta fundamental en el análisis de los modelos de Diseño de Experimentos y Regresión Lineal
En esta UT veremos el caso más sencillo: la comparación de los efectos de las I variantes de un único factor.
(Más adelante se generalizará al estudio simultáneo de K factores)
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II- Análisis de la Varianza con 1 Factor
Una factoría de motores tiene 2 proveedores de los cigüeñales que mecaniza. Un tercer proveedor ofrece sus cigüeñales algo más caros argumentando sus mejores propiedades dinámicas, concretamente que su equilibrado dinámico es menor.La factoría decide hacer una prueba comparando 10 cigüeñales del nuevo proveedor (código=1) con 10 de cada uno de sus 2 proveedores tradicionales (códigos 2 y 3). Los resultados obtenidos se recogen en la siguiente tabla:
EJEMPLO
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
EJEMPLO
Factor estudiado(sólo uno)
PROVEEDOR
Variantes del factor (3) 1 2 3
23 35 50
28 36 43
21 29 36
27 40 34
95 43 45
41 49 52
37 51 52
30 28 43
32 50 44
Resultados obtenidos
(equilibrado dinámico en grs.)
36 52 34
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
EJEMPLO
¿Hay evidencia suficiente respecto a la superioridad de los cigüeñales del nuevo proveedor para cambiar a éste pese al precio ligeramente más elevado?.
CUESTIÓN CLAVE
El ejemplo que consideramos es un caso particular de diseño de experimentos: se estudia el efecto de un único factor (el proveedor) con 3 variantes (los 3 proveedores a comparar) sobre la media de la variable respuesta (el equilibrado dinámico, que debe ser el menor posible) (En la siguiente unidad veremos el análisis del efecto de varios factores)
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Autoevaluación Dado que conocemos una técnica estadística para
comparar dos tratamientos ¿no sería posible analizar los datos anteriores comparando dos a dos las tres parejas posibles de proveedores?.
Si en vez de tratarse de 3 hubiera 5 proveedores ¿Cuántas parejas de tratamientos habría que
comparar? Suponiendo que los 5 proveedores fueran
idénticos y si en cada comparación se operase con un riesgo de 1ª especie del 5%, ¿la probabilidad de obtener una conclusión errónea (deducir que al menos dos de los proveedores son distintos) sería del 5%?
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
ConclusiónEn general, la práctica de analizar los resultados de este tipo de experimentos comparando 2 a 2 (mediante las técnicas ya vistas) todas las parejas posibles de tratamientos no es recomendable: es muy laboriosa incrementa la probabilidad global de cometer un error
de 1ª especie
Técnica estadística adecuada:
Análisis de la Varianza
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Objetivos del EJEMPLO
1. Dar una idea intuitiva del fundamento del ANOVA
2. Enseñar cómo se calcula una tabla de análisis de la varianza y cómo se interpreta su contenido
3. Dar una técnica sencilla para comparar varias medias, si el ANOVA resulta significativo
4. Poner de manifiesto la importancia de las técnicas gráficas de análisis de residuos
5. Introducir una técnica para analizar si existen diferencias de varianza entre diversos tratamientos
Se usará a lo largo de la UT
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.2- Idea intuitiva del ANOVA Técnica estadística muy poderosa para el estudio del efecto
de uno o más factores sobre la media de una variable.
Idea básica: descomponer la variabilidad total observada en unos datos en las partes asociadas a cada factor estudiado más una parte residual, con la que después se compararán las dos primeras:
Variabilidad Total en los
datos =
Variabilidad debida a diferencias entre
tratamientos(efecto del factor
proveedor)
+Variabilidad residual
(diferencias dentro de cada tratamiento)
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Ejemplo intuitivo
Efecto de la variedad y la dosis de abonado sobre el rendimiento de un cultivo en 12 parcelas.
Veamos unos rendimientos hipotéticos en algunos casos extremos:
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Ejemplo intuitivo
ABONADO
1 2 3
1 20 20 20 20 20 20 V
AR
IE.
2 20 20 20 20 20 20
Factor 2
Factor 1
2 variantes3 variantes: 3 dosis distintas
Valor observado: RENDIMIENTO Parcela 3 sembrada con la variedad 1 y cultivada con la dosis de abonado 2
Valor observado: RENDIMIENTO Parcela 4 sembrada con la variedad 1 y cultivada con la dosis de abonado 2
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Ejemplo intuitivo ABONADO
1 2 3
1 20 20 20 20 20 20
VA
RIE.
2 20 20 20 20 20 20
Rendimiento medio = 20
La suma de los cuadrados de las desviaciones de cada valor observado del RENDIMIENTO con respecto a su media:
2 2 2 2 020 20 20 20 20 20ikj
ikj
x x
Suma de Cuadrados Total (SCT)
Caso A
Nada influye
SCTotal=0
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
2 2 2 2 30020 25 20 25 30 25ikj
ikj
x x
Ejemplo intuitivo ABONADO
1 2 3
1 20 20 20 20 20 20
VA
RIE.
2 30 30 30 30 30 30
Rendimiento medio = 25
Caso B
SCT=300 Hay variabilidad.
Al “analizar la varianza” se observa que la variabilidad se debe sólo al efecto de la variedad
El factor variedad influye sobre la media del rendimiento
SCTotal=SCvariedad
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
2 2 2 50020 30 25 30 40 30TOTALSC
Ejemplo intuitivo ABONADO
1 2 3
1 20 20 25 25 30 30
VA
RIE.
2 30 30 35 35 40 40
Rendimiento medio = 30
Caso C
SCT=500 Hay variabilidad.
Al “analizar la varianza” se observa que la variabilidad se debe tanto al efecto de la variedad como al efecto de la
dosis de abonado.
El factor variedad y el factor dosis influyen sobre la media del rendimiento
No hay interacción.
El efecto del abonado es lineal.
SCTotal=SCvariedad+SCabonado
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
ABONADO
1 2 3
1 20 20 25 25 30 30
VA
RIE.
2 30 30 35 35 50 50
2 2 2 1066 6720 31 67 25 31 67 50 31 67TOTALSC '' ' '
Ejemplo intuitivo
Rendimiento medio = 31’67
Caso D
SCT=1066’67 Hay variabilidad.
Al “analizar la varianza” se observa que la variabilidad se debe tanto al efecto de la variedad como al efecto de la
dosis de abonado y a su interacción.
El factor variedad, el factor abonado y su interacción influyen sobre la media del rendimiento
El efecto favorable de la dosis 3 es mayor en la variedad 2 que en la 1.
SCTotal=SCvariedad+SCabonado+ SCInteracción
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
ABONADO
1 2 3
1 19 21 27 24 28 32
30
31 30 31 36 33 47 51
2 2 2 100119 31 6 21 31 6 51 31 6TOTALSC ' ' '
Ejemplo intuitivo
Rendimiento medio = 31’6
Caso E
Único realista
SCT=1001 Hay variabilidad.
Se observa que la variabilidad se debe tanto al efecto de la variedad como al efecto de la dosis de abonado y a su interacción, así como al de los factores no controlados
El factor variedad, el factor abonado y su interacción, así como otros factores no controlados o no tenidos en cuenta influyen sobre la media del rendimiento
Las parejas de parcelas con idéntica variedad y abonado no rinden exactamente igual:
SCTotal=SCvariedad+SCabonado+ SCInteracción + SCResidual
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Significación de un efecto
La comparación de la SC asociada a cada efecto con la SCresidual permite estudiar si dicho efecto es o no significativo.
Para llevar a cabo dicha comparación, cada suma de cuadrados se divide por sus grados de libertad, obteniéndose unos estadísticos a los que se denomina cuadrados medios:
SCCM
g.l
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Significación de un efecto
El CMTotal es la varianza de los datos observados.
El CMResidual es una estimación de la 2 de las poblaciones muestreadas (asumiendo misma 2 para todas las poblaciones)
El CM asociado a cada efecto: Si el efecto no existe en la población el CM es
otra estimación de la 2 independiente de la del CMResidual.
Si existe un efecto real poblacional, entonces tiende a ser mayor que 2
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Significación de un efectoDenominamos f-ratio o f calculada al cociente:
CMfactor/CMresidual
Si no existe un efecto real del factor a nivel poblacional el CMfactor será muy parecido al CMresidual
El f-ratio será muy parecido a 1 con una distribución F de Fisher con los grados de libertad correspondientes.
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Significación de un efecto
Si existe un efecto real del factor a nivel poblacional el CMfactor >>> CMresidual
El f-ratio será demasiado elevado para ser una F de Fisher con los grados de libertad correspondientes.
¿De dónde sale esto...?
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.3 Descomposición de la Suma de Cuadrdos. Test F
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Ejemplo Proveedores cigüeñales Experimento:
Factores: PROVEEDOR (solo 1) Variantes: Prov. 1, 2 y 3 (3) Variable respuesta: equilibrado dinámico (EQUIDINA)
Objetivo: ¿existen diferencias entre los equilibrados dinámicos medios en los cigüeñales de los 3 proveedores?
0 1 2 3
1 1 2
H : m m mH : i, j ;i j / m m
ANOVA
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Ejemplo Proveedores cigüeñales Tabla resumen del ANOVA
Origen Variación
Suma de Cuadrados
Grados Libertad
Cuadrado Medio
F ratio
Total 5465 29 - -
Tratamientos 207 2 103’5 0’532
Residual 5258 27 194’7 -
Riesgo de 1ª especie: =0’05
Tabla: F2,27(5%) = 3’35 >> 0’532 Aceptamos H0
¡NO HAY DIFERENCIAS SIGNIFICATIVAS ENTRE PROVEEDORES!
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Ejemplo Proveedores cigüeñales
Distribucion F 2,27
x
dens
ity
0 1 2 3 4 50
0,2
0,4
0,6
0,8
1
1,2
3.35
=0’05
Aceptación Rechazo
0’53 Aceptamos H0
TEST F (Gráficamente)
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.4- Intervalos LSD para la comparación de medias Si el test F resulta significativo:
¿Es mejor el Prov. 1 que el 2 y el 3? ¿Es mejor el 1 y el 2 que el 3, no habiendo diferencias entre los primeros? ...
Hay que estudiar entre cuáles de los tratamientos existen diferencias significativas. Un valor significativo de la f-ratio sólo indicaría que al menos una de las tres medias difiere de las restantes, pero no precisa cuáles son las que difieren entre sí.
Intervalos LSD
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.4- Intervalos LSD para la comparación de medias Intervalos LSD (Least Signficative Difference) son
intervalos para la media de cada tratamiento. Intuitivamente, se calculan como la mitad del
intervalo de confianza para la diferencia de medias:
21
2 i j
( )%i gl resid ( x x )
ˆx t .
Media del tratamiento i
Valor de TABLAS
Estimación de la desv. Típica de l tratamiento
• NOTA: el intervalo obtenido no es un intervalo de confianza para las medias correspondiente. Su utilización es sólo la comparación de medias
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.4- Intervalos LSD para la comparación de medias
2 2 2 21 2 3
1 2 3
2
2 2 22
i
i j i j
residualx
i
residual residual residual( x x ) ( x x )
i i i
Se asume ( Homocedasticidad )N N N N
CMˆy S ( estimacion var . media muestral )N
CM CM CMˆ ˆS SN N N
20 0707i
( )%i gl resid xx . .t .S
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.4- Intervalos LSD para la comparación de mediasEjemplo:
2 2 0 02527 2 052
194 74 41
10
( )% ( . )gl resid
residualx
Tablas t t '
CM 'S '
N
Intervalo LSD Prov 1:
37 0 707 2 052 4 41' . ' . .
Media del tratamiento 1
Desv. Típica con que se estima cada media
Estimación de la varianza poblacional
30 6 43 39' , '
¿Cuáles serían los otros intervalos LSD?
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Ejemplo con Statgraphics:Table of Least Squares Means for EQUIDINA
with 95,0 Percent Confidence Intervals
------------------------------------------------------------------------------
Stnd. Lower Upper
Level Count Mean Error Limit Limit
------------------------------------------------------------------------------
GRAND MEAN 30 40,5333
PROV
1 10 37,0 4,41303 27,9452 46,0548
2 10 41,3 4,41303 32,2452 50,3548
3 10 43,3 4,41303 34,2452 52,3548
------------------------------------------------------------------------------Nº total de observaciones
Equilibrado dinámico medio, sea cual sea el proveedor
Estimación de la S de la media de cada proveedor
Media muestral de cada proveedor
Intervalos LSD para cada proveedor
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Gráficamente con Statgraphics:
Intervalo LSD Prov:La diferencia entre la media de dos tratamientos será significativa si los respectivos intervalos LSD no se solapan.
Means and 95,0 Percent LSD Intervals
PROVEEDOR
EQ
UID
INA
1 2 33032343638404244464850
Means and 95,0 Percent LSD Intervals
PROVEEDOR
EQ
UID
INA
1 2 33032343638404244464850
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.5 Análisis de residuos Residuos: diferencia entre cada dato y la media de
su tratamiento. Su estudio tiene una gran importancia práctica. Ejemplo:
37 423 1
91 7415 3' ' Primer valor
observado del equilibrado
dinámico del prov. 1
Media del equilibrado dinámico de la
muestra del prov. 1Residuo 1
Séptimo valor observado del
equilibrado dinámico del
prov. 2
Media del equilibrado dinámico de la
muestra del prov. 2Residuo 17
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.5 Análisis de residuos
El Statgraphics calcula los residuos automáticamente y permite guardarlos en una variable que por defecto denomina RESIDUALS.
También efectúa una representación gráfica de los mismos.
Permite detectar datos anómalos o pautas de variabilidad sospechosas.
¡Una observación anómala puede invalidar por completo todas las conclusiones de un análisis!
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.5 Análisis de residuos
Residual Plot for EQUIDINAR
ES
IDU
OS
PROVEEDOR1 2 3
-60
-40
-20
0
20
40
60
Residual Plot for EQUIDINAR
ES
IDU
OS
PROVEEDOR1 2 3
-60
-40
-20
0
20
40
60 Los residuos deben estar alrededor de cero, distribuidos más o menos de manera uniforme
Dato anómalo: la 5ª observación del prov. 1 debe ser 35, no 95
Si se vuelve a realizar el ANOVA ...
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Ejemplo Proveedores (sin dato anómalo) Tabla resumen del ANOVA
Origen Variación
Suma de Cuadrados
Grados Libertad
Cuadrado Medio
F ratio
Total 2409’46 29 - -
Tratamientos 871’26 2 435’6 7’64
Residual 1538’2 27 56’97 -
Riesgo de 1ª especie: =0’05
Tabla: F2,27(5%) = 3’35 << 7’64 Rechazamos H0
¡SI HAY DIFERENCIAS SIGNIFICATIVAS ENTRE PROVEEDORES!
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Ejemplo Proveedores cigüeñales
Distribucion F 2,27
x
dens
ity
0 1 2 3 4 50
0,2
0,4
0,6
0,8
1
1,2
3.35
=0’05
Aceptación Rechazo
7’6
Rechazamos H0
TEST F (Gráficamente)
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Intervalos LSD¿Entre que tratamientos existen diferencias significativas con respecto al equilibrado dinámico?
Means and 95,0 Percent LSD Intervals
PROVEEDOR
EQ
UID
INA
1 2 327
31
35
39
43
47
Means and 95,0 Percent LSD Intervals
PROVEEDOR
EQ
UID
INA
1 2 327
31
35
39
43
47
Los intervalos se solapan: entre los prov 2 y 3 no hay diferencias significativas del eq. dinámico
Pero entro el prov. 1 y el 2 o el 3 si hay diferencias significativas
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.6 Estudio de efectos sobre varianzas moderna Estadística Industrial gran importancia
de los enfoques de diseño robusto desarrollados en Japón
obtener condiciones operativas que sean poco sensibles a la existencia de causas de variabilidad
estudio de posibles efectos sobre la dispersión de los factores implicados en el diseño de productos y procesos.
¿Existen diferencias entre los proveedores de cigüeñales respecto a la varianza de los
equilibrados?
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.6 Estudio de efectos sobre varianzas
Mean,Std. dev.31,2,3841,3,2,3843,3,2,38
EQUIDINA19 29 39 49 59
0
0,03
0,06
0,09
0,12
0,15
0,18
Se asume que las poblaciones de las que procede la EQUIDINA de cada proveedor son iguales.
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.6 Estudio de efectos sobre varianzas
Mean,Std. dev.31,241,3,643,3,4
EQUIDINA0 20 40 60 80
0
0,04
0,08
0,12
0,16
0,2
Pero, ¿y si los datos proceden de poblaciones con diferentes varianzas según el proveedor?
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.6 Estudio de efectos sobre varianzas Procedimientos clásicos: tests de Bartlett y Hartley
Necesidad de aprenderse un nuevo procedimiento. No aplicables si hay más de un factor implicado. Necesitan replicaciones en cada tratamiento.
Romero, R. y Zúnica, L. R. proponen un método aproximado, pero eficaz, sin los inconvenientes de los tests más formales, basado en el estudio de los residuos:
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.6 Estudio de efectos sobre varianzas
1 2 3
Residual Plot for EQUIDINA
-14
-9
-4
1
6
11
16re
sidu
al
PROVEEDOR1 2 3
Residual Plot for EQUIDINA
-14
-9
-4
1
6
11
16re
sidu
al
PROVEEDOR
¿Qué aspecto tendría el gráfico si los equilibrados del proveedor 1 tuvieran mucha menor varianza que los otros dos?
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.6 Estudio de efectos sobre varianzas
Residual Plot for EQUIDINAre
sidu
al
PROVEEDOR1 2 3
-14
-9
-4
1
6
11
16
Residual Plot for EQUIDINAre
sidu
al
PROVEEDOR1 2 3
-14
-9
-4
1
6
11
16
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.6 Estudio de efectos sobre varianzas ¿Existe alguna relación entre la media aritmética
de los cuadrados de los residuos de un proveedor y la S2 para dicho proveedor?
2ij i
i ; j
i
media( SCR )
( x x )
N
2
2
1
iji ; j
ii
i( x x )
SN
La media de los residuos al cuadrado es ligeramente superior a l S2, y tienden a ser iguales si Ni es grande.
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.6 Estudio de efectos sobre varianzas Si no hay diferencias entre las varianzas de los
proveedores no debe haber diferencias entre las medias de los residuos al cuadrado para cada proveedor.
¿Qué herramienta o técnica se puede usar para conocer si existen o no diferencias entre múltiples medias de una v.a. de distintas poblaciones?
ANOVA Variable respuesta: (residuos)2
Factor: proveedor Variantes: 3
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.6 Estudio de efectos sobre varianzas
Aceptamos la H0 de igualdad de varianzas el factor proveedor no tiene un efecto significativo sobre la dispersión
ANOVA Table for RESIDUALS^2 by PROV
Analysis of Variance-----------------------------------------------------------------------------Source Sum of Squares Df Mean Square F-Ratio P-Value-----------------------------------------------------------------------------Between groups 8198,36 2 4099,18 1,89 0,1707 Within groups 58587,0 27 2169,89-----------------------------------------------------------------------------Total (Corr.) 66785,4 29
P-Value > 0’05
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.7 Realización práctica de los cálculos
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.8 Número desigual de observaciones para cada factor
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
II.9 Factores cuantitativos: descomposición de la SCF
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Resumen Descomposición de la variabilidad total:
Una parte debida al efecto del factor investigado Parte residual que recoge el efecto de todos los factores
no controlados
Ambas partes se comparan mediante un test F en la TABLA del ANOVA, y esto permite estudiar la significación del factor en estudio.
Si el test F resulta significativo, se construyen intervalos LSD (least signficative difference) para comparar las medias de las distintas variantes del factor
Dto. Estadística e Investigación Operativa Aplicadas y Calidad – Estadística II
Resumen También veremos las técnicas gráficas de análisis de residuos
para detectar anomalías en los datos que puedan comprometer los análisis.
Por último veremos la descomposición de la suma de cuadrados de un factor cuantitativo en los términos asociados a sus efectos lineal, cuadrático y de orden superior.