P Y E 2012 Clase 17 Gonzalo Perera 1

Repaso de clase anterior•En la clase pasada observamos en un primer ejemplo particular de test de hipótesis que:

Cuando el tamaño de la muestra (n) tiende a infinito, pueden lograrse probabilidades de Error de tipo I y II tan pequeñas como se desee.

Cuando n está fijo, ambas probabilidades de error“compiten” entre sí y no es posible reducir ambasarbitrariamente.

P Y E 2012 Clase 17 Gonzalo Perera 2

 Hoy veremos que estos hechos no son ninguna

casualidad, sino puntos centrales de una teoría que a continuación presentaremos de manera general,

para pasar a partir de la próxima clase a estudiar problemas concretos particularmente relevantes

en la Ingeniería. 

P Y E 2012 Clase 17 Gonzalo Perera 3

Test de Hipótesis:Propiedades fundamentales. Un test ( o prueba, o contraste) de hipótesis, consiste en, dada una muestra de datos X1,...., Xn , decidir entre dos hipótesis , H0 (Hipótesis nula) y H1 (Hipótesis alternativa) , que establecen distintos postulados respecto a la distribución de la muestra, como, por ejemplo:       H0 : la muestra es iid     H1 : la muestra no es iid, o bien, si se supone que ya se sabe que la muestra es iid, uno puede preguntarse si      H0 : la muestra es gaussiana     H1 : la muestra no es gaussiana,

P Y E 2012 Clase 17 Gonzalo Perera 4

 o cualquier otra disyuntiva concerniente a la distribución de los datos.  Observación importante: 

Debe siempre tenerse mucho cuidado en que los distintos tests para poder aplicarse, requieren verificar previamente ciertas hipótesis (como por ejemplo, para averiguar si los datos son gaussianos o no, se debe primero saber si los datos son iid) , lo que obliga a concatenar varios tests siguiendo el orden lógico (de mayor a menor generalidad).Usar software estadístico como “cajas negras”, aplicando distintos tests sin saber qué se está haciendo, es una frecuente fuente de errores estadísticos muy relevantes.

 

P Y E 2012 Clase 17 Gonzalo Perera 5

Alguna terminología básica:

Cuando se sabe previamente que los datos responden a una distribución de un cierto tipo (por ejemplo, Gaussiana, Cauchy, Exponencial, Poisson,

etc.) y de la cual únicamente se desconoce una cantidad finita de parámetros y los tests refieren a los valores de algunos de esos

parámetros, se dice que se tiene un test paramétrico. 

Por ejemplo, si se sabe que los datos son iid y N(, 2) y se testea 

     H0 : =0     H1 : >0

 entonces se tiene un test paramétrico.

 Inversamente, si no se tiene la situación anterior y sólo se suponen

hipótesis generales cualitativas (que la distribución es continua, o que los datos son iid, etc.) , se dice que se tiene un test no-paramétrico.

P Y E 2012 Clase 17 Gonzalo Perera 6

Por ejemplo, si se tienen datos de los cuales sólo se sabe que responden a una distribución continua y se testea      H0 : la muestra es iid     H1 : la muestra no es iid,

se tiene entonces un test no paramétrico (los tests de este tipo se denominan tests de aleatoriedad y son los primeros que veremos).

 Como otro ejemplo, si se tiene una muestra de una distribución continua y que puede suponerse iid (por ejemplo, porque pasó afirmativamente los tests de aleatoriedad) y se contrasta      H0 : la muestra es gaussiana     H1 : la muestra no es gaussiana,se tiene un test no paramétrico (los tests de este tipo se denominan tests de ajuste o test de bondad de ajuste - del inglés goodness of fit - y los veremos en segundo término).

P Y E 2012 Clase 17 Gonzalo Perera 7

Dentro de los tests de hipótesis paramétricos, denominamos simple a una hipótesis que especifica un único valor para el parámetro sobre cuyo valor se testea y compuesta a una hipótesis que no es simple. Por ejemplo, si se tiene una muestra que es iid y N(, 2) , la hipótesis      H0 : =0es simple , pero la alternativa      H1 : >0es compuesta. Finalmente se dice que se tiene un test de hipótesis simples si se tiene un test de hipótesis paramétrico en el que ambas hipótesis son simples. Es muy importante que quede muy claro que los tests de hipótesis simples son los más sencillos de todos los tests: todo el problema se reduce a saber si el valor del parámetro es un cierto valor dado u otro valor dado.

P Y E 2012 Clase 17 Gonzalo Perera 8

El procedimiento general:En todo test de hipótesis, se utiliza el siguiente procedimiento.

 Cada test de hipótesis está definido por una región crítica que es un región del espacio de n coordenadas tal que :

 si los datos

 X1,...., Xn

 pertenecen a dicha región entonces se rechaza H0.

 Dicho de otra manera, la región crítica establece la fórmula que, de

satisfacerla nuestros datos, nos harán rechazar H0. 

Por ejemplo, en el caso de la reconstrucción de imágenes vista en clases anteriores, se tenía que nuestros datos eran iid y N(, 2) y se

contrastaban las hipótesis 

P Y E 2012 Clase 17 Gonzalo Perera 9

     H0 (El pixel es amarillo ) =0      H1 (El pixel es azul) = 1, y la región crítica era Mn >1/2 Los distintos tests tendrán distintas regiones críticas, más o menos sofisticadas, pero lo que debe recordarse es que si se cumple lo que indica la región crítica, debe rechazarse H0 . Tenemos además entonces en todo test de hipótesis, dos posibles errores:  Error tipo I= Rechazar H0 equivocadamente. Error tipo II= Aceptar H0 equivocadamente.

P Y E 2012 Clase 17 Gonzalo Perera 10

Sus respectivas probabilidades de error se llaman habitualmente 

     =P(Error tipo I) 

     =P(Error tipo II) 

Recordando que indicaremos por PHi(A), i=0, 1

 que estamos calculando la probabilidad del suceso A suponiendo que Hi

es cierta y considerando el suceso 

R=“los datos caen en la región crítica”, 

se tiene que: 

     = PH0(R),

      = PH1

(Rc).

P Y E 2012 Clase 17 Gonzalo Perera 11

Observación muy importante!!!!!!!!!! Es un error muy frecuente decir que = 1- . Eso es en general FALSO, ya que si bien los sucesos que se consideran para calcular y son complementarios, las probablidades con las que se calcula NO SON LAS MISMAS (son dos probabilidades distintas!!!!!). No olvidar este punto!!!!!!   

Como última cuestión terminológica, suele llamársele nivel de significación (o simplemente, nivel) del test a y potencia del test a = 1-. Obviamente, lo ideal sería poder construír tests de nivel muy bajo y potencia muy alta, pero como ya veremos, esto no es siempre posible.

 

P Y E 2012 Clase 17 Gonzalo Perera 12

Como resumen final de este punto, mostramos en el siguiente cuadro las distintas combinaciones posibles de lo que es cierto

en la realidad y las decisiones que nosotros tomamos, indicando entre paréntesis las probabilidades de cada caso. 

    

Pasaremos ahora a un resultado fundamental de la teoría de los

tests de hipótesis: el Lema de Neyman-Pearson.

Decisión

Realidad H0 H1

H0 Acertamos (1- ) Error tipo I () H1 Error tipo II () Acertamos (=1- )

P Y E 2012 Clase 17 Gonzalo Perera 13

Lema de Neyman-Pearson: El Lema de Neyman-Pearson establece que, bajo ciertas hipótesis técnicas (referimos al libro por ellas), para un test de hipótesis paramétrico de alternativas simples y para una muestra dada, dado (0,1), existe una región crítica RNP (llamada región de Neyman-Pearson) para la cual la probabilidad de error de tipo I es y la probabilidad de error de tipo II, , es la menor posible (lo cual no quiere decir que sea pequeña). El Lema da además una fórmula concreta que permite construír dicha región.  

P Y E 2012 Clase 17 Gonzalo Perera 14

Observaciones:

Si bien el Lema de Neyman-Pearson refiere a test de hipótesis paramétricos de alternativas simples, en general la situación es similar: siempre es posible construír regiones críticas de un nivel dado ( y muchas veces con alguna propiedad de optimalidad entre todas las posibles regiones de nivel ), pero frecuentemente no se conoce cuánto vale o si se conoce, no es pequeño.

Las dos hipótesis juegan roles muy diferentes. Mientras que el rechazar H0 tiene probabilidad de error controlada por el que nosotros elegimos, el aceptar H0 no tiene probabilidad de error controlada (muchas veces no conocemos y bien puede no ser pequeño). Las aceptaciones de H0 son decisiones particularmente “inseguras”. 

P Y E 2012 Clase 17 Gonzalo Perera 15

Esto lleva a decir que a partir de una muestra dada, un test o bien “rechaza H0 al nivel ” o bien “no rechaza H0 al nivel ”. Para realizar un test de hipótesis debemos simplemente fijar el nivel con el que trabajaremos y luego verificar si nuestros datos satisfacen o no la fórmula de la región crítica del test; si la satisfacen debemos rechazar H0 y la probabilidad de estarnos equivocando es ; si no la satisface no rechazamos H0 por ahora, pero podríamos rechazar posteriormente al aplicar otro test o recibir más datos.

Veamos un ejemplo para “aterrizar” estos conceptos.

P Y E 2012 Clase 17 Gonzalo Perera 16

Ejemplo:

 Los siguientes datos corresponden a parte de un estudio de campo sobre incidencia de Echinococcus granulosus (Eg) en zonas rurales del departamento de Florida, Uruguay; estos datos corresponden a la incidencia de Eg (% de población afectada) según el origen del agua de consumo.

 (Fuente de los datos: Risk factors associates with human echinococcosis in Florida, Uruguay: Results of a Mass Screening study using ultrasound and serology ( C. Carmona, L. Yarzábal, S. Lloyd, M.Gemmel, G. Perera et al), American Journal of Tropical Medicine and Hygiene, 58(5), pp.599-605.(1998) )

P Y E 2012 Clase 17 Gonzalo Perera 17

Origen del agua Número Incidencia (%) Aljibe 1009 2,9 Comercial embotellada 6917 1,4

Podemos pensar que la cantidad de casos entre los consumidores de agua de aljibe corresponde a una variable X con distribución Bin(n, p), con n=1009, X/1009=0.029, y que la cantidad de casos entre los consumidores de agua comercial es una variable Y con distribución Bin(m,q), con m=6917, Y/6917=0.014, donde p y q corresponden a la probabilidad de que un consumidor de agua de aljibe (o de origen comercial, respectivamente) resulten afectados por Eg. Podemos suponer además que X e Y son independientes entre sí.

P Y E 2012 Clase 17 Gonzalo Perera 18

Debemos testear:     H0 : p=q     H1 : p>q La región crítica para este test es (ver libro) 

R={ (X/n)- (Y/m) z C}, con C={(1/n)(X/n)(1-X/n)+(1/m)(Y/m)(1-X/m)}(1/2)

 Llamemos “Estadístico del test” a 

T= [(X/n)- (Y/m)]/C, respecto al cual la región crítica se reescribe 

R={ T z }. Para nuestros datos: 

P Y E 2012 Clase 17 Gonzalo Perera 19

Estadístico del test (T) 2,743028393

Tomando por ejemplo =0.05, resulta z=1.645, por lo cual:  se satisface la región crítica y se rechaza H0,  decidiéndose, con 95% de confiabilidad, que es mayor la incidencia entre los consumidores de agua de aljibe que entre los consumidores de agua comercial ( y que no “mera casualidad” la diferencia observada en nuestra muestra). Una pregunta muy razonable que nos podemos plantear es qué pasa si cambiamos el que utilizamos.  La siguiente tabla muestra la decisión que se toma al variar para nuestros datos.

P Y E 2012 Clase 17 Gonzalo Perera 20

alfa z(alfa) Decisión alfa z(alfa) Decisión alfa z(alfa) Decisión

0,001 3,0902447 Acepto H0 0,046 1,684939 Rechazo H0 0,091 1,3346244 Rechazo H0

0,002 2,8781506 Acepto H0 0,047 1,6746617 Rechazo H0 0,092 1,3285398 Rechazo H0

0,003 2,7477654 Acepto H0 0,048 1,6645618 Rechazo H0 0,093 1,3225053 Rechazo H0

0,004 2,6520866 Rechazo H0 0,049 1,6546255 Rechazo H0 0,094 1,3165209 Rechazo H0

0,005 2,5758345 Rechazo H0 0,05 1,644853 Rechazo H0 0,095 1,3105796 Rechazo H0

0,006 2,5121335 Rechazo H0 0,051 1,6352351 Rechazo H0 0,096 1,3046861 Rechazo H0

0,007 2,4572728 Rechazo H0 0,052 1,6257627 Rechazo H0 0,097 1,2988357 Rechazo H0

0,008 2,408924 Rechazo H0 0,053 1,6164358 Rechazo H0 0,098 1,2930332 Rechazo H0

0,009 2,3656139 Rechazo H0 0,054 1,6072499 Rechazo H0 0,099 1,2872715 Rechazo H0

0,01 2,3263419 Rechazo H0 0,055 1,5981914 Rechazo H0 0,1 1,2815508 Rechazo H0

0,011 2,2903623 Rechazo H0 0,056 1,5892692 Rechazo H0 0,012 2,2571294 Rechazo H0 0,057 1,5804653 Rechazo H0 0,013 2,2262066 Rechazo H0 0,058 1,5717887 Rechazo H0 0,014 2,1972846 Rechazo H0 0,059 1,5632213 Rechazo H0 0,015 2,1700907 Rechazo H0 0,06 1,5547721 Rechazo H0 0,016 2,1444066 Rechazo H0 0,061 1,546432 Rechazo H0 0,017 2,1200685 Rechazo H0 0,062 1,5382011 Rechazo H0 0,018 2,096931 Rechazo H0 0,063 1,5300657 Rechazo H0 0,019 2,0748485 Rechazo H0 0,064 1,5220348 Rechazo H0 0,02 2,0537482 Rechazo H0 0,065 1,514104 Rechazo H0

0,021 2,033521 Rechazo H0 0,066 1,5062597 Rechazo H0 0,022 2,0140942 Rechazo H0 0,067 1,4985153 Rechazo H0 0,023 1,995395 Rechazo H0 0,068 1,4908528 Rechazo H0 0,024 1,9773688 Rechazo H0 0,069 1,4832813 Rechazo H0 0,025 1,9599611 Rechazo H0 0,07 1,4757916 Rechazo H0 0,026 1,9431354 Rechazo H0 0,071 1,4683837 Rechazo H0 0,027 1,9268373 Rechazo H0 0,072 1,4610578 Rechazo H0 0,028 1,9110303 Rechazo H0 0,073 1,4538045 Rechazo H0 0,029 1,8956962 Rechazo H0 0,074 1,4466332 Rechazo H0 0,03 1,8807896 Rechazo H0 0,075 1,43953 Rechazo H0

0,031 1,8662922 Rechazo H0 0,076 1,4325042 Rechazo H0 0,032 1,8521769 Rechazo H0 0,077 1,4255443 Rechazo H0 0,033 1,8384253 Rechazo H0 0,078 1,4186526 Rechazo H0 0,034 1,8250057 Rechazo H0 0,079 1,4118314 Rechazo H0 0,035 1,8119135 Rechazo H0 0,08 1,4050738 Rechazo H0 0,036 1,7991169 Rechazo H0 0,081 1,3983754 Rechazo H0 0,037 1,7866114 Rechazo H0 0,082 1,3917452 Rechazo H0 0,038 1,7743787 Rechazo H0 0,083 1,3851718 Rechazo H0 0,039 1,7624097 Rechazo H0 0,084 1,3786575 Rechazo H0 0,04 1,7506864 Rechazo H0 0,085 1,3722047 Rechazo H0

0,041 1,7391994 Rechazo H0 0,086 1,3658064 Rechazo H0 0,042 1,7279308 Rechazo H0 0,087 1,3594627 Rechazo H0 0,043 1,716885 Rechazo H0 0,088 1,3531735 Rechazo H0 0,044 1,7060438 Rechazo H0 0,089 1,3469389 Rechazo H0 0,045 1,6953982 Rechazo H0 0,09 1,3407544 Rechazo H0

P Y E 2012 Clase 17 Gonzalo Perera 21

Se aprecia que a mayores valores de se rechaza H0 y a valores menores de no se rechaza H0 (es lógico:cuánto más error se permite al rechazar, más se rechaza)  Más aún, la gráfica siguiente muestra que hay un valor de que hace de “divisoria de aguas”:

el valor de donde z iguala al valor del estadístico del test es el que separa los “rechazadores” de los “aceptadores”.  La existencia de un tal valor de no es ninguna casualidad; es el primer ejemplo de lo que se denomina el “p-valor” del test (p-value, en inglés).

La clase próxima veremos en detalles este punto;veamos para terminar la clase de hoy la referida gráfica y cuánto vale en éste caso el p-valor.

P Y E 2012 Clase 17 Gonzalo Perera 22

Cálculo del p-valor en Echinococcus vs. origen de agua

0

0.5

1

1.5

2

2.5

3

3.5

alfa

z(alf

a)

Estadístico del test

p-valor =0,00304383