14. Contrastes no paramétricos

1

14. Contrastes no paramétricos

Contrastes no paramétricosEn la lección anterior nos hemos ocupado de contrastes paramétricos. Determinábamos la plausibilidad de ciertas hipótesis sobre los valores de parámetros poblacionales.

Los contrastes no paramétricos hacen referencia a la distribución poblacional en su conjunto:

(1) Cómo podemos decidir a partir de una muestra si la población sigue (“ajusta”) a una determinada distribución dada (problema de bondad de ajuste).

(2) ¿Estas muestras provienen de poblaciones con la misma distribución? (problema de la homogeneidad).

(3) ¿Son independientes o dependientes varias características poblacionales?

2

Prueba de bondad de ajuste 2

Supongamos una muestra aleatoria simple de tamaño n. Desconocemos que la distribución de probabilidad f de la población.

Contrastaremos la hipótesis:H0: f = f0 y H1: f f0

Es decir: queremos contrastar si la distribución desconocida f de la población es f0, que conocemos completamente (por ejemplo, una distribución de Poisson determinada).

Usaremos la distribución chi-cuadrado para determinar la bondad de ajuste entre las frecuencias observadas de los datos de la muestra, frecuencias muestrales, y las frecuencias esperadas (teóricas) según la distribución que sospechamos es la de la población. 3

Procedimiento:

(1) Dividimos el dominio completo de la distribución teórica f0 en k clases o intervalos disjuntos. Calculamos el número de datos esperados, según la distribución teórica a contrastar f0 , que deberían haber caído en cada clase. Para ello basta multiplicar la probabilidad que asigna f0 a cada clase por n, el tamaño muestral.

Hemos de construir las clases de modo que cada una contenga al menos 5 datos muestrales. Tenemos pues: A1, A2, ... ,Ak clases con n1

esp, n2esp, ... ,nk

esp datos muestrales en cada clase, donde todos valores tienen que ser mayores o iguales a 5.

4

Ejemplo: Durante 200 días se han recogido el número de accidentes de tráfico diarios:

Número de accidentes 0 1 2 3 4 5 6 7

Número de días 22 53 58 39 20 5 2 1

(1) Creemos que el número de accidentes se distribuye como una Poisson de media 2 (hipótesis nula).

Núm. de accidentes 0 1 2 3 4 5

N. esperado de días 27,06 54,14 54,14 36,08 18,04 10,54

41.2012.0200;012.0!6

2)6(6

2 exP

Calculamos los valores esperados a través de la Poisson.Aquí la probabilidad será de 5 a infinito.

5

Procedimiento:(2) Ahora construimos las mismas k clases o

intervalos disjuntos para los datos muestrales. Tendremos también: A1, A2, ... ,Ak clases con n1, n2, ... ,nk datos muestrales en cada clase.

Número de accidentes 0 1 2 3 4 5 6 7

Número de días 22 53 58 39 20 5 2 1

Número de accidentes 0 1 2 3 4 5

Número de días 22 53 58 39 20 8

Ajustamos al número de clases que nos determinó la distribución a contrastar.

Estos son los datos originales:

6

Realizaremos el test de constraste utilizando el estadístico chi-cuadrado siguiente:

k

i i

ii

EEn

1

22

ˆˆ

que sigue una distribución chi-cuadrado con k-1 grados de libertad.En nuestro ejemplo tenemos k = 6 clases. Luego:

307.254.10

)54.108(...06.27

)06.2722(ˆ

)ˆ( 226

1

22

i i

ii

EEn

Frecuenciasesperadas

Frecuencias muestrales

7

307.22 Nuestro estimador chi-cuadrado vale:

El estimador se distribuye como:

Supongamos que queremos:

0.05

25

216

21 k

07.11205.0,5

02 07.11307.2 HrechazarpodemosNo

05.0

07.11205.0,5

En las tablas encontramos:

8

Hipótesis compuesta

Primero estimaremos por el método de máxima verosimilitud el valor del parámetro :

n

iin

n

i

x

nin

xnLn, θ,...,xL(xLn

exf, θ,...,xL(x i

11

1

1

1

1)

1,)

13

0ˆˆ2

ˆ

2)

1ˆ

01)

32

ˆ132

ˆ2

12

1

12

1

nn

xnθ

, θ,...,xL(xLn

xn

xnθ

, θ,...,xL(xLn

n

ii

n

n

ii

n

ii

n

14

67.220ˆ

i

ii

nxn

Duración 0-200 200-300 300-400 400-500 500-600

# bombillas ni 40 15 8 6 6

xi 100 250 350 450 550

El valor estimado de será:

15

59.067.220

1)2000(ˆ

:ˆ1)(ˆ

67.220/20067.220/0

67.220/200

01

ˆ/ˆ/ˆ/

ee

dxexPp

ejemploPor

eedxebxaPp

x

baxb

ai

Duración 0-200 200-300 300-400 400-500 500-600

# bombillas ni 40 15 8 6 6

xi 100 150 350 450 550

0.59 0.15 0.09 0.06 0.04

Ahora calculamos las probabilidades esperadas:

ip̂

Aquí la probabilidad será de 500 a infinito.

16

Duración 0-200 200-300 300-400 400-500 500-600

# bombillas ni 40 15 8 6 6

xi 100 150 350 450 550

0.59 0.15 0.09 0.06 0.04

44.70 11.04 7.02 4.46 2.84

Y a partir de ellas podemos calcular los valores esperados de las muestras:

ip̂

70.4459.0)6681540(ˆˆ:ˆˆ

11

pnE

ejemploPorpnE ii

ii pnE ˆˆ 17

Como la penúltima categoría da un valor menor que 5, unimos las dos últimas:

0.59 0.15 0.09 0.06 0.04

100 150 350 450 550 xi

44.70 11.04 7.02 4.46 2.84

40 15 8 6 6# bombillas ni

0-200 200-300 300-400 400-500 500-600Duración

ip̂

ii pnE ˆˆ

7.30

08.530.7

)30.712(...70.44

)70.4440(ˆ

)ˆ( 224

1

22

i i

ii

EEn

12

18

08.52 Nuestro estimador chi-cuadrado vale:

El estimador se distribuye como:

0.05

22

2114

21 k

99.5205.0,2

99.5205.0,2

02 99.508.5 HrechazarpodemosNo

Esta es la diferenciafundamental con el caso anterior. Al número de clases k hay que restarle 1 y el número de parámetros que previamente hemos estimado. En este caso: = 1.

19

20

21

Los Borg en Star Trek

Inteligencia colectiva

El público presente corre los 100 metros lisos.

Habrá una mejor marca. Ahora, el promedio, ¿estará por encima o por debajo?

La nota media, el salario medio, la altura media,... parece, que en general, promedio es igual a mediocridad. Sin

embargo, en la toma de decisiones o en las estimaciones, a veces, el promedio colectivo puede ser excelente.

Veamos un ejemplo:“¿Quién quiere ser millonario?”

Opción de llamadaOpción del público

Aciertan el 65% de las veces. Aciertan el 90% de las veces.

Un experimento clásico de inteligencia de grupo

“¿Cuántos caramelos hay en el tarro?”

La media fue de 143, un error de un 6 por ciento.

En el tarro había 153 caramelos. Grupo de 53 estudiantes.

Nieves Concostrina 45 años media: 50. Pancracio Celdrán 65 años media: 58. Jose Manuel Sánchez 56 años media: 52.

Nieves 69 kilos estimaron 66 kilosPancracio 69 kilos estimaron 75 kilos Jose Manuel 83 kilos estimaron 82 kilos.

Hubo nueve personas que hicieron mejor estimación, en valor absoluto que la media del grupo.

Estimar el peso y la edad de tres de nuestros colaboradores solamente por su voz en antena

Si sumamos los pesos de Nieves, Pancracio y el comisario, tenemos 221 kilos y la media es 223: ¡sólo 2 kilos de más!

Y si sumamos las edades, el resultado es de 166, cuando el grupo estimó 160: 6 años de menos.

Tomando así las cosas, nadie en particular se acercó más que la media.

Y si nos inventamos los kilo-años, el total sería de 387 kilo-años y el grupo dijo 383: ¡solo 4 kilo-años menos!

Estimar el peso y la edad de tres de nuestros colaboradores solamente por su voz en antena

En cierto modo, cada miembro del colectivo contribuye con información fetén

+ error, y en el promedio, los errores se compensan. De modo que, dadas las circunstancias adecuadas, los grupos

manifiestan una inteligencia notable, con frecuencia superando a sus miembros

más inteligentes o informados.

¿Se está usando este conocimiento para mejorar los resultados en alguna

actividad? Todos conocemos los sondeos de intención de voto a pie de

urna. A partir de esa muestra se hace una predicción del resultado de las elecciones.

Existe una alternativa que utiliza la sabiduría colectiva: consiste en preguntar a un conjunto de personas, no qué van a votar, sino que predigan qué votará el conjunto del país. En Internet pueden encontrar los resultados de algunos experimentos. Tienen que buscar por IEM, Iowa Electronic Markets. Y comprobarán que sorprendentemente las predicciones del colectivo son mejores que las clásicas encuestas.

¿Existirá algo así como creatividad artística colectiva?

Karaoke

“Experto en cocina marítima” de los “No me pises que llevo chanclas”.

¿Existirá algo así como creatividad artística colectiva?

Karaoke

Pablo

Sergio

Ana

Grupo

A

C

B

... con Kevin McCourt(1) Cuadros colectivos (2) Relatos colectivos

Prueba de homogeneidad

Supongamos que disponemos de los datos de m muestras aleatorias y deseamos saber si podemos decidir si provienen de la misma distribución poblacional.

mnnnn ...21Tamaño total de todas las muestras.

Tamaño de la muestra m.

Nuevamente hemos de dividir el conjunto de observaciones en k clases: A1, A2, ... ,Ak clases determinadas por los valores esperados (en cada clase, todos valores mayores o iguales a 5). Pero ahora lo haremos m veces.

35

El estadístico de contraste será ahora:

m

i

k

jtotalii

totalii

ij

nEE

nEEn

1 1

2

2

ˆˆ

ˆˆ

Frecuencia muestral de la clase j de la muestra i

Número total de elementos de la muestra i

Suma de las frecuencias muestrales de todas las clases número i

El estadístico seguirá una distribución chi-cuadrado de(m-1)(k-1) gradosde libertad. 36

37

Prueba de independenciaSupongamos que de n elementos de una población se han observado dos características X e Y. Es decir: disponemos de los datos de una muestra aleatoria simple bidimensional:

),(),...,,(),,( 2211 nn yxyxyx

Deseamos contrastar si las características poblacionales X e Y son independientes o no. Nuevamente hemos de dividir el conjunto de observaciones en k clases: A1, A2, ... ,Ak clases determinadas por los valores esperados de X y en r clases: B1, B2, ... ,br para Y. (De nuevo en cada clase, todos valores mayores o iguales a 5) 38

El estadístico de contraste será ahora:

k

i

r

jtotalj

totali

totalj

totali

ij

nEE

nEE

n

1 1

2

2

ˆˆ

ˆˆ

Frecuencia muestral de la clase (i, j) (X,Y).

Número total de elementos de la clase jde Y con el resto de clases de X

Número total de elementos de la clase ide X con el resto de clases de Y

El estadístico seguirá una distribución chi-cuadrado de(k-1)(r-1) gradosde libertad. 39

40

Contraste de Kolmogorov-Smirnov

El contraste K-S de bondad de ajuste es válido solo para distribuciones continuas.

(1) Se ordenan los n valores muestrales:

nxxx ...21

(2) Se calcula la distribución empírica de la muestra:

n

rrn

xxxxxnr

xxxF

11/

0)(

1

41

Se calcula la discrepancia máxima, que será el estimador que usaremos, entre la función de distribución empírica que acabamos de calcular y la distribución teórica F0 que estamos contrastando:

|)()(| 0 xFxFmáx nn

cuya distribución es conocida y tenemos tabulada según los valores de n.

42

50

51

52

53

54

55

56

CONTRASTE DE HIPOTESIS

Media:Media:

Normalidad (ó n>30): t-test

No normalidad y n<30: realizamos contrastes no-paramétricossobre la mediana: test de los signos, test de los rangoscon signo (requiere simetría)

Desv. Típica ó varianza: Test chi-cuadrado: requiere normalidad

Mediana: Test de los signos, test de los rangos signados(requiere simetría)

Igualdad de varianzas: F-test: requiere normalidad en ambas poblaciones.

Igualdad de medias/medianas:

Muestras normales e Independientes (ó n>30):

¿Son iguales las varianzas?

(intervalo para el cociente de varianzas ó F-test)

SI NO

Muestras normales, Datos pareados:

¿Es normal la variableD (diferencia) (ó n>30)?

CONTRASTE DE HIPOTESIS

(en ambos casos, t-test)

SI: t-testsobre D

NO: test de los signos ó rangos signados para ver si la mediana de D es 0

Alguna variableno es normal y n<30:contrastamos la igualdad de las medianas(test de Mann-Whitney)

CONTRASTE DE HIPOTESIS

Igualdad de distribuciones: Test de Kolmogorov-Smirnov

Bondad de ajuste: Test de la chi-cuadrado (ojo, frec. esp. >5,número suficiente de datos); en el caso de normalidad, tests de normalidad.

Independencia entre variables: Test chi-cuadrado (ojo, frec. esp.>5).

Otros tests (no paramétricos):