Fiabilidad y variabilidadFiabilidad y variabilidad

►►El coeficiente de fiabilidad de un test se ve El coeficiente de fiabilidad de un test se ve afectado por la variabilidad de la muestra. afectado por la variabilidad de la muestra. Un test tiende a manifestar un coeficiente Un test tiende a manifestar un coeficiente de fiabilidad mayor cuanto mayor sea su de fiabilidad mayor cuanto mayor sea su variabilidad.variabilidad.

►►Basándose en que:Basándose en que:El error típico de medida es independiente de la El error típico de medida es independiente de la variabilidad de la muestra =>variabilidad de la muestra =>

σσe1e1 = = σσe2e2

Fiabilidad y variabilidadFiabilidad y variabilidad

σ σ ρ σ ρ σ

ρσ ρ

σ

e x x e

x

x

despejando1

21

211 2

222 2

2

221

211

22

1 1

11

= − = − =

= −−

( ) ( )

( )

Fiabilidad y longitudFiabilidad y longitud

►► Spearman Spearman ––Brown, para n=2Brown, para n=2

xx

xxxxR

ρρ+

=12

Siendo Rxx la fiabilidad del test de longitud doble yρxx la fiabilidad del test primitivo

Fiabilidad y longitudFiabilidad y longitud

►► Ejemplo:Ejemplo:El coeficiente de correlación de El coeficiente de correlación de PearsonPearson entre dos mitades entre dos mitades aleatorias de un test es de 0,85. ¿Cuál es el coeficiente de aleatorias de un test es de 0,85. ¿Cuál es el coeficiente de fiabilidad de dicho test?fiabilidad de dicho test?

92,085,0185,02

=+

=xRxx

Fiabilidad y longitudFiabilidad y longitud

►► Spearman Spearman ––Brown, caso generalBrown, caso general

xx

xxnn

xxR ρρ

)1(1 −+=

Siendo:Rxx, el coeficiente de fiabilidad del test resultanten, el número de veces que se aumenta la longitud del testρxx, el coeficiente de fiabilidad del test original

Fiabilidad y longitudFiabilidad y longitud

►► Ejemplo:Ejemplo:Un test tiene 10 ítems y un coeficiente de fiabilidad de 0,8. Un test tiene 10 ítems y un coeficiente de fiabilidad de 0,8.

Se le añaden 20 ítems más, paralelos a los que ya poseía. Se le añaden 20 ítems más, paralelos a los que ya poseía. ¿Cuál es el coeficiente de fiabilidad del test resultante?¿Cuál es el coeficiente de fiabilidad del test resultante?

92,08,0)13(18,03 == −+

xxxR

Fiabilidad y longitudFiabilidad y longitud

►► De la fórmula anterior si se despeja la n De la fórmula anterior si se despeja la n

)1()1(

xxxx

xxxxR

Rn −−= ρρ

Donde cada símbolo representa lo mismo que en la fórmula de Spearman-BrownEsta fórmula sirve para calcular directamente el valor de N con el fin de conseguir un determinadocoeficiente de fiabilidad

EjemploEjemplo

►► Se dispone de un test de 10 ítems para llevar a cabo una Se dispone de un test de 10 ítems para llevar a cabo una investigación. El coeficiente de fiabilidad del test es de 0,75.investigación. El coeficiente de fiabilidad del test es de 0,75. ¿Cuántos ¿Cuántos elementos hay que añadir al test si se quiere que su fiabilidad elementos hay que añadir al test si se quiere que su fiabilidad sea de sea de 0,9?0,9?

3)9,01(75,0)75,01(9,0=

−−

=n

Es decir, al test habrá que añadirle 20 elementos paralelos a los que ya tiene.

Otras fórmulas para el cálculo del coeficiente de Otras fórmulas para el cálculo del coeficiente de fiabilidadfiabilidad

►► Fórmulas basadas en la consistencia interna entre Fórmulas basadas en la consistencia interna entre las dos mitades del test:las dos mitades del test:

►► Fórmula de Fórmula de RulonRulon::

►► Fórmula de Fórmula de GuttmanGuttman y y FlanaganFlanagan::

2

2

1x

ipxx σ

σρ −−=

⎟⎟⎠

⎞⎜⎜⎝

⎛ +−= 2

22

12x

ipxx σ

σσρ

11,560,042,563,24Media2

14,43,40,43,63,8-0,21,61,8Media

1443443638-21618Σ

36609903311111110

1640440220011119

93114-1120001118

931411210010117

11101-1010000016

3660990331111115

1640440220011114

420110110000113

1640440220011112

11101-1010000011

654321

X2x(p-i)2p2i2p-ipiÍtemsSujetos

σ2(p-i)= 0,4 - 0.04 = 0,36

σ2(p)= 3,6 - 2,56 = 1,04

σ2(i)= 3,8 – 3,24 = 0,56

σ2(x)= 14,4 – 11,56 = 2,84

87,084,2

56,004,112

87,084,236,01

=⎟⎠

⎞⎜⎝

⎛ +−=

=−=

Guttman

Rulon

La consistencia interna como La consistencia interna como estimación de la fiabilidadestimación de la fiabilidad

El coeficiente El coeficiente ααEn 1951, Cronbach, publica en Psychometrika un artículo titulado:

Coefficient alpha andthe

internal structure oftests

El coeficiente El coeficiente αα►► El coeficiente El coeficiente αα de de ConbrachConbrach es, sin duda, el mes, sin duda, el méétodo todo

mmáás conocido y ms conocido y máás utilizado para el estudio de la s utilizado para el estudio de la consistencia interna del test como estimaciconsistencia interna del test como estimacióón de su n de su fiabilidad.fiabilidad.

►► Su valor se estima a partir de la siguiente ecuaciSu valor se estima a partir de la siguiente ecuacióón:n:

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

−−

=∑=

21

2

11 x

n

jj

nn

σ

σα

El coeficiente El coeficiente αα

0,810,642,091,240,760,641,691,210,802,64Varianza

355353353510

03103302109

03103413118

24203323117

15425545336

15425545235

15314323124

25535435353

25425313342

14214313221

10987654321

ÍtemsSujetos

σ2x = 87,6

95,06,874,121

910

=⎟⎠

⎞⎜⎝

⎛−=α

Fórmulas basadas en el coeficiente Fórmulas basadas en el coeficiente αα

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛

−⎟⎠⎞

⎜⎝⎛

−=

∑=

21

20 11 x

n

iiiqp

nnKR

σ

Esta fórmula está basada en el coeficiente α y puede utilizarse cuando los ítems son dicotómicos

Fórmulas basadas en el coeficiente Fórmulas basadas en el coeficiente αα

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛−

−⎟⎠⎞

⎜⎝⎛

−= 2

2

21 11 x

nXX

nnKR

σ

La fórmula es equivalente al α de Cronbach cuando los ítems son dicotómicos y tienen todos ellos la misma probabilidad de ser acertados

Fórmulas basadas en el análisis Fórmulas basadas en el análisis factorialfactorial

►► Coeficiente Coeficiente θθ de Carminesde CarminesEn 1979 Carmines y En 1979 Carmines y ZellerZeller propusieron el coeficiente propusieron el coeficiente θθcomo una aproximacicomo una aproximacióón al coeficiente n al coeficiente αα. .

⎟⎟⎠

⎞⎜⎜⎝

⎛−

−=

1

111 λ

θn

n

Donde λ1 es el primer autovalor de la matriz de datos sometida a análisis factorial

Fórmulas basadas en el análisis Fórmulas basadas en el análisis factorialfactorial

►► Se puede demostrar que:Se puede demostrar que:

xxxx

Coeficiente Coeficiente ββ

►►RajuRaju en 1977 propone el coeficiente en 1977 propone el coeficiente ββ, , generalizacigeneralizacióón de n de αα, que permite resolver el , que permite resolver el problema que se plantea para estimar el problema que se plantea para estimar el coeficiente de coeficiente de αα de la baterde la bateríía, sa, sóólo se lo se dispone de las puntuaciones en los subtests dispone de las puntuaciones en los subtests y y ééstos no tienen el mismo nstos no tienen el mismo núúmero de mero de íítems. Si bajo estas condiciones se calcula tems. Si bajo estas condiciones se calcula αα, se obtiene una , se obtiene una infraestimaciinfraestimacióónn del del coeficientecoeficiente

Coeficiente Coeficiente ββ

βσ σ

σ

=−

−⎛⎝⎜

⎞⎠⎟

⎡

⎣⎢⎢

⎤

⎦⎥⎥

=

=

∑

∑

x jj

k

xj

j

k nn

2 2

1

2

2

11

K: Número de subtests de la bateríaσ2

x: Varianza de las puntuaciones en la bateríaσ2

j : Varianza de cada subtestnj: Número de ítems de cada subtestn: Número de ítems de la batería

Fiabilidad de una batería de testsFiabilidad de una batería de tests

►► Para el cálculo de la fiabilidad de una batería de Para el cálculo de la fiabilidad de una batería de tests tests YelaYela (1987) propone la siguiente fórmula:(1987) propone la siguiente fórmula:

21

'2

1

2

1x

n

jjjj

n

jj

nRσ

ρσσ ∑∑==

−−=

Inferencias sobre Inferencias sobre αα

►►En muchas ocasiones interesa comparar el En muchas ocasiones interesa comparar el valor del coeficiente valor del coeficiente αα cuando un test se cuando un test se aplica en dos muestras diferentes. Por aplica en dos muestras diferentes. Por ejemplo puede ser interesante comprobar si ejemplo puede ser interesante comprobar si la fiabilidad o la consistencia interna de un la fiabilidad o la consistencia interna de un test es la misma en hombres y mujeres.test es la misma en hombres y mujeres.

►►FeldtFeldt en 1.969 propone un estaden 1.969 propone un estadíístico de stico de contraste que permite esta comparacicontraste que permite esta comparacióón:n:

Inferencias sobre Inferencias sobre αα

►►HH00: : αα11 = = αα22

►►HH11: : αα11 ≠≠ αα2 2 o o HH11: : αα11 < < αα22

Inferencias sobre Inferencias sobre αα

Donde w se distribuye según la distribución F con (N1- 1) y (N2-1) g. l.

2

1

11

αα

−−

=w

Inferencias sobre Inferencias sobre αα►► Se pasa un test de Neuroticismo a 121 mujeres y 61 Se pasa un test de Neuroticismo a 121 mujeres y 61

varones. El coeficiente varones. El coeficiente αα en el grupo de las mujeres fue en el grupo de las mujeres fue de 0,92 y 0,87 en el grupo de varones. Al nivel de de 0,92 y 0,87 en el grupo de varones. Al nivel de confianza del 95% confianza del 95% ¿¿se puede decir que el test tiene la se puede decir que el test tiene la misma consistencia interna en ambos grupos?misma consistencia interna en ambos grupos?

625,192,0187,01

=−−

=W

F60,120 g.l. = 1,53; 1,625 > 1,53

Fiabilidad de las diferenciasFiabilidad de las diferencias

►► Diferencias Diferencias interinter e e intraindividualesintraindividuales en el mismo en el mismo tests o en tests paralelostests o en tests paralelos

HH00: : VV11 = V= V22

HH11: : VV11 ≠≠ VV22 ó H’ó H’11: : VV11 >> VV22

d

xxxd

XXRCσ

ρσσ

21

' 21

−=

−=

Fiabilidad de las diferenciasFiabilidad de las diferencias

►► Diferencias Diferencias intraindividualesintraindividuales en tests diferentes:en tests diferentes:

22112 xxxxxd ρρσσ −−=

Fiabilidad de las diferenciasFiabilidad de las diferencias

►►Ejemplo 1º: A un paciente se le diagnostica Ejemplo 1º: A un paciente se le diagnostica una depresión por haber obtenido en un una depresión por haber obtenido en un test que mide este trastorno 54 puntos. test que mide este trastorno 54 puntos. Tras una terapia se le vuelve a aplicar el Tras una terapia se le vuelve a aplicar el test y obtiene 30 puntos. La fiabilidad del test y obtiene 30 puntos. La fiabilidad del test es de 0,9 y su varianza 121. Al nivel de test es de 0,9 y su varianza 121. Al nivel de confianza del 95% se puede decir que la confianza del 95% se puede decir que la terapia fue eficaz?terapia fue eficaz?

Fiabilidad de las diferenciasFiabilidad de las diferencias

►► 1.1.-- Nivel de confianza 95%=ZNivel de confianza 95%=Zαα=1,645=1,645

►► 2.2.--

►► 3.3.--

►► 4.4.-- 1,645 < 4,881,645 < 4,88

88,492,43054

=−

=RC

92,429,0111 =−=dσ

DefiniciónDefinición

►►Un test, como cualquier otro Un test, como cualquier otro instrumento de medida, es instrumento de medida, es válido si sirve para medir válido si sirve para medir adecuadamente aquello para lo adecuadamente aquello para lo que fue pensado como tal que fue pensado como tal instrumento de medidainstrumento de medida

Diferentes tipos de validezDiferentes tipos de validez►► Validez de contenido.Validez de contenido.

Validez aparente.Validez aparente.Validez muestral.Validez muestral.Validez curricular.Validez curricular.

►► Validez de constructo.Validez de constructo.Validez convergente.Validez convergente.Validez discriminante.Validez discriminante.Validez factorial.Validez factorial.

►► Validez en relación con un criterio.Validez en relación con un criterio.Validez Validez predictivapredictiva..Validez concurrente.Validez concurrente.Validez retrospectiva.Validez retrospectiva.