View
3
Download
0
Category
Preview:
Citation preview
TEM
A 5
.1.:
FIA
BIL
IDA
D I
PSICOMETRÍAPSICOMETRÍA
Tema 5.1 Evaluación del instrumento de medida:
FIABILIDAD I
Salvador Chacón MoscosoSusana Sanduvete Chaves
Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material
TEM
A 5
.1.:
FIA
BIL
IDA
D I
2
ÍNDICE
1. El problema del error de medida.2. El modelo lineal de Spearman.3. Tests paralelos. Condiciones de paralelismo.4. Interpretación teórica del coeficiente de
fiabilidad.5. Tipos de errores de medida.6. Factores que afectan a la fiabilidad.
6.1. Longitud del test.6.2. Variabilidad de la muestra.
7. La fiabilidad como equivalencia y como estabilidad de las medidas.7.1. Método de las formas paralelas.7.2. Método test-retest.
8. Bibliografía.
TEM
A 5
.1.:
FIA
BIL
IDA
D I
3
1. EL PROBLEMA DEL ERROR DE MEDIDA
Error de medida: uno de los requisitos fundamentales en cualquier proceso de medida es la precisión.
“Diferencia entre la puntuación empírica obtenida por un participante en un test y su puntuación verdadera, entendiendo
por test cualquier instrumento de medición psicológica”.
-Si aplicamos n veces el mismo test a un mismo participante, ¿qué ocurre? Las puntuaciones obtenidas nunca serán iguales, aunque sí parecidas las puntuaciones estarán afectadas por errores de medida aleatorios (motivación del participante, estado de ánimo, etc.) que provocan que la puntuación empírica sea distinta al supuesto valor verdadero del participante.
-¿Cómo podemos conocer el valor real del participante en el constructo que estamos midiendo? Modelo Lineal de Spearman (TCT):
TEM
A 5
.1.:
FIA
BIL
IDA
D I
4
2. EL MODELO LINEAL DE SPEARMAN.
La puntuación observada por un participante en un test es igual a la suma de dos componentes: su verdadero valor en el rasgo medido más el error de medida cometido
X = V + E
TEM
A 5
.1.:
FIA
BIL
IDA
D I
5
1. El valor esperado de la variable aleatoria “error de medida”, es igual a cero, para una población medida con el mismo test, o para una repetición infinita de medidas sobre la misma persona
0)( iEE
2. las puntuaciones verdaderas y los errores de medida no están correlacionados (supuesto importante para posteriores derivaciones) no existe un patrón sistemático de errores positivos o negativos. 0EV
2. EL MODELO LINEAL DE SPEARMAN. Supuestos
TEM
A 5
.1.:
FIA
BIL
IDA
D I
6
Supuestos:
3. Los errores de medida de dos tests distintos no están correlacionados. Este supuesto no parece razonable en puntuaciones que se vean afectadas por factores tales como la fatiga, práctica o estado de ánimo (Allen y Yen, 1979).
0.42VE1
4. Los e de un test no están correlacionados con las puntuaciones v de un segundo test.
0.32EE1
La TCT considera el error de medida como una desviación aleatoria, no sistemática, de la puntuación
verdadera.
2. EL MODELO LINEAL DE SPEARMAN. Supuestos
TEM
A 5
.1.:
FIA
BIL
IDA
D I
7
2. EL MODELO LINEAL DE SPEARMAN. DerivacionesDerivaciones sobre esperanzas, varianzas (VAR) y correlaciones:
1. Dado que el E(Ei)=0, el valor esperado de las X, es igual al de las puntuaciones V las medias poblacionales son iguales.
VXEEVEXE )()()(.1
2. Dado que el E(Ei)=0, y que los errores son independientes de las puntuaciones verdaderas, la covariación entre las puntuaciones verdaderas y los errores es cero.
0)()()(.2 VEEEEVEE(EV)
TEM
A 5
.1.:
FIA
BIL
IDA
D I
8
3. Dado que las V y los E son independientes, la VAR de X es igual a la suma de la VAR de V más la VAR de E.
2E
2VEV
2E
2V
2X 2.3
4. Dado que la COV entre los E y V es cero, la covarianza (COV) entre las X y las V es la VAR de las puntuaciones V.
2V)()(E)V(VE ),( .4 VEEVEVXCOV
2. EL MODELO LINEAL DE SPEARMAN. Derivaciones
TEM
A 5
.1.:
FIA
BIL
IDA
D I
9
5. Dado que la COV entre X y V es igual a la VAR de V, la correlación entre las X y V puede expresarse como la proporción de variabilidad de V sobre la de X.
X
V
VX
V
VX
XVXV
2
.5Índice de fiabilidad
Si elevamos al cuadrado el índice de fiabilidad, obtenemos el coeficiente de fiabilidad
2
2
22
22
22
22 )(
.5X
V
VX
V
VX
XVXV
Representa la proporción de VAR de X, explicada por su relación lineal con V.
2. EL MODELO LINEAL DE SPEARMAN. Derivaciones
TEM
A 5
.1.:
FIA
BIL
IDA
D I
10
22
22 11.7 XE
X
EXV
6. La correlación al cuadrado entre los E y X es igual a la VAR de las X, no explicada por su relación con V, sino a partir de su relación lineal con E.
2
2
22
22
22
22 )(
.6X
E
EX
E
EX
XEXE
7. A partir de la formulación anterior, también se puede expresar el coeficiente de fiabilidad como 1 menos la correlación al cuadrado entre X y E.
Cuando la VAR de los errores sea pequeña, el coeficiente de fiabilidad será elevado
2. EL MODELO LINEAL DE SPEARMAN. Derivaciones
TEM
A 5
.1.:
FIA
BIL
IDA
D I
11
2. EL MODELO LINEAL DE SPEARMAN. Ejemplos
1. La razón entre la desviación típica de los errores y la desviación típica de las puntuaciones empíricas es 0.45. ¿Cuál es el valor del coeficiente de fiabilidad?
2. Calcular el coeficiente de fiabilidad de un test sabiendo que la VAR de las puntuaciones empíricas es igual a 36 y el error típico de medida es 3.
3. ¿Cuál es el valor del coeficiente de fiabilidad si la proporción de la VAR verdadera que hay en la VAR empírica de un test es 0.9?
TEM
A 5
.1.:
FIA
BIL
IDA
D I
12
2. EL MODELO LINEAL DE SPEARMAN. Ejemplos
3.
2.
1.
8,045,011
45,0
22
2
x
exx’
x
e
S
Sr
S
S
75,036
911 2
2
x
exx’
S
Sr
9,02
22
x
vxvxx'
S
Srr
TEM
A 5
.1.:
FIA
BIL
IDA
D I
13
3. TESTS PARALELOS. CONDICIONES DE PARALELISMO
´´ EVX
EVX
Sean dos tests X y X´ que cumplen los supuestos anteriores; se denomina paralelos si:
1. Las puntuaciones verdaderas son iguales en ambos tests. Es decir:
2. La VAR de los errores de medida es igual en ambos tests: 2
´2
EE
La imposibilidad de calcular empíricamente el coeficiente de fiabilidad, dado que desconocemos V, y por tanto los E, condujo a Spearman a definir el concepto de tests paralelos.
TEM
A 5
.1.:
FIA
BIL
IDA
D I
14
3. TESTS PARALELOS.N CONDICIONES DE PARALELISMO. Deducciones
0´´
0
´
VEVX
VEVX
XX
1. Dado que la E(Ei)=0, la media de las puntuaciones empíricas obtenidas en dos tests supuestamente paralelos es igual:
2. Dado que la VAR de los E es la misma, la VAR de las X obtenidas en dos tests paralelos también son iguales:
2´
22´
222
2´
2
EVX
EVX
XX
SSS
SSS
SS
TEM
A 5
.1.:
FIA
BIL
IDA
D I
15
3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Deducciones
2
2
´
2
´´´
´2´
´)()(´)()(
´))((´)(
X
V
XX
XXXXXX
XXXVxx
EEEEVEVEEVE
EVEVEXXE
3. La correlación entre las puntuaciones obtenidas en dos tests paralelos es igual al cuadrado de la correlación entre las puntuaciones empíricas y las verdaderas:
4. Dados dos o más tests paralelos, las intercorrelaciones entre cada uno de ellos son iguales:
ji XXXXXXXX ...323121
Consecuencias prácticas, ya que podemos expresar el coeficiente de fiabilidad como la correlación entre dos tests paralelos
Coeficiente de fiabilidad = índice de fiabilidad al cuadrado y, por tanto:
'xxxv
TEM
A 5
.1.:
FIA
BIL
IDA
D I
16
'22
XXXV
5. Despejando la VAR de V de la ecuación anterior, encontramos que la VAR de las puntuaciones verdaderas es igual al producto de la VAR de las empíricas por la correlación entre las medidas paralelas:
Una vez estimado el coeficiente de fiabilidad se puede estimar las VAR de V y E.
6. Despejando de la anterior, encontramos que la VAR de E es igual al producto de la VAR de X por uno menos la correlación entre las medidas paralelas.
)1(
;
1
2222
222
XXXXXXXE
XXXEX
XXXE
Error típico de medida
3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Deducciones
TEM
A 5
.1.:
FIA
BIL
IDA
D I
17
4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD
…la correlación entre las puntuaciones empíricas obtenidas por una muestra de participantes en dos formas paralelas del test.
2
2
´
2
´´´
´2´
´)()(´)()(
´))((´)(
X
V
XX
XXXXXX
XXXVXX
EEEEVEVEEVE
EVEVEXXE
Cociente entre
la VAR de V y la de X la proporción de X debida a V
10 ´ XX1. Las V se acercan a las X E disminuye
2. Las V se alejan de las X E aumenta
TEM
A 5
.1.:
FIA
BIL
IDA
D I
18
1´ XX 0´ XX
4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD
TEM
A 5
.1.:
FIA
BIL
IDA
D I
19
1. Las medidas no tienen E
2. X=V para todos los participantes
3. La VAR de X es igual a la de V.
4. Todas las diferencias en X reflejan diferencias en V
5. La correlación entre X y V es = 1
6. La correlación entre X y E es = 0
1´ XX
1. La X incluye sólo E
2. X=E para todos los participantes
3. La VAR de X es igual a la de E.
4. Todas las diferencias en X reflejan errores de medida
5. La correlación entre X y V es = 0
6. La correlación entre X y E es = 1
0´ XX
4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD
TEM
A 5
.1.:
FIA
BIL
IDA
D I
20
4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo
Ejemplo. Calcular el coeficiente de fiabilidad de un test de razonamiento abstracto, sabiendo que la VAR verdadera de dicho test es el 80% de su VAR empírica.
TEM
A 5
.1.:
FIA
BIL
IDA
D I
21
4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo
80,080,0
2
2
2
2
´ X
X
X
VXX
Es decir, el 80% de la VAR de las puntuaciones empíricas es verdadera medida del rasgo.
2
22
´ 1.7X
EXVXX
El coeficiente de fiabilidad también se puede expresar en función de la VAR de los errores (deducción número 7).
TEM
A 5
.1.:
FIA
BIL
IDA
D I
22
4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo 2
Ejemplo. Podemos obtener xx’ si a 1 le restamos la VAR de las puntuaciones empíricas que se debe al error de medida
´1 XXXE
Despejando en la ecuación anterior, podemos obtener el error típico de medida: medida grupal del error, es decir la diferencia entre X e V para la muestra utilizada
80,020,0112
2
´ X
EXX
TEM
A 5
.1.:
FIA
BIL
IDA
D I
23
5. TIPOS DE ERRORES DE MEDIDA
1. Error de medida: diferencia entre la puntuación empírica de un participante y su puntuación verdadera.
´XE 1
;
XX
VXE
2. Error de estimación de la puntuación verdadera: diferencia entre V de un participante y su puntuación verdadera pronosticada
´E´´XVX 1
´;
XXXXXX
VVE
El error típico de medida es la desviación típica de los errores de medida de todos los participantes de la muestra medida grupal del error
El error típico de estimación de la puntuación verdadera
TEM
A 5
.1.:
FIA
BIL
IDA
D I
24
5. TIPOS DE ERRORES DE MEDIDA
3. Error de sustitución: diferencia entre la puntuación obtenida por un participante en un test y la obtenida en otro paralelo.
221
;
E´XX-X
21
21
XX
XXE
4. Error de predicción: diferencia entre las puntuaciones obtenidas por un participante en un test, y su puntuación pronosticada en ese mismo test.
´´´Xep
11
111
;
XXEXXXX
XXE
El error típico de sustitución
El error típico de predicción
TEM
A 5
.1.:
FIA
BIL
IDA
D I
25
6. FACTORES QUE AFECTAN A LA FIABILIDAD
La fiabilidad de un test depende de factores como:
• La longitud del propio test.
• Variabilidad de la muestra.
Decir que la precisión del instrumento depende de la variabilidad de la muestra, implica que la precisión del instrumento depende del objeto medido, lo que no resulta deseable en ningún
proceso de medición
TEM
A 5
.1.:
FIA
BIL
IDA
D I
26
6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.La longitud del test
A mayor número de ítems, mayor fiabilidad Cuantos más ítems se utilicen, mayor será la información acerca del rasgo a medir
'
'' )1(1 XX
XXXX rn
nrR
-RXX’ = coeficiente de fiabilidad del test acortado o alargado
-rXX’= coeficiente de fiabilidad del test original
-n = número de veces que se ha alargado el test: n=EF/EI;
donde EF = número de elementos finales;
EI = número de elementos iniciales
La relación entre la fiabilidad y la longitud viene determinada por la Fórmula de Spearman-Brown
TEM
A 5
.1.:
FIA
BIL
IDA
D I
27
6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.La longitud del test
Ejemplo. Se aplica un test compuesto por 50 ítems a una muestra de participantes y se obtiene un coeficiente de fiabilidad de 0,60. ¿Cuál será el coeficiente de fiabilidad si duplicamos la longitud del test? ¿Y si multiplicamos por 6 el número de ítems original?
TEM
A 5
.1.:
FIA
BIL
IDA
D I
28
6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.La longitud del test
9,06,0*51
60,0*6
)1(1
75,06,01
60,0*2
)1(1
'
''
'
''
XX
XXXX
xx
xxXX
rn
nrR
rn
nrR
BrownSpearman
1R ; xx'
n
BrownSpearman
1. Observamos que el coeficiente de fiabilidad pasa de 0,60 a 0,752. Si aumentamos 6 veces la longitud, obtenemos un coeficiente de 0,9
3. Cuando n tiende a infinito, el coeficiente tiende a 1; llegando a este límite si se añadiesen infinitos ítems
TEM
A 5
.1.:
FIA
BIL
IDA
D I
29
En la gráfica se aprecia que a medida que aumenta n, el coeficiente aumenta, pero:
1. Al principio, el aumento es más pronunciado para tests más fiables
2. A medida que n se incrementa el aumento se suaviza
6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.La longitud del test
3. El incremento es menor a medida que rxx’ disminuye
TEM
A 5
.1.:
FIA
BIL
IDA
D I
30
)1(
)1(
''
''
XXXX
XXXX
Rr
rRn
Para el test del ejemplo, queremos alcanzar un coeficiente de fiabilidad de 0,90. ¿Cuántos elementos paralelos habría que añadir?
¿Hasta dónde resulta rentable aumentar el número de ítems para obtener una fiabilidad significativamente mejor que la original? ¿Cuántos ítems paralelos Cuántos ítems paralelos habría que añadir para alcanzar un determinado valor del coeficiente de fiabilidad?Spearman-Brown permite estimar
el n que sería necesario para alcanzar un determinado valor del coeficiente de fiabilidad
6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.La longitud del test
TEM
A 5
.1.:
FIA
BIL
IDA
D I
31
25050300
3006*5050
6
6)90,01(60,0
)60,01(90,0
)1(
)1(
''
''
EIEFAñadidos
EF
EFEI
EFn
Rr
rRn
XXXX
XXXX
Habría que aumentar la longitud 6 veces, lo que equivale a un test de 300 elementos. Por lo tanto, habría que añadir 250 ítems.
6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.La longitud del test
TEM
A 5
.1.:
FIA
BIL
IDA
D I
32
6.2. FACTORES QUE AFECTAN A LA FIABILIDAD.La variabilidad de la muestra
2. grupo elen fiabilidad de ecoeficient r
1. grupo elen fiabilidad de ecoeficient r
2. grupo elen espuntuacion las de empírica varianzaS
1. grupo elen espuntuacion las de empírica varianza
)1(1
22
11
22
21
1122
21
22
S
rS
Sr
El coeficiente de fiabilidad puede variar en función de la mayor o menor homogeneidad del grupo.
A mayor variabilidad, mayor fiabilidad.
Fórmula que relaciona variabilidad con fiabilidad.
TEM
A 5
.1.:
FIA
BIL
IDA
D I
33
Ejemplo. Se ha aplicado un test a una muestra de participantes en donde la desviación típica de las puntuaciones empíricas es igual a 20. La razón entre la desviación típica de los errores y de las puntuaciones empíricas es 0,4. Además, se ha aplicado el test a otra muestra de participantes en la que la desviación típica de las puntuaciones empíricas es igual a 10. ¿Cuál será el valor del coeficiente de fiabilidad del test en esta segunda muestra?
6.2. FACTORES QUE AFECTAN A LA FIABILIDAD.La variabilidad de la muestra
TEM
A 5
.1.:
FIA
BIL
IDA
D I
34
36,0)84,01(100
4001)1(1
84,04,011r ;4,0
1122
21
22
22
2
11
rS
Sr
S
S
S
S
x
e
x
e 1. Calcular el coeficiente de fiabilidad en la muestra original. Encontramos que vale 0,84
2. Aplicamos la fórmula y encontramos que vale 0,36 a menor variabilidad menor fiabilidad
6.2. FACTORES QUE AFECTAN A LA FIABILIDAD.La variabilidad de la muestra
TEM
A 5
.1.:
FIA
BIL
IDA
D I
35
7. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS
La estabilidad hace referencia a que cuando se evalúa un rasgo con el mismo test en distintas ocasiones, siempre y cuando el rasgo no haya cambiado, se deberían obtener puntuaciones muy similares.
- Los principales métodos para el cálculo del coeficiente de fiabilidad y que se basan en la aplicación directa de la correlación son:
- de las formas paralelas
- test-retest
TEM
A 5
.1.:
FIA
BIL
IDA
D I
36
7.1. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS. Método de las formas paralelas
Fases:
1. Construir dos formas paralelas de un test: X y X’.
2. Aplicar las dos formas del test a una muestra de participantes lo suficientemente amplia.
3. Calcular el coeficiente de correlación de Pearson.
22
22
21
21
2121
)()(21
XXNXXN
XXXXNr XX
Coeficiente de equivalencia (grado en que ambas formas son equivalentes)
Ventaja: la posibilidad de aplicar ambas formas en el mismo momento posibilita un mayor control de la situación.
Inconveniente: es realmente difícil construir formas paralelas.
TEM
A 5
.1.:
FIA
BIL
IDA
D I
37
7.2. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS. Método test-retest
Se aplica el mismo test a la misma muestra de participantes en dos ocasiones diferentes. A continuación, calculamos el coeficiente de correlación (coeficiente de estabilidad).
-Ventaja: no requiere la elaboración de dos formas paralelas del mismo test.
- Inconvenientes:
- memorización de algunos ítems: provoca aumento irreal de la puntuación de los participantes.
- intervalo temporal: es deseable incrementar el tiempo, pero se corre el peligro de que el rasgo cambie.
- actitud de los participantes, ya que un cambio en la cooperación puede provocar una puntuación más alta o baja.
TEM
A 5
.1.:
FIA
BIL
IDA
D I
38
8. BIBLIOGRAFÍA
1. Barbero, I., García, E. Vila, E., y Holgado, F.P. (2010). Psicometría: Problemas resueltos. Madrid: Sanz y Torres.Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas.2. Barbero, I. (Coord.) , Vila, E. y Holgado, F.P. (2010). Psicometría. Madrid: Sanz y Torres.En el capítulo 4 se introduce el modelo lineal clásico y el concepto de tests paralelos, así como la interpretación del coeficiente de fiabilidad y distintos métodos para su estimación.
3. Gómez-Benito, J. (1996). Aportaciones de los modelos de estructuras de covarianza al análisis psicométrico. En J. Muñiz (Coord.), Psicometría. Madrid: Universitas.
El capítulo 10, define conceptos fundamentales como coeficiente de fiabilidad y tests paralelos desde modelos de ecuaciones estructurales.
TEM
A 5
.1.:
FIA
BIL
IDA
D I
39
4. Meliá, J.L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano.
En los Capítulos 3 y 4 expone el modelo lineal clásico de los errores de medida, el concepto de coeficiente e índice de fiabilidad y la definición de tests paralelos. El Capítulo 6 destaca algunas de las críticas. En el Capítulo 7 se trata la consistencia interna y los factores que afectan a la estimación de la fiabilidad.
5. Muñiz, J. (1996). Fiabilidad. En J. Muñíz (Coord.), Psicometría. Madrid: Universitas.
En el Capítulo 1 se resumen los conceptos fundamentales del modelo lineal clásico y la definición de paralelismo.
6. Nunnally, J.C. y Bernstein, I.J. (1995). Teoría Psicométrica. México: McGraw Hill.
El Capítulo 6 se presentan aspectos sobre supuestos y deducciones del modelo clásico. En el Capítulo 7 presentan algunas limitaciones y extensiones del modelo lineal clásico.
8. BIBLIOGRAFÍA
Recommended