TEMA 4LA FIABILIDAD DE LAS PUNTUACIONES.

2.2. EL PROBLEMA DEL ERROR DE MEDIDA.EL PROBLEMA DEL ERROR DE MEDIDA.

Un requisito de la teoría de la medición es la fiabilidad y precisión, para ello debe haber instrumentos de medida fiables y libres de errores.El error de medida es la diferencia entre la puntuación empírica en un test y su puntuación verdadera.Al aplicar n veces un test a un sujeto sus puntuaciones son muy parecidas pero no iguales.Otras veces, los errores se deben a la motivación, condiciones físicas o al azar, son errores aleatorios e impredecibles, de los que se ocupa la fiabilidad.Deducimos que al aplicar repetidamente un test a un sujeto, se obtienen distintas puntuaciones, y éstas estarán afectadas por los errores de medida.Para saber el valor real utilizaremos la TCT y el modelo lineal de Spearman.

3.3. EL MODELO LINEAL DE SPEARMAN.EL MODELO LINEAL DE SPEARMAN.

La puntuación empírica obtenida en un test, es una combinación lineal de la puntuación verdadera (V) y el error de medida ( E ).

X = V + E

Para obtener V (puntuación verdadera) a partir de X (puntuación empírica) se basa en unos supuestos:

1. V es la esperanza matemática de X. V = E (X)2. la correlación entre V de n sujetos y E es 0. rve = 0.3. La correlación entre los errores de medida que afectan a las puntuaciones en dos tests diferentes es 0.

re1 re2 = 0.

De estos supuestos se sacan las siguientes deducciones:

- el error de medida es la diferencia entre la puntuación empírica y la puntuaciónverdadera E = X-V.

- la esperanza matemática de los errores de dedida es cero E(e) = 0 - La media de las p. empíricas y verdaderas son iguales - la covarianza entre la p verdaderas y los errores es cero. Cov (V,E ) = 0- la varianza de las p empíricas es igual a la suma de la varianza de las p verdaderas más la de los

errores. - la covarinza entre las p empíricas y verdaderas es igual a la varianza de las p verdaderas.

Cov (X,V) = Sv².- La correlación de puntuaciones empíricas y errores es el cociente de la desviación típica de los

errores y la de las puntuaciones empíricas.

- la covarianza entre las p empíricas de dos tests es igual a la covarianza entre las p verdaderas. Cov (X1 , X2 )= Cov (V1,V2)

4.4. TEST PARALELOS. CONDICIONES DE PARALELISMO.TEST PARALELOS. CONDICIONES DE PARALELISMO.Si a una misma muestra se aplican dos tests, X y X´ son paralelos sí además de los supuestos

anteriores se cumple:1. Las puntuaciones verdaderas de los sujetos son iguales en ambos text.

2. La varianza de los errores de medida es la misma en ambos tests,

De estas dos condiciones de paralelismo sacamos que :

1

a. ; ;

la media de las puntuaciones de dos tests paralelos es la misma.

b.la varianza de las puntuaciones de dos tests paralelos son iguales.

c. la correlación entre las puntuaciones empíricas obtenidas en dos

tests paralelos es igual al cuadrado de la correlación entre las puntuaciones empíricas y las puntuaciones verdaderas, o bien, al cociente entre la varianza de las puntuaciones verdaderas y la varianza de las puntuaciones empíricas.

d. En dos o más tests paralelos las intercorrelaciones entre cada dos de ellos son iguales.

5.5. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD.INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD.

El coeficiente de fiabilidad de un test rXX’ es la correlación entre las puntuaciones empíricas obtenidas por una muestra de sujetos en dos formas paralelas.

Si rxx’ = 1 el error de medida es 0, fiabilidad perfecta.Si rxx’ = 0 la varianza de los errores es igual a la varianza de las puntuaciones empíricas.

es decir, que la correlación entre las puntuaciones empíricas y los errores de medida se puede obtener a partir de la correlación entre las puntuaciones obtenidas por los sujetos en las dos formas paralelas del test.

es la proporción de la desviación típica de las puntuaciones que se debe a la desviación típica

de los errores.El coeficiente de fiabilidad (definido según el modelo clásico de Speraman) nos da información para

estimar la cuantía del error de medida.

6.6. TIPOS DE ERRORES DE MEDIDA.TIPOS DE ERRORES DE MEDIDA.

1. Error de medida . Es la diferencia entre las puntuaciones empíricas y las puntuaciones verdaderas.

E = X – V

El error de medida nos da una medida individual del error que se comete (una medida individual de la precisión del test). Nos indica la diferencia entre la puntuación de un sujeto en un test y el niver real de dicho sujeto en la variable que medimos.

Error típico de medida: es la desviación típica de los errores de medida

Es una medida grupal.2. Error de estimación de la puntuación verdadera . E = V – V´

2

es la diferencia entre la puntuación verdadera y la puntuación verdadera pronosticada por regresión.

Error típico de estimación de la puntuación verdadera: es la desviación típica de los errores de

estimación

3. Error de sustitución e = X 1 - X 2, Es la diferencia de puntuaciones en un test y en otro paralelo (el error que se cometería al sustituir las puntcnes del test X 1 por las obtenidas en un test paralelo X 2).

Error típico de sustitución, la desviación típica de los errores de sustitución.

4. Error de predicción , Es la la diferencia entre puntuaciones obtenidas en un test (X1) y las pronosticadas en ese mismo test (X1’) a partir de una forma paralela X 2.

La puntuación X1’ se obtiene por regresión de X1 sobre X2

El error típico de predicción es la desviación típica de los errores de predicción.

7.7. FACTORES QUE AFECTAN A LA FIABILIDAD.FACTORES QUE AFECTAN A LA FIABILIDAD.Depende de la variabilidad del grupo, la longitud del test y de las características de los ítems.

7.1. Longitud del test.Cuanto más ítems representativos se utilicen, habrá mayor información del atributo que estudiamos, menor el error y aumenta la fiabilidad (al aumentar la longitud del test, aumenta su fiabilidad).

Ecuación de Spearman-Brown (hace referencia al caso en que se quiera aumentar la longitud del test inicial n veces) .

Relaciona la fiabilidad y la longitud cuando los ítems a añadir son paralelos.

Rxx = Coeficiente de fiabilidad del test alargado o acortado.

rxx = Coeficiente de fiabilidad del test inicial.

n = nº de veces que se ha alargado el test. EF = nº elementos finales del test

EI = nº elementos iniciales del test.

Si se disminuye la longitud del test, n < 1.Para calcular cuánto hay que alargar o acortar un test para obtener un determinado coeficiente de fiabilidad

Para calcular cuánto se puede reducir el nº de ítems para que el coeficiente de fiabilidad sea aceptable, se usa la misma fórmula que antes siendo rxx el coeficiente de fiabilidad y Rxx el coeficiente de fiabilidad admisible. Los ítems que hay que eliminar EI-EF.

3

7.2. Variabilidad de la muestra.Cuanto más homogéneo sea el grupo, menor es el coeficiente de fiabilidad, y la desviación típica de las puntuaciones empíricas será menor.

Suponiendo que el error típico de medida es constante hacemos la igualdad

como

= varianza empírica de las puntuaciones en el grupo 1.

varianza empírica de las puntuaciones en el grupo 2.

r11 = Coeficiente de fiabilidad en el grupo 1.r22 = Coeficiente de fiabilidad en el grupo 2.

Considerando que Se²=-Sx²(1-rxx)Al reducir la variabilidad de las puntuaciones empíricas en el segundo grupo, se reduce el coeficiente de fiabilidad. El valor del error típico de medida permanece constante

8.8. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS.LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS.Un test debe cumplir:

1.Medir el rasgo que pretende (ser válido).2.Las puntuaciones obtenidas deben ser estables y precisas.

Precisión es estar libre de errores.Estabilidad es que en distintas ocasiones y en condiciones parecidas el rasgo no cambie.La fiabilidad del test es la estabilidad de las medidas.

Dos métodos basados en la estabilidad para calcular el coeficiente de fiabilidad:1. Método de las formas paralelas.2. Método test-retest.

8.1. Método de las formas paralelas . Pasos a seguir:

Construir dos formas paralelas de un test X y X’ y aplicarlas a una muestra de sujetos representativa de la población y calcular el coeficiente de correlación de Pearson.

X1 y X2: Puntuaciones obtenidas en cada una de las formas.

El coeficiente de fiabilidad aquí también se llama coeficiente de equivalencia.Ventaja: Si las pruebas se presentan a la vez hay un mayor control.Inconveniente: Dificultad de construcción de 2 formas paralelas.

8.2. Método test-retest.Se aplica el mismo test en 2 momentos diferentes.

4

X1 y X2 las puntuaciones obtenidas en cada aplicación.

Ventaja: No necesita dos o más formas distintas del miso test.Inconvenientes:

- Posible memorización de ítems puede interferir la 2ª aplicación.- Intervalo de tiempo entre aplicaciones.(Es deseable incrementar el tiempo entre aplicaciones para

minimizar el efecto aprendizaje o memoria, pero si este es muy elevado pueden variar factores sociales, afectivos o evolutivos que inciden en la fiabilidad).

- La actitud del sujeto. (si cambia el grado de cooperación , puede dar una puntuación más alta o baja que da un coeficiente de fiabilidad más bajo o más alto).

El coeficiente de fiabilidad así obtenido se llama coeficiente de estabilidad.

9.9. FIABILIDAD COMO CONSISTENCIA INTERNA.FIABILIDAD COMO CONSISTENCIA INTERNA.A veces sólo se puede aplicar una vez el test, por lo que lo anterior no es factible.Las técnicas aportan un índice de la consistencia interna de las respuestas de los sujetos.

9.1. Métodos basados en la división del test en dos mitades.Ventaja respecto a los anteriores es que al haber sólo las puntuaciones de un test, la

fiabilidad no se ve afectada por otros factores como el intervalo de tiempo, aprendizaje, memoria, etc.. y con el consiguiente ahorro de tiempo y esfuerzo.

Se aplica el test a una muestra y se divide en dos mitades calculando la correlación y aplicando una fórmula de corrección.Las divisiones deben ser similares en dificultad y contenido para que la correlación sea máxima.

Hay varias formas de hacer la división:

1. n/2 primeros ítems una mitad y los últimos n/2 ítems como la segunda. Inconveniente es que algunos tests la complejidad de los ítems va incrementando.

2. Los pares por un lado y los impares por otro.3. Ordenar según el grado de dificultad y dividirlos en pares e impares.4. Asignación de ítems al azar a ambas mitades.

Se utilizan las sigientes fórmulas:

9.1.1. Spearman-Brown, se basa en la relación entre longitud de una test y el coeficiente de fiabilidad. Se aplica el test, se divide en dos mitades paralelas y se calcula la correlación entre ambas partes, que sería el coeficiente de fiabilidad de cada mitad, para calcular la fiabilidad des test completo.

Rxx= Coeficiente de fiabilidad del test cuando se na duplicado su longitud.rxx= coeficiente de fiabilidad de cada una de las mitades.

9.1.2. Rulon, Se usa cuando no siendo las dos mitades estrictamente paralelas podemos considerarlas -equivalentes, que son según Lord y Novick en las que las puntuaciones verdaderas son iguales para un grupo de sujetos en ambas formas, pero las varianzas de error no tienen por qué ser iguales. Son las que la puntuación verdadera de cada sujeto en uno de los tests es igual a la del otro más una constante.

5

d = diferencias entre puntuaciones pares e impares de cada sujeto.varianza de la diferencia entre las puntuaciones pares e impares.

varianza de las puntuaciones empíricas de los sujetos.

9.1.3. Guttman-Flanagan, equivalente a Rulon pero más sencilla.

varianza de las puntuaciones de los ítems pares e impares.

varianza empírica del test total.

9.2. Métodos basados en la covariación entre los ítems .

9.2.1. Coeficiente alfa de Cronbach. Es un indicador de la consistencia interna. Expresa la fiabilidad en función del nº de ítems y de la proporción de la varianza total del test debida a la covariación entre los Ítems. A mayor covariación mayor fiabilidad.

n= nº de elementos del test.Suma de las varianzas de los elementos.

suma de las covarianzas de los ítems

varianza de las puntuaciones en el test.

cociente entre la covarianza media de los ítems y su varianza media

9.2.1.1. Estimador insesgado de .

valor de alpha de Cronbach. stimador insesgado. N = nº de sujetos de la muestra.

Aumentando el nº de sujetos alpha y es estimador insesgado se aproximan siendo iguales cuando N tiende a infinito. Son iguales a partir de 100 sujetos.

9.2.1.2. El coeficiente alpha como límite inferior del coeficiente de fiabilidad.

6

Alpha es una estimación del límite inferior del coeficiente de fiabilidad siendo menor o igual que el coeficiente de correlación r xx.

cuando los ítems sean paralelos.

Otro estimador del límite inferior del coeficiente de fiabilidad es lambda de Guttman.

n = nº de elementos del test.varianza del elemento j del test.

varianza del elemento j del test.

Suma de las covarianzas de los ítems.

9.2.1.3. Inferencias sobre alpha.

De los problemas de las inferencias de alpha se desarrolló la teoría muestral para el coeficiente alpha. Kristof y Feldt derivaron un estadístico de contraste del coeficiente alpha que se distribuye según una F de Snedecor, para determinar el intervalo confidencial.

Feldt deriva el estadístico W para contrastar dos valores α de dos muestras independientes.Pue ampliado a n muestras independientes por el estadístico UX1.

A) Inferencias para un solo valor de α. Para saber si α toma un determinado valor en la población o para saber entre que valores se encuentra α en la población usamos F.

F se distribuye son N-1 y (n-1)(N-1) g.l.α = valor α propuesto por hipótesis para la población.

valor alfa obtenido en la muestra.N = nº de sujetos.N =nº de ítems.

b) Inferencias sobre alfa para muestras independientes..

* Dos muestras independientes.Se usa el estadístico W para comprobar la H0: α1= α2

W se distribuye según la F con (N1 - 1) y (N2 -1) g.l. y = valores del coeficiente α en cada muestra.

N1 y N2 = nº de sujetos de cada muestra.

* “n” muestras independientes.

7

El estadístico de contraste

UX1= es una con n-1 g.l. N = nº muestras. valor del coeficiente α para cada muestra.

media de los coeficientes transformados.

media aritmética de las varianzas de cada muestra.

siendo y

N i = nº de sujetos en cada muestraNi = nº de ítems en cada test.

B) Inferencias sobre α para muestras dependientes.

En algunos diseños se pueden administrar distintas pruebas a la misma muestra, con lo que los coeficientes son dependientes y no se puede utilizar lo anterior.

* Dos muestras dependientes. Feldt propone el estadístico t para dos valores de α obtenidos de una misma

muestra. Se recomienda cuando N.n menor o igual que 1000.

t = distribución t de Student (N-2) g.l.

valores del coeficiente alfa

N = número de sujetos de la muestra.correlación al cuadrado entre las puntuaciones de los sujetos en los 2 test.

* “n” muestras dependientes.

UX2 según una con (k-1) g.l. K = nº de tests. N = nº sujetos. valor de los coeficientes α.

8

media de los coeficientes transformados.

media arimética de las varianzas de cada muestra

donde siendo y

ni = nº de ítems de cada test.

media de las covarianza Sij.

9.2.2. Casos particulares del coeficiente α.

Las ecuaciones de Kuder-Richarson es un caso particular del coeficiente α, si los ítems son dicotómicos. La estimación es según el nº de ítems y sus intercorrelaciones. A mayor nº de ítems, mayor covariación, mayor consistencia interna y mayor fiabilidad.

Se puntúa 1 acierto y 0 fallo.

como la varianza de una variable dicotómica “h”, con proporción de aciertos ph, y proporción de errores qh, siendo qh = 1-ph , se puede expresar ; entonces

n = nº elementos del test.ph = proporción de aciertos en el elemento h.qh = proporción de errores en el elemento h.phqh = varianza del elemento h.S varianza total del test.

Si los ítems además de ser dicitómicos, presentan la misma dificultad, se usa la

ecuación Kuder-Richardson

n = nº elementos del test.npq = suma de las varianzas de los elementos.

varianza del test.

Simplificada

9

n = nº de elementos del testvarianza del test

media de las puntuaciones empríricas.

9.3. Coeficientes basados en el anális factorial de los ítems: Theta y Omega.Son dos indicadores de la consistencia interna de los items y una aproximación al coeficiente α.

n = nº de ítems del test.λ1= primer autovalor de la matriz factorial, o sea, la varianza explicada por el primer factor antes de la rotación.El coeficiente θ indica la unidimensionalidad de los ítems, a mayor varianza que explica el primer factor mayor θ y la intercorrelación de los ítems, con lo que se distribuyen en torno a una sola dimensión.

Suma de las varianzas de los ítems.

h comunalidad estimada del ítem j.

suma de las covarianzas entre los ítems j y h.

Más sencillo

correlación entre j y h.

9.4. El coeficiente beta (β) de Raju.

Nos da una estimación de la fiabilidad de un test compuesto de varios subtest con distinto nº de ítems, cosa que no hace α.

Lo aplicamos cuando no conocemos las puntuaciones en los distintos subtest, si las conocieramos usaríamos α.

10

k = nº de subtests.varianza del test.

varianza de cada subtest.nj = nº de ítems de cada subtest.n = nº de ítems del test.

10.10. ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS SUJETOS EN EL ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA DE LOS SUJETOS EN EL ATRIBUTO DE INTERES.ATRIBUTO DE INTERES.Para poder hacer estimaciones acerca del valor de la puntuación verdadera de un sujeto en un test

y del error que afecta a las puntuaciones empíricas obtenidad en el test. No se puede calcular el valor exacto, pero si establecer un intervalo confidencial con un determinado nivel de confianza donde se encontrará dicha puntuación. 3 formas:

10.1. Estimación mediante la desigualdad de Chebychev.Si no se hace ningún supuesto sobre la distribución de las puntuaciones empíricas o de los errores.

nivel de confianza utilizado.

Se = error típico de medida.

10.2. Estimación basada en la distribución normal de los errores.

Asume una distribución normal de los errores de medida (con media 0 y varianza ) y de las puntuaciones empíricas condicionadas a un determinado valor de V.

Pasos para determinar el intervalo:

Se fija un nivel de confianza y se determina Zc (buscar en tablas).Se calcula el error típico de medida Se.

para puntuaciones directas o diferenciales.

para puntuaciones típicas.

Calcular el error de medida máximo dispuestos a admitir (está afectado por el nivel de confianza).Emax = Zc.Se

Calcular el intervalo confidencial.

10.3. Estimación basada en el Modelo de Regresión.

11

La correlación entre puntuaciones empíricas y errores es , valor máximo rxx = 0

(las p empíricas coinciden con los errores) y el mínimo cuando la fiabilidad es perfecta rxx = 1 (sin errores y las puntuaciones empíricas coinciden con las verdaderas).

El intervalo se hace de la puntuación verdadera estimada (que no están sesgadas), que se calcula por regresión lineal por los mínimos cuadrados.

Puntuaciones directas:

Puntuaciones diferenciales:

Puntuaciones típicas:

Ecuación de regresión en puntuaciones directas de V sobre X .

sabemos que y como

Ecuación de regresión en puntuaciones diferenciales.

, como tendremos que

Ecuación de regresión en puntuaciones típicas.

12