SERCE Segundo Estudio Regional Comparativo y Explicativo LABORATORIO LATINOAMERICANO DE EVALUACIÓN...

SERCESegundo Estudio Regional Comparativo y Explicativo

LABORATORIO LATINOAMERICANO DE EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN (LLECE)

  Autores:

Martha Rocha Carlos Pardo

Antigua, septiembre 2006 

MANUAL DE PROCESAMIENTO DE DATOSPARA EL ANÁLISIS DE ÍTEMS Y

LA PRODUCCIÓN DE RESULTADOS

1. FUNDAMENTACIÓN TEÓRICA DEL MODELO DE ANÁLISIS

2. CONSTRUCCIÓN DE LA BASE DE DATOS PARA ANÁLISIS DE ÍTEMS

3. DEPURACIÓN DE BASE DE DATOS PARA ANÁLISIS DE ÍTEM

4. INDICADORES ESTADÍSTICOS PARA ANÁLISIS DE ÍTEMS

5. INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS

CONTENIDO DEL MANUAL

6. DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN DE

ESCALAS DE CALIFICACIÓN

7. ESCALAS DE CALIFICACIÓN

  8.  BASE DE DATOS DE RESULTADOS     9. SOFTWARE PARA PROCESAMIENTO

10. REPORTES

11. FASES DEL PROCESAMIENTO

CONTENIDO DEL MANUAL

SUPUESTOS:• Dimensionalidad• Independencia local• ICC

MODELOS• Rasch• Tres parámetros

TEORÍA DE RESPUESTA AL ÍTEM

DIFICULTAD

  Indica la posición de la curva del ítem a lo largo de la escala de habilidad; entre más difícil es un ítem su curva estará localizada más a la derecha en la escala de habilidad.

Criterio: distribución de valores

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

DEPURACIÓN INICIAL

• Módulo de captura de datos• Rutinas de verificación

BASES DE DATOS PARA ANÁLISIS DE ÍTEM

ESTRUCTURA BASES DE DATOS

Código de paísCódigo de centro educativoGradoAulaCódigo de estudiante en el aulaNombre del cuadernilloBloque en primera posiciónBloque en segunda posiciónRespuestas bloque 1Respuestas bloque 2Respuestas bloque 3Respuestas bloque 4Respuestas bloque 5Respuestas bloque 6.

BASES DE DATOS PARA ANÁLISIS DE ÍTEM

• INFORMACIÓN INSUFICIENTE

• PREGUNTAS NO ALCANZADAS

• DESAJUSTE ESTUDIANTE

DEPURACIÓN DE BASES DE DATOS PARA ANÁLISIS DE ÍTEM

DISCRIMINACIÓN    Poder de un ítem para diferenciar a los evaluados en

distintos niveles de habilidad frente a un constructo medido. Pendiente de la curva en el punto de máxima inflexión.

Criterio: valores superiores o iguales a 0.7

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

CORRELACIÓN PRODUCTO MOMENTO PUNTO MEDIDA  

     Relación entre la respuesta correcta a un ítem de una

prueba y el valor de habilidad obtenido en dicha prueba  

Criterio: valores superiores a 0.25

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

FUNCIONAMIENTO DIFERENCIAL DE ÍTEMS - DIF

  Grado en el cual un ítem presenta propiedades

estadísticas diferentes en distintos grupos poblacionales, cuando se controla la habilidad de los grupos.  

Criterio: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96 de la prueba t con (n1+n2-2) grados de libertad.

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

CURVA CARACTERÍSTICA DEL ITEM – ICC

  Función matemática que relaciona la probabilidad de

éxito en un ítem con la habilidad medida por el ítem

Criterio: curvas empíricas (ECC) que se comportan de acuerdo con la curva característica del modelo.

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

AJUSTE PRÓXIMO Y LEJANO (INFIT Y OUTFIT)

Correspondencia entre un grupo de datos y el modelo estadístico utilizado para representarlos. El ajuste próximo se refiere a la relación entre los datos que se encuentran cerca del valor de dificultad del ítem y el valor de dificultad; el ajuste lejano se refiere a la relación de los datos que se encuentran lejos de dicho valor de dificultad y esa dificultad.

Criterio: valores entre 0.8 y 1.2.

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

PROMEDIO DE HABILIDAD POR OPCIÓN

Promedio de las habilidades de quienes eligen cada opción de respuesta de un ítem.

Criterio: el mayor promedio de habilidad debe ser el de

la clave.

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

MAPA DE DISTRIBUCIÓN DE HABILIDADES Y DIFICULTADES *

Relación gráfica, en una misma escala, entre la distribución de las dificultades de los ítems y la distribución de las habilidades de los evaluados.

Criterio: distribuciones de habilidades y dificultades con

posición y dispersión semejantes entre sí.

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

CORRELACIONES INTER – ÍTEM*

Correlaciones entre los ítems de un mismo bloque.

Criterio: las correlaciones deben ser positivas y altas.

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

ERROR ESTÁNDAR DE MEDICIÓN

Desviación estándar de una distribución imaginaria de errores que representan la posible distribución de valores observados alrededor del valor teórico verdadero.

Criterio: un juicio profesional experto de quienes conocen procedimientos psicométricos.

  INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS

PROMEDIO

Valor medio de las dificultades de los ítems del bloque y

de las habilidades de las personas que abordan el bloque.

.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS

DESVIACIÓN ESTÁNDAR

Medida de la dispersión de la distribución de las dificultades de los ítems de un bloque y de la distribución de las habilidades de las personas que abordan dicho bloque.

.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES

PUNTUACIÓN MÁXIMA Y PUNTUACIÓN MÍNIMA

Puntuaciones logit más alta y más baja alcanzadas por una población particular.

.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES

CONFIABILIDAD

Grado de precisión en la medición. En la TRI se utiliza la Función de Información como

indicador de la confiabilidad. .

.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES

• INFORMACIÓN INSUFICIENTE

• PREGUNTAS NO ALCANZADAS

• DESAJUSTE ESTUDIANTE

• ASISTENCIA PARCIAL

• ANÁLISIS DE ÍTEM

DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN DE ESCALAS

• PUNTUACIÓN TOTAL EN LA PRUEBA

• NIVEL DE DESEMPEÑO

• DESEMPEÑO RELATIVO POR CATEGORÍAS DE LA ESTRUCTURA DE PRUEBA

ESCALAS DE CALIFCIACIÓN

• PROMEDIO = 500 puntos

• DESVIACIÓN ESTÁNDAR = 100 puntos

PUNTUACIÓN TOTAL EN LA PRUEBA

-3.000

-2.000

-1.000

0.000

1.000

PUNTUACIÓN TOTAL EN LA PRUEBA

200

300

400

500

600

1 -1.399 360 2 .230 523 3 -1.090 391 4 .563 556 5 .797 580

PUNTUACIÓN TOTAL EN LA PRUEBA

NIVEL DE DESEMPEÑO

3 . + . |T . | M6B2IT17 . | M6B4IT17 . | M6B8IT05 . | M6B1IT11 M6B4IT15 M6B6IT16 2 .# T+ M6B2IT03 .# | M6B2IT09 M6B2IT12 .## |S M6B1IT07 M6B2IT16 .## | M6B1IT15 M6B2IT10 M6B5IT12 .### | M6B1IT13 M6B3IT14 .###### | M6B1IT08 M6B1IT12 M6B2IT04 M6B7IT12 1 .#### S+ M6B1IT03 M6B1IT16 M6B2IT11 M6B7IT09 M6B8IT07 .###### | M6B1IT14 M6B2IT05 M6B6IT14 M6B7IT04 .####### | M6B1IT09 M6B2IT02 .######## |M M6B2IT08 M6B5IT10 M6B6IT12 M6B7IT16 .###### | M6B1IT06 .############ | M6B3IT05 M6B6IT02 0 .#### M+ M6B1IT05 M6B7IT11 M6B7IT15 .############ | M6B5IT01 M6B8IT12 .######### | M6B1IT02 M6B7IT03 M6B7IT05 .###### | M6B3IT04 M6B3IT13 M6B6IT10 .######## |S M6B2IT01 M6B3IT12 M6B6IT09 M6B8IT02 .#### | M6B1IT04 M6B3IT02 M6B4IT08 M6B7IT02 -1 .###### S+ M6B3IT06 M6B8IT08 .##### | M6B1IT01 M6B3IT11 M6B5IT03 .# | .## | M6B8IT01 .## | .# |T -2 . T+ M6B8IT06 . | M6B4IT10 .# | . | M6B4IT01 M6B7IT01 . | . | -3 . +

NIVEL DE DESEMPEÑO

NIVEL DE DESEMPEÑO

B

C

D

E

F

SUPERFICIAL YFRAGMENTADA.

SIGNIFICADOBASICO DELTEXTO

INFERENCIAS

ENTRETEXTOS

CRITICA

8.09 %

6.32 %

DESEMPEÑO RELATIVO POR CATEGORÍA

DESEMPEÑO RELATIVO POR CATEGORÍA

Código de paísCódigo del centro educativoGradoAulaEstudiante en el aulaNombre del cuadernilloPonderadorPuntuación en la prueba de lecturaNivel de desempeño en la prueba de lecturaPuntuación en la prueba de matemáticaNivel de desempeño en la prueba de matemáticaPuntuación en la prueba de ciencias naturalesNivel de desempeño en la prueba de ciencias naturales.

BASE DE DATOS DE RESULTADOS

R 1. Indicadores por ítem. R 2. Indicadores por opción.R 3. Correlaciones Interitem..  R 4. Mapa de distribución de habilidades y dificultades.R 5. Promedio, desviación estándar, valores máximo y mínimo de dificultades de ítems, por bloque.R 6. Función de InformaciónR 7. Curva Característica del Ítem y Curva Empírica del Ítem.

REPORTES

Reporte A. Dificultad.Reporte B. Ajuste próximo.Reporte C. Ajuste lejano.Reporte D. Discriminación.Reporte E. Porcentaje de respuestas correctas.

REPORTES CON INFORMACIÓN POR PAÍS

Ítem Dificultad Error Discrim. r pbisAjuste

Próximo (Infit)

Ajuste Lejano (Outfit)

N

L3B1IT01 -1.019 0.035 1.17 0.61 0.90 0.86 4861

L3B1IT02 -1.234 0.036 1.12 0.60 0.93 0.85 4861

L3B1IT03 0.515 0.034 1.26 0.58 0.87 0.86 4861

L3B1IT04 0.515 0.034 1.06 0.54 0.96 1.00 4861

L3B1IT05 0.243 0.033 0.89 0.51 1.04 1.11 4861

L3B1IT06 -2.023 0.042 1.08 0.61 0.92 0.90 4861

L3B1IT07 -0.561 0.034 1.28 0.62 0.87 0.79 4861

L3B1IT08 -0.160 0.033 1.01 0.55 0.99 1.00 4861

L3B1IT09 -1.658 0.039 1.10 0.60 0.91 0.94 4861

L3B1IT10 0.475 0.034 0.99 0.52 1.00 1.03 4861

L3B1IT11 1.312 0.037 0.30 0.28 1.43 1.89 4861

L3B1IT12 -0.714 0.034 1.19 0.60 0.90 0.88 4861

L3B1IT13 1.483 0.038 0.71 0.38 1.14 1.80 4861

I. 2A INDICADORES POR ÍTEM L3

1 4 6 7 10 12 14 16 17 18 19 20 21

1 PL3B1IT01 -3.891 -2.313 -2.625 -4.521 10.83 2.255 -0.236 0.169 -2.256 0.201 -1.959 5.461 -1.238

2 PL3B1IT02 -2.246 -1.488 2.715 -0.804 2.068 -0.413 -1.845 0.321 -1.462 0.631 -1.987 3.049 1.406

3 PL3B1IT03 0.748 -1.918 2.153 -0.191 -4.75 2.25 0.557 0.601 -1.264 2.513 1.343 0.155 -2.096

4 PL3B1IT04 2.287 1.501 -8.062 -0.191 7.873 2.478 -2.513 -0.16 -0.052 -0.75 -1.575 -1.567 1.265

5 PL3B1IT05 0.042 -0.014 1.612 0.791 -1.434 -0.893 1.156 -1.422 2.894 -0.186 1.651 -8.009 3.099

6 PL3B1IT06 1.921 -1.896 2.525 1.179 -2.107 -3.087 -0.465 -0.748 -1.73 -2.443 -1.408 7.381 -0.78

7 PL3B1IT07 2.741 -4.242 -3.406 -2.369 -6.6 4.203 -2.968 4.368 1.491 1.975 2.403 -0.455 1.632

8 PL3B1IT08 1.236 -0.909 1.248 -4.375 7.035 -0.36 -1.421 -0.299 1.096 -1.265 -0.334 1.041 -1.797

9 PL3B1IT09 -0.341 1.146 -1.206 -0.665 -1.13 -2.965 -0.107 0.367 0.282 0.858 -2.466 5.624 -1.19

10 PL3B1IT10 0.159 0.792 1.23 -1.058 -3.676 1.104 1.252 -0.473 1.845 -0.724 0.455 -1.132 -0.495

11 PL3B1IT11 0.736 4.116 0.279 7.742 0.081 -6.728 7.941 -5.322 -3.91 -2.899 -0.009 -9.559 1.025

12 PL3B1IT12 -0.99 -2.047 1.751 -0.424 -2.518 -0.789 0.172 0.132 0.407 2.008 -0.642 3.376 -0.746

13 PL3B1IT13 -2.718 6.659 2.649 3.964 -6.177 1.765 -2.84 1.626 2.113 -0.748 4.552 -16.13 -0.477

P A Í S

Item

I. 2B DIF POR ÍTEM L3

Ítem Clave OpcionesPromedio

de habilidad

Error Estándar

de Medición

Ajuste (Outf it)

CorrelaciónPorcentaje

de respuesta

1 -0.79 0.04 1.08 -0.14 15

2 -1.52 0.05 0.51 -0.21 8

3 -1.17 0.06 0.72 -0.13 5

4 0.59 0.02 0.91 0.61 64

Multimarca -3.48 0.17 0.20 -0.19 1

Omisión -3.73 0.08 0.74 -0.51 6

1 -1.15 0.05 0.76 -0.18 10

2 0.53 0.02 0.92 0.60 68

3 -1.00 0.06 0.88 -0.12 7

4 -1.07 0.06 0.97 -0.14 7

Multimarca -3.51 0.17 0.28 -0.19 1

Omisión -4.09 0.06 0.42 -0.53 6

4L3B1IT01

2L3B1IT02

I. 3 INDICADORES POR OPCIÓN L3

I. 4 CORRELACIONES INTERITEM L3

Itemes Correlación 1 2 .29 1 3 .27 1 4 .21 1 5 .14 1 6 .27 1 7 .27 1 8 .23 1 9 .28 1 10 .17 1 11 -.01 1 12 .28 1 13 .01 2 3 .23 2 4 .18 2 5 .11 2 6 .25 2 7 .29 2 8 .18 2 9 .23 2 10 .16 2 11 .00 2 12 .24 2 13 .08

I. 5 MAPA DE DISTRIBUCIÓN DE HAB. Y DIF. L3 3 .## + | .##### | T| | | | | 2 + .######## |T | | | PL3B1IT13 S| .######### | PL3B1IT11 | 1 + |S .########### | | | PL3B1IT03 PL3B1IT04 PL3B1IT10 .############ | | PL3B1IT05 | 0 .############ M+ | PL3B1IT08 |M .########### | | PL3B1IT07 | .########## | PL3B1IT12 | -1 + PL3B1IT01 | .######### |S PL3B1IT02 S| | | PL3B1IT09 .####### | | -2 + PL3B1IT06 | .#### | |T |

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1.00

1.10

-3.00 -2.00 -1.00 0.00 1.00 2.00 3.00

Promedio de dificultad items

Desvia

ció

n e

stá

nd

ar

dif

icu

ltad

ite

ms

B1

B2

B3

B4

B5

B6

B7

B8

I. 6 PROMEDIO, D.E., MAX Y MIN DIFICULTAD L3

I. 7 FUNCIÓN DE INFORMACIÓN L3

I. 8A CCI Y CEI L3

I. 8B CEI POR OPCIÓN L3

Azul: ANaranja : BLila : CVerde : DAzul Claro : OAmarillo : M

N. A INDICADORES POR ÍTEM ???LEN6

MT País MT País MT País MT País MT País MT País

L6B1IT01 -1.210 -1.371 0.034 0.095 1.05 1.03 0.48 0.34 0.98 0.99 0.93 0.92L6B1IT02 -0.405 -0.402 0.031 0.083 1.25 1.15 0.50 0.41 0.92 0.96 0.89 0.95L6B1IT03 1.118 0.822 0.034 0.086 1.13 1.15 0.42 0.42 0.93 0.93 0.91 0.93L6B1IT04 0.670 0.519 0.032 0.083 0.35 0.35 0.20 0.14 1.26 1.20 1.34 1.29L6B1IT05 -0.076 -0.067 0.031 0.082 0.73 0.76 0.37 0.30 1.08 1.06 1.09 1.07L6B1IT06 0.015 0.013 0.031 0.081 1.12 1.16 0.45 0.41 0.97 0.97 0.95 0.93L6B1IT07 0.652 0.402 0.032 0.083 0.93 0.94 0.38 0.35 1.03 1.02 1.04 1.02L6B1IT08 0.455 0.582 0.031 0.084 0.75 0.73 0.34 0.27 1.09 1.09 1.10 1.12L6B1IT09 -0.091 -0.253 0.031 0.082 1.48 1.60 0.53 0.53 0.86 0.85 0.82 0.81L6B1IT10 -0.014 -0.167 0.031 0.082 1.05 0.80 0.44 0.31 0.99 1.05 0.97 1.05L6B1IT11 0.705 0.668 0.032 0.085 1.18 1.18 0.45 0.43 0.93 0.94 0.90 0.90L6B1IT12 0.813 0.807 0.032 0.086 1.03 1.03 0.40 0.37 0.98 0.99 1.00 0.98L6B1IT13 0.398 0.193 0.031 0.082 1.10 1.09 0.44 0.39 0.97 0.98 0.95 0.95L6B1IT14 -0.721 -0.512 0.032 0.083 0.74 0.70 0.37 0.26 1.09 1.07 1.18 1.19L6B1IT15 0.429 0.126 0.031 0.082 1.20 1.39 0.46 0.47 0.93 0.90 0.92 0.89

Ajuste Lejano Ajuste Próximo Ítem

Dificultad Error Discriminación r pbis

N. B INDICADORES POR OPCIÓN ???LEN6

MT País MT País MT País MT País MT País

1 0.23 0.17 0.02 0.04 0.99 0.99 0.48 0.34 71.00 77

2 -0.61 -0.47 0.04 0.10 0.90 0.96 -0.11 -0.16 8.00 8

3 -0.72 -0.63 0.04 0.14 0.87 0.92 -0.15 -0.18 9.00 6

4 -0.62 -0.56 0.04 0.09 0.93 0.84 -0.11 -0.20 8.00 9

Multimarca -1.16 0.00 0.26 0.00 0.83 0.00 -0.06 0.00 0.00 0

Omisión -3.51 0.00 0.08 0.00 1.12 0.00 -0.56 0.00 4.00 0

1 -0.76 -0.59 0.03 0.07 0.67 0.78 -0.18 -0.25 11.00 12

2 -0.83 -0.85 0.06 0.18 0.73 0.65 -0.12 -0.18 4.00 3

3 0.39 0.31 0.02 0.04 0.93 1.00 0.50 0.41 56.00 59

4 -0.39 -0.28 0.02 0.05 1.00 1.02 -0.11 -0.19 24.00 26

Multimarca -1.45 0.00 0.47 0.00 0.73 0.00 -0.05 0.00 0.00 0

Omisión -3.38 -0.75 0.08 0.40 0.60 0.67 -0.56 -0.07 4.00 1

Ítem Clave Opciones

Promedio de habilidad

Error Estándar de Medición

Ajuste (Outf it) CorrelaciónPorcentaje de

respuesta

L6B1IT01 1

L6B1IT02 3

0.60

0.70

0.80

0.90

1.00

1.10

1.20

1.30

1.40

-3.00 -2.00 -1.00 0.00 1.00 2.00 3.00

Promedio de dificultad items

Desvia

ció

n e

stá

nd

ar

dif

icu

ltad

ite

ms

B1

B2

B3

B4

B5

B6

B7

B8

N. C PROMEDIO, D.E., MAX Y MIN DIFICULTAD ???LEN6