04 Validación y Confiabilidad de Instrumentos de Evaluación

Unidad II: La evaluación del Unidad II: La evaluación del aprendizajeaprendizajeComunidad Educativa Tomás Moro DosImpartido por: Luis Medina GualAsesor Pedagógico Docente CCHAsesor Pedagógico Docente CCH

Temario (tentativo)Temario (tentativo)� Generalidades sobre educación.◦ Concepto de educación y pedagogía.◦ Historia y teoría pedagógica.◦ La didáctica general y diferencial.◦ El diseño instruccional.

Teórico

El diseño instruccional.� La evaluación.◦ La evaluación: constructo y tipología.◦ La medida.◦ Instrumentos de evaluación.◦ Validación de instrumentos.◦ Implicaciones de la evaluación.

Práctico

Validación de instrumentosValidación de instrumentos

� ¿Mi examen es “bueno”?� Dificultad.� Evaluación basada en la norma vs basada en criterio.en criterio.

Validación de instrumentosValidación de instrumentos

� ¿Mi examen es “bueno”?� Dificultad.� Evaluación basada en la norma vs basada en criterio.en criterio.

Validación de instrumentosValidación de instrumentos

� ¿Mi examen es “bueno”?:◦ Confiabilidad.◦ Validez.

Validación de instrumentosValidación de instrumentos

� ¿Mi examen es “bueno”?:◦ Confiabilidad: es consistente.◦ Validez: mide lo que debe medir.

Validación de instrumentosValidación de instrumentos

� Validez: mide lo que debe medir.◦ Validación por jueces.◦ Validación por análisis factorial.◦ Relaciones entre pruebas.◦ Relaciones entre pruebas.

Validación de instrumentosValidación de instrumentos

� Validez: mide lo que debe medir.◦ ¿Quién mejor que el maestro para decir que el examen mide lo que pretende medir?

Validación de instrumentosValidación de instrumentos

� Confiabilidad: si yo aplico el mismo examen bajo las mismas condiciones… ¿los alumnos obtendrán las mismas calificaciones?calificaciones?◦ Consistencia de puntajes a través del tiempo.

Validación de instrumentosValidación de instrumentos

� Confiabilidad:◦ Teoría clásica.◦ Teoría de Respuesta al Ítem (TRI).

Validación de instrumentosValidación de instrumentos

� Confiabilidad:◦ Teoría clásica: cómo se relacionan todos los ítems entre sí.◦ Teoría de Respuesta al Ítem (TRI).

Validación de instrumentosValidación de instrumentos

� Confiabilidad:◦ Teoría clásica: cómo se relacionan todos los ítems entre sí.� Split Half.� Correlación test-retest.� Alfa de Cronbach.

Validación de instrumentosValidación de instrumentos

� Confiabilidad:◦ Teoría clásica.◦ Teoría de Respuesta al Ítem (TRI): valora el comportamiento de cada ítem por separado.� Discriminación: un reactivo logre discernir entre quienes aprendieron y quienes no.

Resultado Competente No competente

Aprueba ☺ L (falsos positivos)

No aprueba L (falsos negativos) ☺

Validación de instrumentosValidación de instrumentos

� Confiabilidad: TRI sencillísimo…

Validación de instrumentosValidación de instrumentos

� Confiabilidad:◦ % de alumnos de GS que aciertan - % de alumnos en GI que aciertan.

27% % de sujetos que 27%

27%

Calificación

% de sujetos que aciertan, GS

% de sujetos que aciertan, GI

Discriminación

Validación de instrumentosValidación de instrumentos

� ¿Mi examen es “bueno”?� Dificultad.� Evaluación basada en la norma vs basada en criterio.en criterio.

Validación de instrumentosValidación de instrumentos

� Dificultad:◦ Se define como: (número de correctas / número máximo).◦ Es una “probabilidad de ejecución”.◦ Capacidad del estudiante: (número de correctas / número máximo).

Validación de instrumentosValidación de instrumentos

� Responder a reactivo es un proceso “estocástico”:◦ Estudiante 0.80 vs reactivo 0.60.◦ Estudiante 0.65 vs reactivo 0.20.◦ Estudiante 0.65 vs reactivo 0.20.

Validación de instrumentosValidación de instrumentos

� ¿Cómo distribuir dificultades de reactivos?◦ Método Ebel.

Rel-Dif Fácil Medio Difícil

Esencial

Importante

Aceptable

Cuestionable

Validación de instrumentosValidación de instrumentos

� ¿Cómo distribuir dificultades de reactivos?◦ Método distributivo.� 27% reactivos difíciles (0.39 ó menos).� 27% reactivos fáciles (0.61 ó más).� 46% reactivos medios (0.40-0.60).

Validación de instrumentosValidación de instrumentos

� ¿Cómo distribuir dificultades de reactivos?◦ Método 20-80.

0.9

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Dificultad Instrumento

Recta 20-80

Validación de instrumentosValidación de instrumentos

� ¿Cómo distribuir dificultades de reactivos?◦ Método 20-80.

0.9

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Dificultad Instrumento

Recta 20-80

Recta 25-85

Validación de instrumentosValidación de instrumentos

� Actividad:◦ Analizar reactivos de mi examen: obtener dificultades y discriminaciones.◦ Graficar recta 20-80.◦ ¿Qué reactivos tengo más?: difíciles, fáciles, medios, etc…◦ ¿Cuáles reactivos discriminan y cuáles no? ¿Qué características tienen en común los que sí y los que no discriminan?

Validación de instrumentosValidación de instrumentos

� ¿Mi examen es “bueno”?� Dificultad.� Evaluación basada en la norma vs basada en criterio.en criterio.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación basada en criterio: distribución de los puntajes con base en un criteriopreestablecido.

� Evaluación basada en la norma: � Evaluación basada en la norma: distribución de la capacidad de ejecución de los estudiantes.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Fija un “criterio”, una “condición” para que el alumno obtenga un “nivel de logro”.◦ Ejemplo típico:� Respuesta al 60% de reactivos: “aprobado”.� Respuesta al 60% de reactivos: “aprobado”.� Respuesta a menos del 60%: “reprobado”.

◦ Aprobado o reprobado son “niveles de logro” fijados por el criterio 60% de respuestas.◦ El 60% es un “punto de corte”.◦ Modelo Vienés (no calificación, sólo acreditación).

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ ¿Qué significa aprobado?� El alumno es capaz de… objetivos formulados.

◦ ¿Qué significa reprobado?¿Qué significa reprobado?� El alumno requiere mejorar su capacidad de… objetivos formulados.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ ¿Para qué establecer criterios?

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ ¿Para qué establecer criterios?� Cuestión de control o acreditatoria.� Comparación entre distintos sujetos evaluados.� Establecimiento claro de la capacidad de ejecución del estudiante.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Pasos para el establecimiento de criterios:a. Definir cuántos niveles de logro se

establecerán.b. Seleccionar los nombres o etiquetas de cada b. Seleccionar los nombres o etiquetas de cada

nivel.c. Elaborar la descripción guía.d. Desarrollar la descripción de cada nivel de

logro.e. Evaluación del proceso de establecimiento de

los niveles de logro.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Pasos para el establecimiento de criterios:a. Definir cuántos niveles de logro se

establecerán.b. Seleccionar los nombres o etiquetas de cada b. Seleccionar los nombres o etiquetas de cada

nivel.c. Elaborar la descripción guía.d. Desarrollar la descripción de cada nivel de

logro.e. Evaluación del proceso de establecimiento de

los niveles de logro.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Definir cuántos niveles de logro se establecerán:� ¿Qué tanta información requiero?� A mayor cantidad o detalle de logro del estudiante requiero mayor número de niveles de logro.

� Reprobado vs aprobado (dos categorías).� Insuficiente vs elemental vs avanzado (tres categorías).

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Pasos para el establecimiento de criterios:a. Definir cuántos niveles de logro se

establecerán.b. Seleccionar los nombres o etiquetas de cada b. Seleccionar los nombres o etiquetas de cada

nivel.c. Elaborar la descripción guía.d. Desarrollar la descripción de cada nivel de

logro.e. Evaluación del proceso de establecimiento de

los niveles de logro.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Elaborar la descripción guía:◦ Proporcionar marcos de referencia que permita identificar con mayor facilidad los conocimientos y habilidades de cada nivel.◦ Deben evitarse palabras ambiguas o con tecnicismos ◦ Deben evitarse palabras ambiguas o con tecnicismos o “negativos” para la población.

Etiquetas Origen

Básico, competente, avanzado National Assessment of EducationalProgress

Limitado, básico, competente, acelerado, avanzado

Pruebas de rendimiento del Estadode Ohio

Por debajo del básico, básico, medio y avanzado

Exámenes de Calidad y Logro Educativo (EXCALE)

Nivel 1, 2, 3 Proyecto PISA (2000), Lectura

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Pasos para el establecimiento de criterios:a. Definir cuántos niveles de logro se

establecerán.b. Seleccionar los nombres o etiquetas de cada b. Seleccionar los nombres o etiquetas de cada

nivel.c. Elaborar la descripción guía.d. Desarrollar la descripción de cada nivel de

logro.e. Evaluación del proceso de establecimiento de

los niveles de logro.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Elaborar las descripciones guía:� Refleja de manera global el desempeño de los estudiantes.

� Deben marcar diferencias claras de nivel a nivel.� Deben marcar diferencias claras de nivel a nivel.

Etiqueta Descripción guía del nivel de logro

Elemental El sustentante es capaz de identificar procedimientos, hechos y conceptos y puede establecer relaciones básicas entre esos elementos.

Satisfactorio El sustentante es capaz de organizar su conocimiento (…) a partir de lo cual puede extraer inferencias o conclusiones.

Sobresaliente El sustentante es capaz de generalizar y aplicar los procedimientos y conceptos en distintos contextos.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Pasos para el establecimiento de criterios:a. Definir cuántos niveles de logro se

establecerán.b. Seleccionar los nombres o etiquetas de cada b. Seleccionar los nombres o etiquetas de cada

nivel.c. Elaborar la descripción guía.d. Desarrollar la descripción de cada nivel de

logro.e. Evaluación del proceso de establecimiento de

los niveles de logro.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Desarrollar la descripción de cada nivel de logro:� Deben ser sucesivamente más complejas.� Deben ser cualitativamente diferentes (no debe de ser sólo cambio en cantidad de capacidad de ejecución).

� Las descripciones deben ser positivas.� Deben referirse a comportamientos y habilidades no al conocimiento de un tema (a lo que pueden hacer con ellos).

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Pasos para el establecimiento de criterios:a. Definir cuántos niveles de logro se

establecerán.b. Seleccionar los nombres o etiquetas de cada b. Seleccionar los nombres o etiquetas de cada

nivel.c. Elaborar la descripción guía.d. Desarrollar la descripción de cada nivel de

logro.e. Evaluación del proceso de establecimiento de

los niveles de logro.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Evaluación del proceso de establecimiento de niveles de logro:� ¿Los niveles de logro son representativos del contenido y permiten interpretar las puntuaciones contenido y permiten interpretar las puntuaciones de un modo adecuado por el examen?

� ¿El número de categorías fue el apropiado?� ¿Apoyan el proceso de toma de decisiones para la mejora del quehacer educativo?

� ¿Facilitan la comunicación efectiva de los resultados a las instituciones educativas, los alumnos y la sociedad en general?

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Puntos de corte: versión numérica de las descripciones cualitativas de los niveles de logro.◦ Reflejan un estándar de desempeño.◦ Reflejan un estándar de desempeño.◦ Debe aplicarse de forma idéntica para toda la población.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Puntos de corte: método Medina (sencillo para exámenes en instituciones educativas; adecuación del método Angoff).� Establece 3 puntos de corte.Establece 3 puntos de corte.a. Enlistar reactivos y poner valor.b. Asignar probabilidad de respuesta.c. Docente asigna probabilidad de respuesta correcta.d. Ordenar de más a menos probabilidad.e. Obtención de media de probabilidades.f. Obtención de desviación estándar.g. -1 desv. Estándar, media, desv. Estándar.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Puntos de corte:

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación criterial:◦ Puntos de corte:

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación normativa:◦ A partir de la capacidad de los estudiantes yo los evalúo.◦ Evaluación por “campana”.◦ Evaluación por normalización de puntajes.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación normativa:◦ Evaluación por “campana”:� El de mayor puntaje= 10.� Veo cuál es el total de respuestas correctas y a ese máximo lo convierto a 100%.máximo lo convierto a 100%.

� Examen de 45 reactivos; Juan es el más alto y contestó 39. En lugar de 45=100%, 39=100%.

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación normativa:◦ Evaluación por normalización de puntajes:� “Depende de la distribución”.� Obtengo promedio.� Obtengo desviación estándar.� Obtengo desviación estándar.� Fijo cuánto representa mi promedio (generalmente 8).� Fijo cuánta distancia representa mi desviación estándar (generalmente 1 punto).

� Obtener puntuaciones Z de los estudiantes: Z=(x-media)/s.

� Asigno puntuaciones cambiando media y desviación por las establecidas y convirtiendo por: x=(Zs+media).

Evaluación basada en la norma vs Evaluación basada en la norma vs basada en criterio.basada en criterio.� Evaluación normativa:◦ Evaluación por normalización de puntajes:

Temario (tentativo)Temario (tentativo)� Generalidades sobre educación.◦ Concepto de educación y pedagogía.◦ Historia y teoría pedagógica.◦ La didáctica general y diferencial.◦ El diseño instruccional.

Teórico

El diseño instruccional.� La evaluación.◦ La evaluación: constructo y tipología.◦ La medida.◦ Instrumentos de evaluación.◦ Validación de instrumentos.◦ Implicaciones de la evaluación.

Práctico

Implicaciones de la evaluaciónImplicaciones de la evaluación

� ¿Para qué tanto evaluar?� ¿Para qué desgastarnos?� ¿A quién le sirve la evaluación?

Implicaciones de la evaluaciónImplicaciones de la evaluación

� Alumno:◦ Retroalimenta sobre desempeño.◦ ¿Qué estrategias de estudio usó para cada materia?◦ Valora interés y capacidad del estudiante.◦ ¿Qué tipo de contenidos se le dificultan?◦ ¿Para qué sirve aprender?: para seguir aprendiendo. Implicaciones como “meta-aprendizaje”.

Implicaciones de la evaluaciónImplicaciones de la evaluación

� Docente:◦ Retroalimenta sobre su función docente.◦ ¿Cuál es el fin del maestro? Volverse inútil para su alumnos.◦ ¿En qué temas aprendieron? ¿En qué temas parecen no haber aprendido? ¿Qué estrategias empleé? ¿Qué tiempo le di?◦ ¿Qué tema fue el más fácil/difícil para los estudiantes?◦ ¿Hubo algún nivel taxonómico muy difícil/fácil?

Implicaciones de la evaluaciónImplicaciones de la evaluación

� Docente:◦ Relación dificultad y profundidad.

Dificultad

Profundidad

Implicaciones de la evaluaciónImplicaciones de la evaluación

� Docente:◦ Relación dificultad y nivel taxonómico.

Dificultad

Nivel taxonómico

Implicaciones de la evaluaciónImplicaciones de la evaluación

� Docente:◦ Ejemplo:� Historia de México.

Unidad Objetivo Nivel Dificultad Profundidad Modificación Modificación Unidad Objetivo Nivel taxonómico

Dificultad Profundidad (% del bimestre)

Modificación taxonomía

Modificación profundidad

Unidad 1 Identificar elementos deorigen de la independencia mexicana

1 memoria (cognitivo)

0.7 (la mayoría contestó bien)

20% 4 análisis 25%

Unidad 2 Analizar los hechos que permitieron la consumación de la independencia

4 análisis (cognitivo)

0.3 (la minoría contestó)

10% 2 comprensión

15%

Implicaciones de la evaluaciónImplicaciones de la evaluación

� Sociedad:◦ Acreditación y reconocimiento de los estudiantes: medida de control.◦ Evaluación estandarizada: contraste entre métodos educativos, currícula, alineación a métodos educativos, currícula, alineación a fines del sistema.