Thomas P. Hogan y Gavin Murphy

Elaborado por: Acevedo Guillermo, Ávila Israel, Barrera Karina, Salas Stephanie y Schiavón Arcelia.

Recomendaciones para elaborar y calificar reactivos de respuestas construidas: lo

que los expertos dicen

PEQUEÑAS DISTINCIONES

Reactivo de seleccionar respuesta (SR):Respuestas alternativasReactivos de opción múltiple

(verdadero/falso-relacionar)

Reactivo de respuesta construida (CR):El individuo tiene que “construir” una

respuesta

También conocidos como “preguntas abierta.”

La antigua literatura en psicometría le hacía referencia como “ensayos.”

En las SR las recomendaciones van dirigidas a la preparación del reactivo, mientras que CR va más dirigido hacía la naturaleza del reactivo.

Problemas en el proceso de codificación

Tratar de no hacer recomendaciones demasiado generales

Separar recomendaciones que hayan sido puestas juntas y viceversa

Categorizar las recomendaciones correctamente

Solo recomendaciones que estuvieran en diferentes referencias

Recomendaciones para hacer reactivos de respuesta construida

Recommendation Frequency

1. Cover logistics: time limit, page limit, point value.

20

2. Avoid using optional items. 17

3. Define question/task clearly. 16

4. Relate to instructional objective(s), test blueprint.

16

5. Construct rubric or ideal answer. 8

6. Use appropriate number of items.  

a. Use more items, less time per item. 8

b. Use fewer items, more time per item. 3

7. Test for complex processes (not mere recall). 7

8. Consider recommended words for questions. 6

9. Construct items at appropriate level. 6

10. Have questions reviewed by someone or pretest.

6

11. Look for evidence (on opinion questions). 4

12. Identify mental processes required. 3

1. Se debe tomar en cuenta el valor que se le dará al reactivo, el tiempo para responderlo y el espacio

2. Evita poner elementos opcionales

3. Define la tarea o la pregunta claramente

4. Relaciona con objetivos de las instrucciones

5. Construye una rubrica o respuesta ideal

6. Usa el número apropiado de reactivos

+ Reactivos = - Tiempo por reactivo- Reactivos = + Tiempo por reactivo

7. Usar para calificar procesos de pensamientos más complejos

8. Usa palabras especificas, menciona o enlista, al escribir los reactivos

Recomendación 9: Enfatiza preguntas de redacción o tareas en un nivel apropiado para el público objetivo. Declaraciones codificadas bajo esta recomendación, a menudo hacen referencia a niveles de lectura de reactivos de respuesta construida.

Recomendación 10: Revisar si el reactivo es claro por cualquier método. Algunas fuentes sugieren que otra persona revise la pregunta.

Recomendación 11: Buscar evidencia. Sólo aplica en los reactivos basados en opinión o temas controversiales. La recomendación enfatiza observar cómo el que responde usa la evidencia sobre su posición específica del tema.

Recomendación 12: Identificar los procesos mentales requeridos. Se hace una recomendación separada de la 4, debido a que, igual que la 7, ambas recomendaciones asumen una distinción en los tipos de procesos mentales provocados por diferentes tipos de reactivos.

Recomendaciones para calificar los reactivos de respuesta construida

Recomendación 1: calificar respuestas anónimas.

Recomendación 2: calificar reactivos uno a la vez.

Recomendación 3: usar una rúbrica para calificar o respuesta ideal.

Recomendación 4: separar los mecanismos de lectura (deletreo y gramática) para demostrar conocimiento.

Recomendación 5: utilizar un segundo lector. Cuando se aplican pruebas a un publico muy amplio.

Recomendación 6: Pensar en varias opciones de métodos para calificar.. Pensar cuidadosamente cuál es el mejor método para calificar el reactivo de respuesta construida.

Recomendación 7: Use técnicas que le ayuden a asegurar la consistencia.

Recomendación 6: sugiere tener retroalimentación, por ejemplo, escribiendo comentarios y no sólo poner la respuesta final.

Recomendación 9: calificar todas las respuestas de un reactivo en una vez.

Recomendación 10: reorganizar el orden de los papeles.

Recomendación 11: Lea la muestra antes de calificar todo.

Recomendación 12: establecer estándares de desempeño realistas.

Recomendación 13: usar revisiones post-test.

Otras recomendacionesEvitar los reactivos basados en opinión.Hacer todos los reactivos

independientemente.Usar una guía.Ordenar los reactivos de respuesta

construida en orden de dificultad.

Heterogeneidad de los reactivos de RC

Aunque si son homogéneos en cierto aspecto los reactivos de RC existen muchas variedades de los mismos:Ensayos, producciones artísticas, exámenes

orales individuales, proyectos científicos, etc.

Bennett (1993) se refiere a las categoría

de RC como una “clasificación

superordenada” para enfatizar su

heterogeneidad.Los reactivos de RC no cuentan con una

recomendación general para

crearlos, sino que cada uno tiene

recomendaciones específicas.

¿A quién van dirigidas las recomendaciones?

Muchas veces parece que va dirigido a tres grandes grupos: Profesores de aulas, personas que evalúen en grandes escalas y expertos en medición.

Sin embargo estas recomendaciones van dirigidas a cualquier tipo de audiencia potencial.

Puntos importantes especialmente relacionados a las aulas

Estas recomendaciones son hechas principalmente para el trabajo en aulas.

Sugerencias relacionadas en trabajos a grandes escalas seguramente tendrían algunas consideraciones importantes.

I. Para la preparación de reactivos de RC:

A. Prepare los reactivos de RC para ayudar a asegurar la validez de la evaluación , es decir , para que la evaluación llegue a lo que se quiere evaluar . Algunas sugerencias para ayudar a garantizar la validez :

Cada elemento o tarea de RC deberían surgir directamente de los objetivos de la instrucción , que se pueden resumir en la forma de un modelo de prueba , un conjunto de especificaciones de prueba, o los estándares de contenido .

Identificar los objetivos que son especialmente apropiados para los reactivos de RC, es decir, los que no son evaluados de manera adecuados/mente con SR artículos. Buscar más complejidad o procesos de nivel superior.

Una dificultad común con los reactivos de RC es que la tarea no está suficientemente clara para los examinados. Para ayudar a clarificar la tarea:

A) Formular cuidadosamente la redacción de cada tema con el fin de centrarse en la respuesta deseada.

B) Proporcionar directrices logísticas (por ejemplo, límites de tiempo , valores puntuales) .C) Asegúrese de que la redacción es apropiada para los examinandos.

D) Puede ser útil contar con un ayudante para leer los artículos con claridad.

B. Preparar los reactivos de RC para ayudar a maximizar la fiabilidad de la puntuación después de los reactivos. Sugerencias para garantizar la fiabilidad:

Evitar el uso de reactivos opcionales. Esto permite la comparabilidad entre las respuestas de los examinados. .

En el momento de la preparación de un reactivo de RC , especificar cómo serán calificadas . Para ello es necesario pensar primero en una adecuada estrategia de puntuación y luego especificar exactamente cómo la estrategia elegida será aplicada, resultando a menudo en lo que se llama un modelo de puntuación .

Por lo general, es preferible utilizar más reactivos que lleve menos tiempo contestar en lugar de un menor número de reactivos con más tiempo dedicado a cada uno.

II. Para puntuar reactivos de RC:

A. Use procedimientos de puntuación que aseguren la validez y la exactitud de la proceso de puntuación. Sugerencias para ayudar a garantizar la validez y equidad:

Calificar los reactivos sin saber la identidad del examinado. Mezclar los papeles para no calificar en el mismo orden y que sea un solo reactivo el que se califique.

Use un modelo de puntuación que se concentra en el objetivo de la evaluación.

No permita que los factores externos influyan en las puntuaciones. Para ejemplo, al medir el conocimiento, no mida elementos de la escritura mecánica o proporcionar una puntuación independiente.

B. Use procedimientos de puntuación que maximicen la fiabilidad del resultado de puntajes.

Use un modelo de puntuación, es decir, un procedimiento claramente definido para la puntuación. Consulte periódicamente la rúbrica de calificaciones y / o re-califique reactivos anteriores para garantizar que se está calificando correctamente.

Cuando se califican muchos reactivos por un solo examinado y son muchos examinados es preferible calificar un mismo reactivo para todos los examinados.

Cuando el puntaje de un reactivo de RC es particularmente importante use diferentes recursos de información por ejemplo reactivos adicionales o una segunda evaluación.

Investigación necesariaa) Hay preguntas acerca de cuales recomendaciones afectan la

calidad psicométrica de las mediciones. Por ejemplo ¿Si hace alguna diferencia, ya sea para la fiabilidad o validez, si los reactivos de RC sean calificados de manera anónima o uno a la vez?

b) En relación con las recomendaciones acerca de la simplicidad de redacción y de la influencia de las variables irrelevantes como habilidad de la escritura, varios estudios han examinado interacciones de tipo de reactivo con el nivel de habilidad y con el género.

c) A propósito de las recomendaciones sobre el uso de reactivos de RC para aprovechar los procesos mentales complejos existe considerable investigación que se ha dirigido a la cuestión de la medida en que reactivos de RC y RS aprovechan diferentes procesos mentales, pero la pregunta sigue siendo uno de disputa interminable. Para otras recomendaciones, la investigación es escasa o inexistente.

Un segundo tipo de investigación se relaciona con las prácticas normales de maestros con respecto a las recomendaciones para los reactivos de RC. Aunque las prácticas normales para aplicaciones a gran escala de reactivos de RC son bien conocidos, se sabe poco sobre la aplicación por maestros de aula.

Por ejemplo, ¿los profesores califican de manera anónima los reactivos de RC? ¿Al calificar varios reactivos lo hacen uno a la vez? ¿Los profesores preparan un modelo de puntuación de antemano?

Standards for Teacher Competence in Educational Assessment of Students