dg sdirección general de educación superior

TALLER DE ELABORACION DE REACTIVOS

1.Definición del dominio o del atributo latente2.Usos para los que se destina el instrumento3.Indicación de restricciones en tiempo, medios y

condiciones de aplicación4.Especificaciones del contenido5.Especificación del formato de los reactivos,

tipo de respuesta y procedimiento de calificación

La planeación de un examenComponentes

6.Plan de verificación de eficacia de los reactivos de la prueba

7.Especificación de los parámetros estadísticos que se deben incluir en la prueba para asegurar el nivel requerido de dificultad y confiabilidad

8.Determinación de otras actividades para evaluar la validez de la prueba

9. Organización de un manual de la prueba o cualquier otro material auxiliar.

La planeación de un examenComponentes

- Se refiere a la expresión clara y explícita de la intención de la prueba-

Ejemplos de rasgos o dominios definidos:Habilidad verbal: Evidenciada por el

conocimiento de significados de un gran número de palabras y elección de la palabra más adecuada para un contexto dado.

Destreza en el cálculo aritmético: mostrada por la velocidad y exactitud con que se llevan a cabo operaciones numéricas simples.

1. Definición del dominio o del atributo latente

Es importante tener en mente:- El grupo al cual se aplicará- Los tipos de decisión que se tomarán a partir

de los resultadospara poder decidir:

Contenido de la pruebaNicvel de dificultad y duración de la pruebaPuntuaciones a obtenerFormas de reporte

2. Objetivos de una prueba

Es importante conocer de antemano el uso de los resultados de la prueba:

Decisiones

Selección

Colocación

Clasificación

Certificación

Acreditación

Diagnóstico

Orientación

-Se refiere a todos aquellos factores que rodean la aplicación de una prueba, ya sean externos y de forma, o internos y de fondo, deben reconocerse y hacerse explícitos

Ponderando todos y cada uno de ellos se puede juzgar si es factible elaborar una prueba que sea efectiva en términos psicométricos y práctica de usar en las circunstancias para las cuales se elaboró

3. Restricciones

-Constituye la base de la planeación en sí.En el caso de una prueba de rendimiento académico en alguna materia, se contempla usualmente con dos dimensiones:

la de contenido que expresa lo que se ha enseñadola de proceso que indica lo que se espera que

haga el examinado con ese contenido

4. Plan detallado

-La base principal de la elaboración de reactivos, son los contenidos, así como el nivel de amplitud y profundidad (nivel taxonómico) establecidos en la tabla de especificaciones correspondiente.

Consideraciones para la elaboración de reactivos

-Es común preparar una tabla de especificaciones consistente en una red de dos dimensiones: en una se muestran los temas y en la otra los tipos de operación o niveles del proceso a evaluar.-La taxonomía de uso más generalizado es la Bloom (1954), elaborada por un comité de la American Educational Research Association y enlista las siguientes jerarquías de objetivos para la educación:

Consideraciones para la elaboración de reactivos

Taxonomía de Bloom

ConocimientoComprensión

AplicaciónAnálisis

SíntesisEvaluación

Cuando se inicia la elaboración de una prueba la característica clave del plan detallado es la especificación del dominio que se va a estudiar.

Conocimiento

• Conocimientos específicos de los hechos o términos.

• Conocimientos acerca de formas y medios de tratar casos: convenciones, tendencias y secuencias, categorías, criterios, métodos.

• Conocimientos universales y abstracciones: teorías, generalizaciones, estructuras.

Comprensión

• Traducción

• Interpretación

• Extrapolación

• Clasificación

• Discriminación

Aplicación

• Determinar qué principios son apropiados• Reformular un problema• Especificar límites• Reconocer excepciones• Explicar nuevos fenómenos• Predecir lo que sucederá mediante principios

pertinentes• Determinar o justificar cursos de acción o

decisión.

Análisis

• Elementos

• Relaciones

• Principios organizados

Síntesis

• Producción de una comunicación única• Producción de un plan de acción en la solución

de un problema• Deducción de un conjunto de relaciones

abstractas• Elaboración de una tesis

Evaluación

• Emitir juicios en valor de evidencia interna

• Emitir juicios en función de criterios externos

5. Especificaciones del formato

Ventajas del formato de elección múltiple:

• El sujeto puede manipular más preguntas en un periodo determinado de tiempo

• Las respuestas pueden calificarse más rápida y objetivamente.

• La flexibilidad para probar una gran variedad de contenidos y procesos mentales.

El número de opciones más conveniente es de 4 ó 5.• Las especificaciones de formato incluyen las hojas de

respuesta y los procedimientos de calificación.

Las especificaciones deben indicar:

• El resultado de aprendizaje a evaluar en términos de una conducta observable

• El nivel taxonómico correspondiente• El estándar que se usará para representar el nivel

satisfactorio• Cómo se establece el muestreo del dominio• Cualquier restricción adicional o de limitación del

dominio

Generalidades sobre los reactivos de opción múltiple

• Un reactivo o pregunta se define como la formulación de una proposición o problema para que sea contestado por un sujeto, con el fin de conocer los resultados de su aprendizaje

Principales características:• Se adaptan a la complejidad de los contenidos que se

pretende evaluar• Permiten realizar un muestreo de lo que se quiere

evaluar• La información que de ellos se desprende se puede

procesar rápida y objetivamente.

Están conformados por una base y varias opciones:

• La base es el enunciado que presenta la situación o problema, planteado explícita o implícitamente en una pregunta, afirmación o enunciado incompleto.

• Las opciones se entienden como las posibles respuestas, entre las cuales una responde correctamente al enunciado o pregunta y las otras son respuestas incorrectas llamadas distractores.

Indicaciones para elaborar la base:

Incluir todos los elementos estrictamente necesarios para comprender el sentido correcto de la pregunta

Presentar un problema o situación bien definida, de tal manera que sin leer las opciones tenga sentido propio

Construir un esquema de indagación y no simplemente una palabra

Cuidar que la redacción sea precisa y adecuadaEvitar términos que confundan o den claves de la

respuesta correctaEvitar que una pregunta ayude a responder otra

Indicaciones para elaborar las opciones:

De las opciones (4 ó 5) sólo UNA será correctaLa respuesta correcta debe resolver el problemaDeberán contener concordancia gramatical con la baseDeberán guardar entre sí un equilibrio coherente en su

aspecto gramatical: sintaxis, género, número, tiempo...No debe repetirse ninguna opción, ni con sinónimosDeben´presentar la misma extensiónEvitar que una opción ayude a elegir la opción

correctaSe presentarán al azar, a menos que se requiera un

orden cronológico o numéricoIncluir en los distractores los errores más comunes

Preguntas de ensayo:

Para obtener información acerca de las habilidades que los alumnos tienen en la organización, integración y síntesis de su conocimiento a fin de resolver problemas para los cuales no existan planes predeterminados de solución, se recomienda la elaboración de preguntas de ensayo.

Para identificar este potencial se requiere que cada pregunta sea cuidadosamente redactada de tal manera que el estudiante manifieste esta clase de habilidades cognoscitivas

Preguntas de ensayo:

El simple hecho de formular una pregunta para que se escriba un ensayo a partir de ella, no garantiza que se podrán evaluar esas habilidades.

En el examen de ensayo típico, las diferencias de conocimiento del contenido generalmente encubren las diferencias en la habilidad para usarlo y organizarlo.

Por otra parte, las presiones de tiempo frecuentemente disminuyen la capacidad del estudiante de producir su mejor respuesta.

Sugerencias para la elaboración de preguntas de ensayo más eficaces:

• Relacione las preguntas con los resultados de aprendizaje que se desea evaluar.

• Use las preguntas de ensayo sólo para obtener evidencia de procesos mentales complejos y utilice material novedoso para redactar las preguntas

• Formule preguntas que presenten al estudiante una tarea clara y definida

• Evalúe en términos de la evidencia presentada para tomar una posición determinada ante un punto controvertido y no por la posición que se tome

• Adapte el tamaño y la complejidad de la respuesta al nivel de maduración de los estudiantes y conceda tiempo suficiente para responder la prueba

Recomendaciones para calificar las pruebasde ensayo:

• Evalúe las respuestas en función del resultado de aprendizaje en cuestión y no de otros factores como la información factual presentada

• Decida de antemano qué cualidades tomará en cuenta para estimar la adecuación de una respuesta. Si existe más de una cualidad para ser apreciada, haga evaluaciones separadas para cada una

• Prepare una guía de respuestas o una respuesta modelo en la cual muestre los aspectos que deben quedar incluidos, especificando el número de puntos que asignará a cada respuesta así como a cada parte de la misma

• Califique las respuestas a una misma pregunta en todos los exámenes antes de calificar la siguiente pregunta

• Califique las respuestas ignorando quién las escribió para evitar predisposiciones personales durante la calificación

• Escriba comentarios y corrija los errores de las respuestas para retroalimentar a sus estudiantes

Cómo evaluar el instrumento:

Las pruebas tienen dos indicadores clásicos para determinar su calidad:

• Indice de validez

• Indice de confiabilidad

¿Qué es la validez?

La validez de un instrumento consiste en que podamos medir lo que pretendemos que mida.

Validez teórica

Validez empírica

constructo

contenido

predictiva

concurrente

Validez teórica

Es necesario elaborar la tabla de especificaciones que incluya todos los contenidos temáticos, así como el nivel

taxonómico en que queremos lograr el aprendizaje

Constructo

ContenidoMuestreo representativo de

este universo

Universo de conocimientos

Validez empírica

Predictiva

Concurrente

Implica el impacto de lo aprendido en un futuro previsible

Implica el impacto de lo aprendido en un futuro previsible

Relación de lo aprendido con otros aspectos importantes del proceso educativo

Relación de lo aprendido con otros aspectos importantes del proceso educativo

Confiablidad:

Se refiere a la precisión y estabilidad de la medición que podemos hacer en diferentes condiciones

1.Estabilidad temporal

2.Equivalencia

3.Consistencia interna

1. La estabilidad temporal de un instrumento se refiere a la obtención de los mismos resultados por una persona en dos momentos diferentes, sin que medie ningún aprendizaje extra.

Por el dinamismo del proceso de aprendizaje, no se sugiere realizar estudios de este tipo en periodos que excedan los tres meses

2. La equivalencia se refiere a la similitud entre instrumentos elaborados con la misma cantidad de reactivos, con índices de dificultad iguales y con base en una tabla de especificaciones común

- En este caso un sujeto deberá obtener calificaciones similares en los dos instrumentos

- Por lo general, en el ámbito educativo, es conveniente tener varias versiones de una prueba y verificar su equivalencia

3. La consistencia interna se refiere a la relación que guardan los resultados de un sujeto en cada una de las partes de un instrumento, con el resultado total que obtiene

-Esta es la forma más estable de medir la confiabilidad de un instrumento.

-Un estudio de consistencia interna permite además corroborar la validez teórica, siempre y cuando esté bien definido el universo de conocimientos y el muestreo sea representativo.

dg sdirección general de educación superior