Elaboración de pruebas de evaluación

Módulo 2: Elaboración de pruebas de evaluación

© Contenidos extraídos de los cursos “Formador Ocupacional” y “Tutor de Teleformación”, de INAEM

Prohibida su reproducción total o parcial. Todos los derechos reservados.

MÓDULO 2: ELABORACIÓN DE PRUEBAS DE EVALUACIÓN

Diseño de Pruebas de Evaluación en Teleformación: Contenidos extraídos de los cursos Formador Ocupacional y Tutor de Teleformación (INAEM) Página 2 de 50

Expectativas

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

________________

Objetivo

El objetivo general de este módulo es elaborar diferentes tipos

de pruebas de evaluación en función de las taxonomías de los

objetivos de aprendizaje: evaluaciones cerradas, abiertas,

prácticas y de ensayo y evaluación de actitudes.


CONTENIDO


2.1. ELABORACIÓN DE PRUEBAS OBJETIVAS …………………………………………………………………………………………………………………………………

2.1.1. Plantear pruebas de evaluación ………………………………………………………………………………………………………………………………….

2.1.2. Elaborar pruebas objetivas de selección ……………………………………………………………………………………………………………………

2.1.3. Utilizar pruebas complejas ………………………………………………………………………………………………………………………………………….

5

5

8

16

2.2. ELABORACIÓN DE ACTIVIDADES ABIERTAS Y PRÁCTICAS ……………………………………………………………………………………………………

2.2.1. Especificar escalas de calificación…………………………………………………………………………………………………………………………….….

2.2.2. Establecer listas de cotejo …………………………………………………………………………………………………………………………………….…….

2.2.3. Elaborar hojas de evaluación de prácticas …………………………………………………………………………………………………………………

26

26

29

30

2.3. ELABORACIÓN DE PRUEBAS PARA LA EVALUACIÓN DE ACTITUDES………………………………………………………………………………………

2.3.1. Realizar entrevistas de evaluación………………………………………………………………………………………………………………………………

2.3.2. Técnicas de observación…………………………………………………………………………………………………….………………………………………..

2.3.3. Técnicas descriptivas…………………………………………………………………………………………………………………………………………………….

35

35

38

39

2.4. ESTABLECER LAS CARACTERÍSTICAS TÉCNICAS DE LAS PRUEBAS………………………………………………………………………………….……

2.4.1. Calcular los índices de discriminación y dificultad……………………………………………………………………………………………….………

2.4.2. Verificar la fiabilidad y la validez…………………………………………………………………………………………………………………………….……

2.4.3. Determinar otras características técnicas……………………………………………………………………………………………………………………

42

42

45

48



UNIDAD 2.1. ELABORACIÓN DE PRUEBAS OBJETIVAS

Módulo 2

Elaboración de Pruebas de

Evaluación

Unidad 2.1.

Elaboración de pruebas

objetivas

Unidad 2.2.

Elaboración de actividades

abiertas y prácticas

Unidad 2.3.

Diseñar pruebas de evaluación

de actitudes

Unidad 2.4.

Establecer las características

técnicas de las pruebas

2.1.1.

Plantear pruebas de

evaluación

2.1.2.

Elaborar pruebas objetivas

de selección

2.1.3.

Utilizar pruebas complejas

2.2.1.

Especificar escalas de

calificación

2.2.2.

Establecer listas de cotejo

2.2.3.

Elaborar hojas de valuación

de prácticas

2.4.1.

Calcular los índices de

discriminación y dificultad

2.4.2.

Verificar la fiabilidad y

validez

2.4.3.

Determinar otras

características técnicas

2.3.1.

Realizar entrevistas de

evaluación

2.3.3.

Emplear técnicas de

descripción

2.2.1.


calificación

2.2.3.

Establecer hojas de

evaluación de prácticas

2.2.2.


2.3.2.


observación


2.1. ELABORACIÓN DE PRUEBAS OBJETIVAS


2.1. Elaboración de pruebas objetivas.

Las pruebas de evaluación cerradas, llamadas también “pruebas

objetivas”, garantizan una mayor objetividad en la corrección de las

mismas, aunque implican una mayor dificultad en su elaboración para

cumplir los mismos requisitos de fiabilidad y validez.

Estas pruebas objetivas permiten evaluar objetivos del dominio cognitivo

fundamentalmente y en los niveles taxonómicos de ámbito inferior;

mediante éstas, se pueden evaluar unidades de conocimiento simples a

través de preguntas con posibles respuestas definidas previamente. Para

los objetivos taxonómicos superiores que no puedan evaluarse a través

de las pruebas objetivas, será necesario establecer pruebas abiertas o

de desarrollo; de éstas, trataremos en la unida siguiente.

Repasando lo visto sobre evaluación en e-learning, diremos que para

que la evaluación sea objetiva, deberá ser continua y adaptada a los

discentes, objetivos y contenidos del curso, utilizando instrumentos para

medir los aprendizajes que reduzcan al mínimo la subjetividad en la

corrección.

Dicho esto, lo mejor será partir del planteamiento general de una prueba

de evaluación que nos permita explicar las técnicas y los instrumentos

necesarios para evaluar los conocimientos.

Después explicaremos dos cosas que están relacionadas con este

planteamiento general: en qué consisten las tablas de especificaciones y

las pruebas de evocación.

Seguidamente pararemos a hablar de las pruebas objetivas menos

complejas, las de selección, que son las de verdadero o falso, de

correspondencia y de selección múltiple.

Y para dar por terminado el tema, el último bloque lo dedicaremos a las

pruebas más complejas, como el ejercicio interpretativo, las pruebas de

ensayo y las correspondientes a la evaluación de aprendizajes

complejos.

2.1.1. Plantear pruebas de evaluación.

Plantear una prueba de evaluación

La planificación es el punto de partida para evaluar las competencias

profesionales.

Una planificación bien estructurada sirve de guía para desarrollar las

pruebas de evaluación más adecuadas. Así, se reduce la improvisación y

se tienen más garantías sobre la validez de las pruebas que se diseñen.

Para plantear una prueba de evaluación es muy importante partir de un

organizador de la misma que ayude a sistematizar el trabajo. Para ello,

el elemento más adecuado es la tabla de especificaciones que se realiza

antes de elaborar las pruebas de evaluación y que constituye el primer

paso de la planificación evaluativa.




La evaluación del aprendizaje y el control de calidad

La evaluación del aprendizaje tiene su punto de partida en los objetivos.

Como la relación de estos objetivos puede ser muy extensa, para llevar

a cabo la evaluación hay que hacer una selección de los mismos.

Si tenemos en cuenta el paralelismo que existe entre los procesos de

evaluación del aprendizaje y el control de calidad en otros procesos,

comprenderemos mejor a qué nos referimos. El control de calidad en

una fábrica no se realiza sobre las miles de piezas que pueden

producirse, ya que ello supondría una gran pérdida de tiempo y elevaría

el coste del producto. Ese control se lleva a cabo sobre una muestra de

esas piezas elegidas por métodos estadísticos.

En un curso de formación habrá que seleccionar aquellos objetivos más

importantes, de tal forma que podamos asegurar, con pequeños

márgenes de error, que los alumnos que son capaces de cumplir esos

objetivos serán capaces de cumplir todos o gran parte de los del curso.

Construir una Tabla de Especificaciones

Para visualizar de forma clara la importancia de cada aprendizaje en el

resultado final, será fundamental elaborar previamente una tabla o

matriz de especificaciones, donde quedarán reflejados los resultados

esperados referentes a conocimientos y conductas que debe aprender el

alumno y las pruebas necesarias para evaluarlos.

Además de establecer niveles de importancia, la tabla de

especificaciones ofrecerá el número de ítems que contendrá cada prueba

en función del nivel taxonómico del aprendizaje específico.

En definitiva, la tabla de especificaciones permite establecer qué

resultados de aprendizaje debemos esperar en función de los contenidos

del curso; en base a ello, se seleccionarán los instrumentos de

evaluación y el formato de la misma. Será de vital importancia para

concretar el número y tipo de ítem en cada una de las unidades

didácticas, entendiendo por ítem cada uno de los apartados que

componen una prueba y que corresponde con un objetivo evaluable.

En dicha tabla también se recogerán aquellos aprendizajes que

requieran de una evaluación más allá de la integración de

conocimientos, como, por ejemplo, las destrezas manuales que puedan

requerir de otro tipo de pruebas más abiertas y prácticas; para ellas, se

determinarán los medios y condiciones en las que se realizarán dichas

pruebas.

La tabla de especificaciones nos permitirá visualizar de forma gráfica qué

hay que evaluar, cuál va a ser el criterio, cuántos ítems van a ser

necesarios y qué puntuación o importancia tiene en el resultado final.

Pasos para elaborar la tabla:

1. Extraer las competencias relevantes que debe adquirir el

alumno. Simplificaremos los objetivos para eliminar los repetidos

o los que están contenidos en otros.




2. Determinar el número de ítems, asignando uno distinto a

cada unidad de conocimiento. Haremos lo mismo con las

unidades de competencia que implican la profesión que se quiere

certificar extrayendo el número y tipo de ítems necesarios para

evaluarlas.

3. Elaborar la tabla de especificaciones de referencia.

Estableceremos relaciones de importancia entre los objetivos

seleccionados, utilizaremos las taxonomías.

Por ejemplo:

NOMBRE DE LA UNIDAD DE

COMPETENCIA A EVALUAR

CRITERIO DE EVALUACIÓN

(NIVEL TAXONÓMICO)

NÚMERO DE

ITEMS

PESO EN LA EVALUACIÓN FINAL

1 2 3 4 5 6

Objetivo 1 Identificar, analizar… 1

Objetivo 2 Comprender, elaborar… 2

Objetivo 3 … 3

Objetivo N … N

Todos estos pasos son necesarios para elaborar pruebas que nos

permitan medir los aprendizajes de forma objetiva. La tabla de

especificaciones nos servirá para asegurarnos que el aprendizaje ha sido

efectivo, en qué medida se ha realizado y qué importancia tiene en el

resultado final.

Características y condiciones de las pruebas objetivas

La prueba objetiva es una prueba escrita entre cuyas características

principales encontramos estas tres:

Alto número de preguntas, breves en su

enunciado y respuesta.

Las respuestas aceptables están

previamente determinadas, y por

exclusión las rechazables.

El procedimiento para la valoración de los resultados de la

prueba está previamente determinado.

Una prueba objetiva debe reunir, al menos, las siguientes cinco

condiciones:

Construcción del test: la materia y la dificultad de las

cuestiones han de estar sistemáticamente controladas.

Estandarización: la aplicación y corrección se realizan de la

manera más uniforme posible.




Contraste: la clasificación se realiza en función de las normas

resultantes del examen previo de un número más o menos

elevado de sujetos, lo que permite situar cada una de las

respuestas totales o parciales en una distribución estadística.

Validez: Las respuestas a las cuestiones planteadas dan la

medida correcta del comportamiento o conocimiento que la

prueba pretende medir.

Fiabilidad: si las circunstancias no cambian, la repetición del

examen debe conducir siempre al mismo resultado u otro muy

próximo.

2.1.2. Elaboración de pruebas objetivas

Clasificación de pruebas objetivas:

Una de las clasificaciones más claras y sencillas de los tipos de pruebas

objetivas es la siguiente:

2.1.2.1. Pruebas de evocación.

Sirven para medir conocimientos simples, y son preguntas que

suponen el evocar o redactar la respuesta concreta e íntegra

por parte del alumno.

Se clasifican en dos tipos:

• Respuesta breve

UTILIDAD Mide las destrezas productivas.

ESTRUCTURA Se pide al alumno que responda brevemente a aquello que se le pregunta.

INSTRUCCIÓN Conteste brevemente a las cuestiones abajo planteadas.

PROS Fáciles de elaborar.

Plasman claramente el dominio o no del tema.

CONTRAS No miden conceptos complejos.

Si la frase no tiene buen planteamiento, la valoración de las respuestas puede resultar ambigua.

Pautas de edición

− Los espacios serán todos del mismo tamaño.

− Se especificarán el mínimo de respuestas que se solicitan.

− Se utilizarán verbos como: cite, escriba, enumere…

− Se puntúa cada respuesta en números enteros, sin

fracciones.




• Texto incompleto

UTILIDAD Mide las destrezas productivas.

ESTRUCTURA Frase con huecos donde faltan palabras que debe rellenar el alumno.

INSTRUCCIÓN Rellena los huecos de forma que las oraciones sean verdaderas.

PROS

Elimina la adivinación.

Obliga a utilizar las capacidades mentales.

Son de fácil valoración.

CONTRAS Si se abusa del formato, invitamos al estudiante a memorizar en lugar de aprender.

Solo mide la integración de conceptos concretos.

Pautas de edición

− Redacción positiva

− La frase será de elaboración propia, no se copiarán de los

contenidos.

− Concreta y corta.

− Evitar sugerir la respuesta (no usaremos artículos antes del

espacio en blanco).

− La frase no debe contener datos irrelevantes.

− Respuesta única.

− El sinónimo es correcto.

− El espacio en blanco no debe ser demasiado grande.

− Se puntúa en números enteros, no en fracciones.

2.1.2.2. Pruebas de selección.

Son pruebas en las que hay que seleccionar una respuesta

entre varias propuestas o reconocer un recuerdo. Miden las

habilidades de comprensión.

Consideraciones específicas de la prueba:

− Se debe evitar la complejidad, ambigüedad u obviedad de

los enunciados.

− Evitar pedir justificación de respuesta, ya que si lo

hiciéramos estaríamos convirtiendo la prueba en una de

desarrollo.

Existen tres tipos:

• Verdadero o falso

UTILIDAD Consiste en el juicio que hace el alumno de si la afirmación que se le ha presentado es verdadera o falsa.

ESTRUCTURA Enunciado: afirmación correcta o errónea de un hecho.

Dos únicas opciones: verdadero y falso.

INSTRUCCIÓN Concluya si las afirmaciones presentadas a continuación son verdaderas o falsas. (rodee la V cuando sean verdaderas y la F cuando sean falsas).

PROS Rapidez y facilidad en la corrección y puntuación.

Sirve para evaluar la comprensión de conceptos fundamentales del tema.

CONTRAS Difícil elaboración y construcción correcta de la pregunta para que no resulte ambigua o con doble respuesta en




función de la situación o condición.

La posibilidad de adivinación es del 50 %.

Se induce al discente a pensar en extremos de verdadero o falso, sin tener en cuenta las variables intermedias.

Pautas de edición

− Cada enunciado sólo debe incluir una idea o concepto, ya

que la inclusión de dos o más conceptos hará el ítem

confuso.

− Las proposiciones de tipo muy general deben evitarse, pues

suelen tener excepciones.

− También deben evitarse términos absolutos del tipo

siempre, nunca, sólo, nadie o ninguno, pues suelen

asociarse a conceptos falsos.

− Por el contrario, palabras como

comúnmente, usualmente, muchos y

frecuentemente, suelen aparecer

asociadas a respuestas verdaderas.

− Los ítems verdaderos han de redactarse

con la misma extensión que los falsos.

Generalmente, los ítems verdaderos suelen ser más largos,

ya que suelen contemplarse las excepciones.

− Conviene evitar las formulaciones negativas y

especialmente la doble negación. En particular, esta última

es confusa (en especial si se utiliza Sí - No) y puede

interpretarse de forma afirmativa. Sólo deben usarse

cuando sean imprescindibles (normas de seguridad) y

siempre recalcando la negación.

• Correspondencia

UTILIDAD Idóneas para evaluar aquellos objetivos que implican establecer relaciones entre conceptos.

ESTRUCTURA

Columna de premisas.

Columna de respuestas.

Relacionar: una sola respuesta por premisa.

Asociar: varias respuestas por premisa.

INSTRUCCIÓN Empareja mediante flechas la (o las) respuesta correcta al enunciado de la derecha.

PROS

Rápido de corregir.

Permite evaluar temas con muchos conceptos relacionados.

Especialmente útil para evaluar conceptos concretos.

CONTRAS

Puede inducir la memorización en contra de la asociación.

La mayor dificultad radica en encontrar preguntas con el mismo estilo de redacción.

No miden conceptos complejos.

Pautas de edición

− La redacción será homogénea para evitar la adivinación y

las distracciones.

− Deben estar claros los criterios de relación.




− Siempre habrá un número igual o mayor de respuesta que

de preguntas.

− Si las respuestas son para un solo enunciado o para varios.

− Si se utiliza la opción de relacionar, asegurarse de que cada

enunciado tenga una sola respuesta correcta.

− Si por el contrario se elige la opción a asociar, se ofrecerán

al menos dos posibilidades.

− Indicar que símbolos se van a utilizar para la relación

(flechas, números…)

− Las respuestas no serán nunca más largas que las

premisas.

− Es aconsejable que la prueba se visualice en un golpe de

vista; no debe ocupar más de una página o pantalla.

− Cuidar la coherencia de la prueba presentando los

enunciados en orden lógico.

− Evitar los datos innecesarios.

• Selección múltiple

UTILIDAD

Registro de resultados confiable y especialmente útil en la evaluación sumativa.

Son de las más utilizadas en teleformación por no requerir de aplicativos complejos para su desarrollo.

ESTRUCTURA Enunciado: Será una pregunta, frase incompleta o afirmación.

Opciones: más de tres posibles respuestas. No es

recomendable más de cinco.

Son las posibles respuestas que concuerdan con el enunciado en estilo y redacción.

Sólo hay una opción correcta; las otras restantes se consideran distractores.

INSTRUCCIÓN Rodee la opción correcta de las que se presentan para cada enunciado (sistema de puntuación).

PROS Miden las capacidades de: razonar, evocar, comprender, reconocer.

Corrección y calificación rápida y fácil.

CONTRAS Posibilidad de adivinación.

Difícil elaboración.

Pautas de edición

− Cada ítem será independiente de los demás.

− Acordes con el nivel formativo y de maduración personal

del alumnado.

− El vocabulario utilizado será acorde a la materia que se

evalúa.

− No podrán resolverse aplicando exclusivamente el sentido

común del alumno.

− No se utilizarán patrones de respuesta; debe elegirse la

posición de las respuestas correctas al azar.

− Evitar en la medida de lo posible las opciones que engloben

a las demás: todas son correctas, a y b son correctas…

− Sólo habrá una respuesta correcta; el resto no podrán ser

correctas bajo ninguna perspectiva.




− Los enunciados sarán claros, concretos, sencillos y

formulados desde la objetividad.

− Evitar términos absolutos como; siempre, nunca, todo...,

ya que inducen la adivinación.

− Los elementos comunes, como artículos o preposiciones

estarán en el enunciado.

− El estilo de redacción entre las opciones, y de éstas con el

enunciado, debe ser homogéneo.

− Las opciones irán en sentido descendente en líneas

paralelas.

Normas generales para la elaboración de ítems.

La redacción de los ítems de pruebas objetivas exige una serie de

condiciones de carácter general y otras de carácter específico o

concreto. A continuación trataremos las de carácter general que

afectarían a todos los ítems de cualquier tipo:

Vocabulario: el vocabulario del ítem debe ser comprensible para

todos los que se examinan. No deben utilizarse palabras

complicadas que impidan al alumno entender la pregunta. Ejemplo:

(Mal) La capital europea de la industria criogénica es .................

(Bien) La capital europea de la industria del frío es .................

Redacción: hay que redactar la pregunta de manera que exija una

respuesta exacta. Si una pregunta está formulada de manera

ambigua o demasiado general podrá tener varias respuestas

correctas o ser cierta y falsa según la enfoque el alumno. Ejemplo:

(Mal) La ciudad más importante de Suiza es .................

(Bien) La ciudad con más habitantes de Suiza es .................

Comprensión: no plantear las preguntas de manera que puedan

ser contestadas por simple memorización, salvo cuando ésta sea

imprescindible. La memorización es necesaria cuando sirve para

algún fin específico (como fórmulas y operaciones aritméticas) para

poder aplicarlo a determinadas situaciones. Sólo es correcto

puntuar la "simple memorización" cuando ésta sirve como medio y

no como fin.

Independencia: debe evitarse la interdependencia entre dos o

más preguntas. No debe existir interrelación entre varias preguntas

de modo que para contestar a una de ellas se tenga que haber

contestado a las anteriores.

Ejemplo:

(Mal) 1ª. París tenía 6.357.000 habitantes en 1980 y 7.475.000 en

2000.

¿En qué porcentaje se ha incrementado la población desde 1980 a

2000?

2ª. Calcular la población en 2020 suponiendo que se mantenga el

mismo porcentaje de crecimiento.




Si se contesta mal la pregunta 1ª, la 2ª tendrá también el resultado

incorrecto. La solución es formular ambas cuestiones en preguntas

independientes.

Juego limpio: evitar el uso de trucos o trampas. Se deben evitar

aquellos ítems que plantean trampas o problemas capciosos o

juegos de palabras que puedan despistar al alumno conocedor de la

respuesta correcta.

Ejemplo:

(Mal) ¿Cuántos nuevos estados nacionales se han adherido a la

Unión Europea después de 1975, teniendo en cuenta que hay países

como Alemania que están compuestos por estados federados?

(Bien) ¿Cuántos estados nacionales han firmado el tratado de

adhesión a la Unión Europea después de 1975?

Significación: no hay que recurrir a trivialidades. A veces, para

obtener un buen nivel de dificultad y discriminación de los ítems, el

diseñador de pruebas recurre a trivialidades para complicarlos.

Estos ítems carecen de valor, ya que exigen la memorización de

minuciosidades que no suponen un aprendizaje de calidad.

Ejemplo:

(Mal) ¿Cuántos puestos fronterizos permanecen abiertos en

Alemania durante el invierno?

(Bien) ¿Con qué países tiene frontera terrestre Alemania?

Una de las normas generales que más debe cuidarse en la

elaboración de ítems es el grado de dificultad de la prueba. Hay que

evitar dar a conocer claves reveladoras. A veces en la redacción de

la pregunta existen claves o pistas que insinúan al alumno

avispado" la solución correcta sin que él supiese de antemano la

respuesta.

Existen tres clases de claves:

Verbales: son las que resultan de una asociación verbal entre

la pregunta y su respuesta.

Ejemplo:

(Mal) Una mujer nacida en Santiago de Chile tiene el gentilicio

de...

a) Santiaguina

b) Mascateña

c) Cairota

(Bien) Una mujer nacida en Santiago de Chile tiene el gentilicio

de...

a) Santiaguina

b) Santichilena

c) Santiagüesa

Gramaticales: son instrucciones gramaticales que descubren

la respuesta al concordar gramaticalmente la respuesta con lo




preguntado, generalmente en el género (masculino-femenino),

o en el número (singular-plural).

Ejemplo:

(Mal) Nimega es una ciudad de los Países...

a) Oriente

b) Bajos

c) Interior

(Bien) Nimega es una ciudad de los Países...

a) Orientales

b) Bajos

c) Interiores

Por heterogeneidad: son las que resultan por la discordancia

entre los conceptos de un conjunto. Se dan fundamentalmente

en las alternativas de las pruebas de selección múltiple o en las

de las pruebas de correspondencia de pares.

Ejemplo:

(Mal) Asocia cada elemento de la columna A con uno de la B:

Columna A - Columna B-

Cracovia Suiza

Lucerna Polonia

Funafuti Eslovaquia

Bratislava Tuvalu

Todas las premisas y respuestas están asociadas a ciudades y

países de Centroeuropa, salvo una (heterogénea) que se

refiere a Oceanía, lo que constituye una clave evidente.

(Bien) Asocia cada elemento de la columna A con uno de la B.

Columna A - Columna B-

Cracovia Suiza

Lucerna Polonia

Aquisgrán Eslovaquia

Bratislava Alemania

El resto de normas de elaboración que afectan a todos los ítems de

cualquier tipo son las siguientes:

Exhaustividad: abarcar con la prueba todas las líneas de la

materia por evaluar, asignando un número de ítems proporcional a

la importancia de cada área. De esta forma aumenta la validez de la

prueba.

Idoneidad: elegir el tipo de ítem apropiado para cada uso. Entre

los diversos tipos de ítems, algunos son más adecuados para medir

ciertos objetivos, otros presentan limitaciones en la comprobación

de ciertos aprendizajes. Por tanto, cada ítem debe elegirse en

consonancia con el tipo de objetivo o tipo de aprendizaje que se

pretende evaluar.




Números cerrados: no permitir la elección de ítems. El elaborar

una prueba con mayor número de ítems del exigido para responder,

a fin de que los alumnos elijan los que deseen contestar (una

prueba de 60 ítems que pide al alumno que sólo responda a 50 de

su elección), es una práctica contraria a la técnica de evaluación, ya

que los resultados no son comparativos y además se reduce la

validez del contenido.

Clasificación: agrupar juntos todos los ítems de un solo tipo y dar

instrucciones para contestarlos. Como es posible que en una prueba

aparezcan ítems de distinto tipo, deben agruparse por bloques,

evitando así posibles confusiones. Si las instrucciones fuesen algo

complicadas pueden ponerse algunos ítems resueltos como

ejemplo.

Contraste: dar a leer los ítems a otros docentes por si existiesen

ambigüedades o errores en la redacción que puedan pasar

inadvertidos al autor de la prueba, ya que a menudo, al haber

redactado uno mismo el ítem, es

difícil percatarse de un doble

significado, una imprecisión,

etcétera.

Improbabilidad: evitar que la

respuesta a un ítem sea tan obvia

que se pueda contestar

correctamente sin necesidad de haberla estudiado.

Adaptar las pruebas para e-learning:

A continuación se ofrecen algunos ejemplos de cómo podemos adaptar

las pruebas para que puedan estar disponibles en una plataforma e-

learning:

Pregunta de selección múltiple:

Terminar la frase:




Rellenar huecos con la opción correcta:

Secuenciar correctamente:

Establecer relaciones en dos listas de datos:

2.1.3. Utilizar pruebas complejas.

El ejercicio interpretativo

El ejercicio interpretativo, denominado por algunos autores prueba

multi-ítems de base común, se utiliza para la medición de aprendizajes

más complejos que los hasta ahora vistos. Se considera una modalidad

de prueba objetiva ya que presenta a todos los alumnos la misma

información y se pide que realicen el mismo tipo concreto de actividad.

Consiste en una base común de información o datos a partir de la cual

se formula un conjunto de preguntas o ítems de los tipos anteriormente

analizados. El trabajo del alumno supone comprender y asimilar la

información recibida de manera que sea capaz de responder




correctamente a las preguntas, y, en los casos que así se requiera,

explicar qué conclusiones se apoyan en dichos datos, cuáles los

contradicen y cuáles no influyen en ningún sentido. Los datos o base de

información pueden darse por escrito, en forma de tabla, material

gráfico o dibujos.

En este tipo de pruebas, al darse a los alumnos el

mismo conjunto de información para contestar a los

ítems, es menos probable que se responda utilizando

únicamente conocimientos memorísticos (ya que los

conocimientos necesarios para resolver la prueba

deben de aportarse), lo que posibilita el uso de

funciones mentales superiores (comprensión,

análisis...) que suponen aprendizajes de mayor calidad.

Su ámbito de aplicación se da fundamentalmente en la evaluación de

aprendizajes significativos que supongan procesos mentales complejos,

como pueden ser las capacidades para:

Interpretar datos y relaciones

Elaborar hipótesis

Diagnosticar fallos

Realizar reparaciones

Solucionar problemas y planteamientos difíciles

Reconocer limitaciones de los datos

Formular conclusiones válidas

Distinguir entre generalidades y particularidades

Aplicar principios

Realizar inferencias lógicas

Diagnosticar y definir problemas

Ventajas e inconvenientes de estas pruebas

Entre las ventajas de los ejercicios interpretativos nos encontramos

con:

Aplicación a situaciones reales y cotidianas de la vida

profesional. Cada vez es más frecuente que el ejercicio

profesional esté basado en la interpretación de datos e

informaciones recibidas, así como en la consulta, interpretación

y aplicación de material bibliográfico.

Hacen posible la medición de aspectos complejos del aprendizaje

que hasta ahora solo se evaluaban mediante exámenes

tradicionales (pruebas de ensayo).

La evaluación de los objetivos es más global y completa que la

de otro tipo de pruebas objetivas.

Reduce la diferencia entre los alumnos que poseen mucha

información (conocimientos memorísticos), y los que tienen

información más elemental; ya que la información indispensable

para responder a los ítems es común. De esta manera, las




conductas que se pretenden medir van más allá del simple

recuerdo.

El ejercicio interpretativo tiene los siguientes inconvenientes:

Dificultad de construcción, pues resulta difícil encontrar material

adecuado para su elaboración, además resulta complicado

construir ítems que no sean demasiado evidentes en función de

la información aportada.

Cuando la información está recogida en un texto escrito, se

precisa una buena capacidad lectora para su correcta

comprensión. Por tanto, los alumnos con dificultad lectora

pueden tener problemas de interpretación del texto.

Al ser un ejercicio muy estructurado no alcanza a medir

aprendizajes altamente sofisticados, para los que es preciso

utilizar pruebas más subjetivas (como las pruebas de ensayo).

Normas de elaboración

Las normas de elaboración del ejercicio interpretativo son:

Es aconsejable limitar la utilización de este ejercicio para la

evaluación de aprendizajes de cierto nivel de complejidad que

no puedan ser evaluados por otros tipos de ítems. No merece la

pena utilizar estas pruebas para medir conocimientos simples

basados en el recuerdo que pueden evaluarse fácilmente con

otros tipos de pruebas de menor dificultad de construcción.

Es preciso seleccionar el material de introducción (base de

datos) en función de los objetivos perseguidos. Ha de

tenerse en cuenta que si este material es demasiado sencillo el

ejercicio puede convertirse en una simple medida de la

habilidad para leer, y si es demasiado complejo puede resultar

una especie de test de razonamiento abstracto.

Las preguntas o ítems deben construirse de forma que sea

preciso el análisis y la interpretación de la base común de

información. En caso contrario podría incurrirse en dos errores:

• Incluir preguntas que únicamente demandan datos, y

pueden contestarse con solo leer la base de información

común (con lo que estaríamos midiendo la habilidad

lectora).

• Incluir preguntas que pueden contestarse sin necesidad

de leer la base de información común (por lo general

estas preguntas sólo medirían conocimientos sencillos).

La construcción de ítems para el ejercicio interpretativo debe

regirse por las normas específicas correspondientes para la

elaboración de cada tipo de ítem.

La base común de información y los ítems deben ser

proporcionales en extensión. No compensaría realizar una

base de datos compleja a base de gráficos, dibujos detallados o




textos largos, para construir a partir de ella solamente uno o

dos ítems.

Enlaces

Recursos técnicos para la evaluación (RedEscolar)

http://redescolar.ilce.edu.mx/redescolar/biblioteca/articulos/htm/recurso

s_eva.htm

Ejemplo de ejercicio interpretativo

Ejemplo tomado de Norman E. Gronlund, de su obra "Medición y

evaluación en la enseñanza".

Instrucciones: Las siguientes afirmaciones se refieren a los datos de la

tabla anterior. Lee cada una de las afirmaciones y marca la respuesta de

acuerdo con la siguiente clave:

A = Si los datos de la tabla apoyan la aseveración.

C = Si los datos de la tabla contradicen la afirmación.

N = Si los datos de la tabla ni apoyan ni contradicen lo que se

indica.

Ejemplo de ejercicio interpretativo de utilización de material gráfico en la

base de datos, tomado nuevamente de Gronlund, en esta ocasión de su

obra "Educational Testing Service".




Pruebas de ensayo breve

Las pruebas de ensayo breve o de respuesta restringida son pruebas

escritas en las que se hace un planteamiento previo seguido de una

pregunta que hay que responder argumentándola y adecuándose a las

restricciones que se puedan plantear en las instrucciones de tipo formal

o relativas al contenido.

Estas pruebas requieren un conocimiento previo de la materia por parte

del alumno, así como su personal aportación en lo relativo a su

asimilación, interpretación y devolución, de ahí su importancia en la

medición de aprendizajes algo más complejos. No obstante, no hay que

olvidar que al ser pruebas de ensayo breve, tanto el contenido como la

respuesta del alumno están limitados desde la propia formulación de la

pregunta.




Además hay que tener en cuenta que desde la propia naturaleza de cada

pregunta se establecen unas bases precisas, que orientan la respuesta

hacia el tipo específico de aprendizaje que se pretende medir.

Como habrás observado, hemos propuesto una prueba en la que se

especifica de manera muy concreta lo que queremos conseguir (nuestros

objetivos al realizar la prueba): explica brevemente en qué consiste este

dominio, especifica los niveles. Date cuenta en la insistencia de

brevemente, y en la instrucción específica que indica el máximo de

palabras a utilizar (no utilizar más de 40 palabras), y el límite de tiempo

(ni utilizar más de 20 minutos).

Aunque pueda parecer que sus aplicaciones son

muy similares a las de la mayoría de las pruebas

objetivas, con estas pruebas se pueden medir

objetivos más complejos, gracias a la oportunidad

que se le presenta al alumno de desarrollar la

respuesta. Lo que por otro lado, provoca que estas

pruebas se presten a una cierta subjetividad, que en todo caso puede

controlarse y atenuarse utilizando procedimientos adecuados de

corrección.


Las normas de elaboración de las pruebas de ensayo breve son:

Al organizar la prueba, conviene tener en cuenta que las

respuestas a cada una de las cuestiones estén en hojas

separadas. De esta forma resultará más fácil analizar y

corregir la misma pregunta contestada por todos los alumnos.

Indicar con cierta exactitud el tiempo aproximado que debe

emplearse en cada respuesta para orientar al alumno sobre la

extensión y profundidad que se requiere en la respuesta.

Es preferible aumentar el número de cuestiones, y a cambio

reducir la longitud de las preguntas y de las respuestas, que

hacer preguntas muy extensas que exijan respuestas

demasiado largas.

Los términos en los que se formula la pregunta deben ser

perfectamente comprensibles para los alumnos.




Para la corrección te aconsejamos principalmente:

Elaborar una respuesta modelo para cada pregunta, asignando

previamente una puntuación según su importancia.

Con el fin de ser lo más objetivos posible, conviene calificar la

misma pregunta al mismo tiempo a todos los alumnos,

especialmente cuando las respuestas se presten a la opinión

personal, creatividad u originalidad del alumno. De este modo se

consigue una línea de juicio más homogénea a la hora de

asignar una puntuación a cada respuesta.

Pruebas de ensayo de respuesta extensa

Cuando los aprendizajes que queremos evaluar presentan un nivel de

complejidad muy alto (capacidad para originar y expresar ideas, realizar

juicios críticos de valoración, integrar distintos aprendizajes en un

planteamiento global de un problema) y no se pueden medir

satisfactoriamente a través de pruebas objetivas, entonces utilizamos

las pruebas de ensayo de respuesta extensa.

Estas pruebas dan al alumno una mayor posibilidad de expresión, ya que

le ofrecen la posibilidad de seleccionar cualquier información que posea

y que considere adecuada para organizar la respuesta según su criterio,

integrando y evaluando ideas como considere más apropiado.

Con este tipo de preguntas se mide la capacidad del alumno para dar un

enfoque global a una determinada cuestión. Este procedimiento permite

seguir el proceso natural del pensamiento en la resolución de problemas,

y requiere para su medición una estructuración de respuesta menor que

la que imponen los elementos de las pruebas objetivas. El examen

convencional es el instrumento que mejor se presta a la medición de

estos aprendizajes.

Ventajas y limitaciones de estas pruebas

Existen autores que destacan entre las ventajas de las pruebas de

ensayo de respuesta extensa su validez real (aunque limitada), ya que

consideran que los exámenes tradicionales con todas sus

imperfecciones, han permitido que nuestra civilización alcanzase el nivel

científico actual, y piensan que la selección realizada por estos

exámenes fue en gran parte válida.

Afirman, además, que sirven para prepararse (endurecerse), para la

vida. Lo cierto es que estas pruebas pueden estimular al alumno a

estudiar más significativamente.

Además:




Son instrumentos insustituibles para comprobar cómo organiza

y expresa el alumno los conocimientos asimilados.

El alumno puede revelar su expresión personal con más

libertad.

Otorga un sentido de seguridad, favoreciendo al alumno tímido.

Por otra parte, permiten:

Apreciar el estilo, la ortografía, la construcción gramatical y la

originalidad del pensamiento.

Averiguar cuáles son los hábitos de trabajo del alumno.

Apreciar la capacidad para emitir juicios críticos y para detectar

valores.

Realizar comparaciones en muchos aspectos del aprendizaje.

Las limitaciones de estas pruebas son tantas que, probablemente, se

las descartaría por completo como instrumento de evaluación si no fuera

por el hecho de que miden importantes elementos del aprendizaje que

no se pueden comprobar de otra manera.

Por ello, resulta fundamental fijar de antemano los criterios para las

distintas valoraciones de las respuestas, con el fin de que la fiabilidad de

la prueba no resulte afectada.

Los principales inconvenientes de las pruebas de ensayo de respuesta

extensa son estos:

Los principales enemigos son los estereotipos y el efecto

halo.

Son difíciles de calificar, al admitir diversas respuestas.

Suponen un gasto excesivo de tiempo en la corrección y la

puntuación.

La puntuación es de poca fiabilidad, ya que el formador

tiene que poner en juego elementos subjetivos al calificar.

No pueden ser sometidas a procesamiento estadístico.

Al incluir menos preguntas, suelen abarcar menos objetivos y

contenidos que las pruebas objetivas, haciendo que la muestra

del programa del curso sea menos significativa, y dando mayor

aleatoriedad al examen.

Las preguntas de estas pruebas pueden ser interpretadas de

forma errónea por el alumno.


Las normas para elaborar pruebas de ensayo de respuesta extensa son:

Restringir el uso a aquellos casos u objetivos que no pueden

medirse a través de pruebas objetivas, compatibilizando su

utilización con otros instrumentos de evaluación. En formación

para el empleo por ejemplo, en los casos de mandos

intermedios, informática superior, metodología didáctica, o altas

tecnologías.




Especificar en la base de la pregunta los aspectos que se

tomarán en cuenta para la evaluación de la misma. De esta

manera el alumno podrá ponderar su respuesta.

Plantear la pregunta de manera que quede claramente

expresada la tarea del alumno, evitando cualquier posibilidad

de interpretación incorrecta. De otra manera, sería imposible

determinar si una respuesta incorrecta se debe a una mala

interpretación de la pregunta, o a una estrategia del alumno

para eludir una contestación que desconoce.

Proponer al alumno mediante la pregunta una situación

novedosa, que no haya sido realizada en clase y que no figure

como ejemplo en sus manuales de estudio, pero cuya resolución

dependa de lo aprendido anteriormente. De esta forma se evita

la mera repetición de datos o ejemplos propuestos a lo largo del

proceso de aprendizaje.

Advertir a los alumnos en los casos en que la ortografía puntúe.

Frecuentemente la concentración del alumno en el desarrollo del

contenido de la pregunta puede hacer descuidar los aspectos

ortográficos.

Indicar el tiempo aproximado para cada pregunta. Así el

alumno puede organizar mejor su trabajo y tener una idea del

nivel de profundidad que exige la respuesta.

No plantear la prueba con preguntas opcionales. En las pruebas

de ensayo se plantean en ciertas ocasiones varias preguntas de

las cuales el alumno debe elegir un número menor que el dado.

Con esta práctica disminuye la fiabilidad de la prueba ya que el

instrumento de medición no sería homogéneo para todos los

alumnos.



UNIDAD 2.2. EVALUACIÓN DE ACTIVIDADES ABIERTAS Y PRÁCTICAS

Módulo 2


Evaluación

Unidad 2.1.


objetivas

Unidad 2.2.



Unidad 2.3.


de actitudes

Unidad 2.4.



2.1.1.

Plantear pruebas de

evaluación

2.1.2.


de selección

2.1.3.


2.2.1.


calificación

2.2.2.


2.2.3.


de prácticas

2.4.1.



2.4.2.


validez

2.4.3.

Determinar otras


2.3.1.


evaluación

2.3.2.


observación y descripción

Módulo 2


Evaluación

Unidad 2.1.


objetivas

Unidad 2.2.



Unidad 2.3.


de actitudes

Unidad 2.4.



2.1.1.

Plantear pruebas de

evaluación

2.1.2.


de selección

2.1.3.


2.2.1.


calificación

2.2.3.

Establecer hojas de

evaluación de prácticas

2.2.2.


2.3.3.


descripción


2.2. ELABORACIÓN DE ACTIVIDADES ABIERTAS Y PRÁCTICAS


2.2. Elaboración de pruebas de evaluación prácticas.

En este tema, además de revisar las características de las pruebas

prácticas en general, vamos a ver los principales instrumentos para

registrar los resultados de la evaluación de estas pruebas, es decir:

1. Especificar las escalas de calificación

2. Establecer las listas de cotejo

3. Elaborar las hojas de evaluación de prácticas

Estas pruebas pueden en su configuración ser comunes a muy diferentes

especialidades, porque hacen referencia a un ámbito ocupacional amplio.

Además, una de sus características fundamentales es que colocan a los

evaluados ante ejercicios que simulan situaciones reales de trabajo, con

lo cual es una manera excelente de testar lo que han aprendido.

Para que sean realmente eficaces deben estar diseñadas de manera que

identifiquen y definan las competencias profesionales que el alumno ha

de saber aplicar. Una prueba de este tipo debidamente preparada tiene

un alto grado de fiabilidad, siendo su diseño el principal trabajo del

evaluador."

Hay que determinar los criterios e indicadores, así como pensar en el

tipo de práctica y si la situación que se va a crear es individual o grupal.

Y no hay que olvidarse de establecer el sistema de puntuación y realizar

la hoja de evaluación.

2.2.1. Especificar escalas de calificación.

Noción sobre pruebas para evaluar prácticas

Las pruebas para evaluar las prácticas hacen referencia a saber aplicar

el procedimiento adecuado a las tareas y actividades profesionales

propias de la ocupación elegida. Son pruebas sobre procedimientos,

organización, planificación y colocan a los evaluados ante ejercicios que

simulan situaciones reales de trabajo. Al alumno se le pueden pedir

básicamente tres cosas:

Que identifique o reconozca la adecuación de un procedimiento,

el uso adecuado de una herramienta. Por ejemplo; explicar

cómo armaría un circuito sencillo.

Que ejecute una tarea en condiciones simuladas a pequeña

escala. Aquí el alumno debe ejecutar movimientos, actividades

y operaciones "como si" fueran reales, sea en modelos

construidos a escala o sin ellos.

Que lleve a cabo una tarea muy representativa de los objetivos

que deben evaluarse. En este caso se selecciona una muestra

representativa de una tarea o conjunto de tareas. Si el alumno

realiza adecuadamente las operaciones de esa muestra de

trabajo, se podrá inferir que es capaz de resolver con eficacia

todos los de su género.




Estas pruebas evalúan fundamentalmente dos tipos de rendimiento:

La ejecución de alguna actividad que implique destreza (por

ejemplo, un trabajo de taller o manejo de maquinaria).

El producto resultado de una ejecución (por ejemplo, un plato de

cocina o una pieza de torno).

Para ello, se utilizan tres tipos de pruebas de evaluación de prácticas:

Pasos para el diseño de pruebas de las prácticas

Los principales pasos para el diseño de las pruebas para la evaluación de

las prácticas son:

Identificar las competencias profesionales que se quieren

evaluar.

Determinar los criterios e indicadores competenciales de

evaluación.

Definir el tipo de práctica o prácticas que realizar,

especificando:

− La situación profesional que se propone: tareas o productos

que se solicitan.

− Las instrucciones para su desarrollo (subdividir la tarea en

diferentes actividades si procede).

− Las condiciones en las que se realizará la práctica (tiempo,

materiales, grado de terminación, normas de seguridad).

Especificar si se trata de una situación individual o grupal.

Establecer el sistema de puntuación para calificar los

resultados de la prueba, en donde se indicará el procedimiento

que debe seguir por el evaluador para calificarla, y los

instrumentos de observación y puntuación en los que debe

basarse.

Confeccionar una hoja de evaluación en donde se establezcan

los indicadores que hay que evaluar y observar (rapidez,

precisión, etcétera) y la puntuación en la que se basará la

evaluación de dicha prueba.

Registrar los resultados y calcular la puntuación total de la

prueba.

Escalas de calificación

Las escalas de calificación son uno de los tres instrumentos para la

evaluación de las prácticas. Consisten en una serie de enunciados o

preguntas sobre el ítem o indicador competencial que se pretende

evaluar, seguido por una escala de opciones graduadas en intensidad,

generalmente de menos a más.




El evaluador observa al alumno cómo realiza la práctica establecida y

debe marcar la opción que a su juicio parece más adecuada con relación

a lo que se trata de evaluar.

Al igual que cualquier otro instrumento de evaluación, las escalas de

calificación deben contemplarse dentro de la programación y diseño del

curso, teniendo en cuenta los objetivos de aprendizaje y la metodología

a utilizar por el tutor.

Estas escalas pueden ser de tres tipos: numéricas, gráficas y

descriptivas.

Numéricas: cuando la intensidad del comportamiento o rasgo

observado se expresa en números.

Gráficas: cuando la intensidad del rasgo observado se expresa

en categorías.

Descriptivas: cuando las categorías de la escala describen de

forma breve, pero lo más exacta posible, las características o el

rasgo observado. Este tipo de escala reduce la ambigüedad en

su interpretación porque cada punto de la escala incluye la

explicación de su significado.

Criterios para la elaboración y uso de escalas de calificación.

Los rasgos y características deben ser directamente observables

por la persona que debe evaluar.

Los ítems o preguntas deben tener

una única interpretación. Debe

cuidarse especialmente su

redacción.

Siempre que sea posible, se

aconseja que apliquen la escala varios evaluadores expertos en

la materia. De esta forma se reduce la subjetividad y los

prejuicios tienden a equilibrarse.




El número de categorías de la escala debe oscilar entre tres y

siete.

• Con solamente una o dos categorías, es más difícil

matizar en qué grado el alumno realiza la práctica

correctamente.

• Por encima de siete categorías, se hace pesada y

laboriosa la labor de evaluación. Además, cuando el número

de categorías es muy elevado, la distinción entre ellas se

hace difícil, es más complicado delimitarlas claramente; por

ejemplo, es más difícil calificar entre 6,25 y 6,35 que

hacerlo entre 2 y 5.

• Habitualmente, un número de cinco categorías es

suficiente y garantiza la idoneidad de la escala.

2.2.2. Establecer listas de cotejo

Concepto y aplicación de las listas de cotejo

Las listas de cotejo son aparentemente semejantes a las escalas de

calificación. La diferencia entre ambas estriba en que mientras en la

escala de clasificación hay que indicar el grado en que se produce un

comportamiento, en la lista de cotejo se pide un sencillo juicio de sí o

no, es decir, si la característica por observar se produce o no.

La lista de cotejo es útil para evaluar las destrezas. Éstas a su vez,

pueden dividirse en una serie de actos específicos claramente definidos.

Cada uno de ellos se resuelve en la lista con un ítem o pregunta; por eso

se llaman listas, ya que se forma una relación o conjunto ordenado de

preguntas que el evaluador debe responder observando al alumno en su

práctica.

Las listas de cotejo son muy útiles para:

− Evaluar productos terminados, siempre que pueda evaluarse por

la sola presencia o ausencia de elementos. En este caso, los

indicadores consistirán en definir las características que debe

poseer el producto terminado y verificar en el momento de la

evaluación si posee o no dichas características.




− Evaluar contenidos actitudinales; para ello se establecen cuadros

de doble entrada, con el listado de las conductas significativas en

un eje y el listado de los alumnos en el otro.

Criterios de elaboración y uso de las listas de cotejo.

Utilizar las listas de cotejo únicamente para evaluar aquellas

actuaciones o productos que admiten distinciones dicotómicas

(del tipo Sí/No) para evaluar de forma absoluta. Recordemos

que para evaluar el grado habría que utilizar escalas de

calificación.

Redactar un ítem o pregunta para cada detalle comprendido en

la ejecución o en el producto que se va a evaluar. La relación de

detalles se logra basándose en un análisis hecho por un experto

de la materia que se va a evaluar.

Tener en cuenta para la puntuación el valor positivo o negativo

de cada ítem.

Colocar las preguntas en orden consecutivo de acuerdo con la

actuación que se va a evaluar.

Añadir a la lista aquellos actos que representen errores

comunes, siempre que estén limitados en número y puedan

identificarse claramente.

Ordenar las conductas en orden tal y como se espera que

ocurran en el tiempo. Por ejemplo: primero, cortar la madera,

segundo, lijarla, tercero, pintarla...

Redactar los ítems en positivo o negativo; esto se tendrá en

cuenta para el momento de la puntuación, ya que de otra

manera la calificación podría variar.

2.2.3. Elaborar hojas de evaluación de prácticas

Concepto y aplicación de las hojas de evaluación

La hoja de evaluación de prácticas es un instrumento que sirve

principalmente para registrar información y resultados derivados de la

realización de una prueba práctica de ejecución.

Este instrumento puede considerarse como una integración de las

escalas de calificación y las listas de cotejo, en la medida en que trata

de calificar una serie de operaciones que en unos casos se presentan en

forma de grados (escalas) y en otros en forma dicotómica (listas de Sí o

No). Resulta el procedimiento más adecuado para objetivizar las

evaluaciones prácticas en los cursos de formación para el empleo que no

pueden realizarse con pruebas escritas.

Estas hojas consisten habitualmente en un cuadro de doble entrada

donde se relacionan las actividades a evaluar (es decir, aquellas que van

a constituir el desarrollo de la prueba práctica) con el conjunto de




factores (exactitud, acabado, etcétera), en los que se describen los

criterios de calificación.

Cada tarea tiene que tener una

ponderación adecuada en función de

la importancia que tengan dentro

del conjunto de la práctica. Y cada

factor por evaluar en la realización

de las mismas tendrá su

correspondiente escala de

calificación.

Ventajas e inconvenientes del uso de indicadores

Las principales ventajas e inconvenientes que podemos encontrar con el

uso de los instrumentos basados en indicadores, según De Miguel

(1995) son :

Ventajas:

Aportan información válida, verificable y relativamente neutral.

Posibilitan establecer comparaciones en función de diversos

criterios.

Permiten que los juicios de valor-valoraciones- se apoyen sobre

datos bastante objetivos.

Facilitan el consenso entre la audiencia implicada.

Otorgan credibilidad a la toma de decisiones

Añaden transparencia a todo el proceso evaluador.

Inconvenientes:

Con frecuencia se elaboran a partir de modelos teóricos muy

sencillos por lo que el indicador ofrece una información muy

simple y limitada.

En algunos casos se introducen sesgos en la evaluación por

diversas razones.

Habitualmente existen problemas en la recogida y análisis de los

datos, especialmente los referidos al nivel de agregación, lo que

cuestiona la objetividad y viabilidad del indicador.

La falta de homogeneidad en los criterios impide obtener

medidas comparables.

Problemas derivados de sus costos y ámbito de aplicación

frecuentemente determinan que muchos indicadores se utilicen

de forma distorsionada.

Pueden orientar toda la ejecución de los programas con el fin de

alcanzar los indicadores y alterar, también, la toma de

decisiones.

Criterios de elaboración de hojas de evaluación de prácticas

Describir los objetivos, conductas, actividades, aspectos

observables, productos o tareas que se pretenden evaluar con

la prueba práctica.




Establecer el número y tipo de prácticas que se van a

realizar.

Ponderar las prácticas en función de la importancia que

tengan dentro del conjunto de la prueba profesional.

Determinar, de acuerdo con esta ponderación, la puntuación

máxima alcanzable y la mínima exigible. Al final, la puntuación

de cada hoja de prácticas debe estar en relación con la

importancia de la misma, de ahí que dos prácticas de distinta

importancia no deban de pesar lo mismo en la nota final.

Establecer una lista de operaciones significativas y

observables que constituyan el apartado de actividades.

Pormenorizar una serie de factores relacionados con la

práctica, bajo los que se medirá cada actividad, aspecto o

producto considerado. Estos factores serán relevantes para cada

caso y estarán definidos claramente, (exactitud, precisión,

método de trabajo, autonomía, etcétera), de manera que no se

presten a interpretaciones subjetivas.

Describir el significado de cada uno de esos factores dentro de la

prueba.

Dar instrucciones claras y precisas sobre el procedimiento de

calificación de cada uno de los apartados, así como de la

calificación total de la prueba.

Han de precisarse también las instrucciones específicas sobre las

condiciones de aplicación de la prueba (por ejemplo si es de

realización individual, si el máximo son dos alumnos, si el motor

está en marcha…).

Adjuntar lista de material necesario para la realización de la

prueba.

Planteamiento de las hojas de evaluación

Teniendo en cuenta el rendimiento que se pretende evaluar con estas

pruebas, conviene saber que se pueden plantear en tres etapas:

Que identifique o reconozca la adecuación de un

procedimiento, el uso adecuado de una herramienta, defina un

concepto, etcétera.

Que aplique una tarea en condiciones simuladas a pequeña

escala. Aquí el alumno debe mostrar cómo ejecutaría

movimientos, actividades y operaciones como si fueran reales,

sea en modelos construidos a escala o sin ellos. En otros casos,

se pide la ejecución de alguna actividad que implique actividad o

destreza, como por ejemplo, un trabajo de taller o el manejo de

maquinaria.




Que ejecute o lleve a cabo una actividad que represente una

tarea profesional, vinculada a los objetivos de aprendizaje que

deben evaluarse. Que haga un producto completo resultado de

una ejecución. En este caso se selecciona una muestra

representativa de una tarea o conjunto de tareas que

constituyan una prueba profesional equivalente o transferible a

una situación real de trabajo. Si el alumno realiza

adecuadamente las operaciones de esa muestra de trabajo, se

interpretará que es capaz de resolver todas las demás

eficazmente.

Factores para el diseño de una hoja de evaluación

A continuación se incluyen una serie de factores que conviene tener en

cuenta al diseñar una hoja de evaluación de prácticas:

Exactitud o precisión. Implica el uso de materiales en

proporciones correctas, realizar cálculos sin error y obtener

medidas que se ajusten a las establecidas.

Destreza. Supone demostrar habilidades psicomotoras en el

manejo de instrumentos, manipulación de máquinas o aparatos.

Secuencialidad. Significa la ejecución de distintas operaciones

en el orden establecido.

Tiempo. Valora la rapidez de ejecución, desarrollando la tarea

en el tiempo estimado.

Organización. Referido a la planificación previa a la ejecución,

a la previsión de los elementos necesarios (instrumentos,

equipo), de modo que se facilite el trabajo ordenado, el cuidado

del equipo y el aprovechamiento del material.

Adecuación de instrumentos y materiales, si se utilizan.

Ajuste a las normas de seguridad e higiene. Desarrollo de

las actividades aplicando las normas que en este sentido se

hayan determinado.



UNIDAD 2.3. ELABORACIÓN DE PRUEBAS PARA LA EVALUACIÓN DE ACTITUDES

Módulo 2


Evaluación

Unidad 2.1.


objetivas

Unidad 2.2.



Unidad 2.3.


de actitudes

Unidad 2.4.



2.1.1.

Plantear pruebas de

evaluación

2.1.2.


de selección

2.1.3.


2.2.1.


calificación

2.2.2.


2.2.3.


de prácticas

2.4.1.



2.4.2.


validez

2.4.3.

Determinar otras


2.3.1.


evaluación

2.3.2.



Módulo 2


Evaluación

Unidad 2.1.


objetivas

Unidad 2.2.



Unidad 2.3.


de actitudes

Unidad 2.4.



2.1.1.

Plantear pruebas de

evaluación

2.1.2.


de selección

2.1.3.


2.2.1.


calificación

2.2.3.

Elaborar hojas de evaluación

de prácticas

2.2.2.


2.3.3.


descripción


2.3. ELABORACIÓN DE PRUEBAS PARA LA EVALUACIÓN DE ACTITUDES


2.3. Elaboración de pruebas de evaluación de actitudes

Evaluar las competencias a las que se refieren las actitudes, es bastante

difícil, por lo subjetivo que resulta a veces decir si un alumno muestra o

no tal actitud y en qué grado lo hace. Por ejemplo, es complicado

evaluar si una persona muestra una actitud favorable al trabajo en

equipo, algo que sin embargo es fundamental para saber cómo se

comportará en cuando llegue a su puesto de trabajo real.

Para evitar esa subjetividad, existen algunos tipos de pruebas, como son

las entrevistas, las técnicas de observación y las técnicas descriptivas,

instrumentos que se utilizan fundamentalmente para la evaluación

formativa y la orientación del alumno.

2.3.1. Entrevistas de evaluación

Evaluación de competencias socioparticipativas y personales.

Las competencias socioparticipativas hacen referencia al hecho de saber

colaborar con otras personas de forma constructiva, y a saber participar

en la organización del trabajo y de su entorno (saber estar).

Si a estas competencias les incorporamos las personales, tendremos

competencias que nos servirán para evaluar actitudes, competencias

que nos interesa conocer por la implicación de las actividades personales

y profesionales en el buen desempeño de una profesión, y cuya

formulación es similar a la mayor parte de las especialidades laborales.

Los instrumentos para evaluar las actitudes son:

Enlaces

Progresos en la evaluación de actitudes relacionadas con la ciencia

mediante el cuestionario de opiniones (Organización de Estados

Iberoamericanos).

http://www.oei.es/salactsi/acevedo6.htm

Tipos de entrevistas

Es una técnica cualitativa de recogida de información muy utilizada en

procesos de evaluación y orientación profesional. Mediante la entrevista,

se pregunta a los alumnos por cuestiones que puedan indicar datos

sobre sus comportamientos, actitudes, intereses, expectativas y

motivaciones relacionadas con las competencias profesionales que deben

alcanzar. Para que un cuestionario de estas características sea

evaluable, se deben definir los criterios de evaluación a aplicar en la

información recogida. Las entrevistas pueden realizarse de forma

individual o en grupo.

Dependiendo del grado de estructuración en su diseño y del carácter de

la información que se desea obtener, el tipo de entrevistas posible es

muy variado:




Entrevistas abiertas. Las preguntas no están

predeterminadas, sólo existe una idea más o menos de lo que

queremos conseguir, con lo cual corremos el peligro de que la

conversación derive y no obtengamos la información que

buscamos.

Entrevistas semiestructuradas. Están preparadas, pero

tienen un guión abierto que permite que el formador pueda

improvisar en un momento dado en función de la información

que recibe en tiempo real del alumno. El orden puede saltarse

y pueden dejarse de lado algunas preguntas e incorporarse

otras.

Entrevistas estructuradas. Están previamente determinadas,

con un guión que recoge todas y cada una de las preguntas

que queremos formular, en función de la información que

precisemos.

Entrevistas en profundidad. Son mucho más exhaustivas

que las estructuradas, afinando mucho más en las preguntas y

repitiéndolas con formulaciones distintas, para poder ahondar

en temas clave.

Utilidad de la entrevista de evaluación

Comunicación directa: se establece una comunicación directa

entre entrevistado y entrevistador que posibilita la

retroalimentación, siendo necesario disponer de un espacio

físico y un tiempo de realización adecuados. Esto limita su uso

generalizado como técnica de recogida de información: las

acciones formativas tienen una duración reducida, un número

elevado de alumnos, o faltan espacios adecuados para

reunirse.

Tipo de información obtenida: el entrevistado contesta a las

preguntas con su propio discurso, aportando una información




muy abierta, rica en matices y que requiere un análisis

laborioso y pormenorizado por parte del formador.

El guión previo: necesario para la organización y

sistematización de la información. Salvo en el caso de la

entrevista abierta, en la que más que un guión partiríamos de

una idea, las demás entrevistas precisan de un guión que

recoja previamente los aspectos que se quieren tratar. El guión

debe organizarse de tal modo que se dé pie a la reflexión y a la

elaboración, y dejando margen para la comunicación

espontánea.

Técnica complementaria: la entrevista en la evaluación de

las actitudes debe contemplarse como una técnica

complementaria en la obtención de información por parte del

formador sobre las opiniones del alumno respecto a su proceso

de aprendizaje, como su grado de motivación, su interés por la

especialidad que estudia, los puntos fuertes y débiles en su

proceso de aprendizaje o cómo ve el desarrollo del programa.

Periodicidad: el número de entrevistas dependerá de la

necesidad de obtener información complementaria sobre

procesos de aprendizaje a los que sea difícil acceder mediante

otras técnicas. Puede quedar limitada a casos particulares,

realizarse periódicamente a determinados miembros del grupo,

o a todo el grupo si se considera necesario.

Aplicaciones de la entrevista

Además de su utilidad para evaluar actitudes, el formador se

entrevistará con los alumnos por iniciativa de éstos o de él mismo, para:

Asuntos relativos a la marcha del propio alumno.

Necesidades de orientación.

Dificultades de aprendizaje.

Contraste de puntos de vista.

Funcionamiento de las clases: necesidades vinculadas al

material, asistencia de alumnos, cuestiones pedagógicas,

etcétera.

Pautas generales de elaboración de la entrevista

Identificación de los temas o aspectos sobre los que se desea

transmitir u obtener información.

Elaboración del guión de la entrevista.

Diseño de la hoja de registro de la información donde se

tomará nota de la intención de la entrevista y los resultados.

Planificación de la realización de la entrevista teniendo en

cuenta el espacio físico donde va a desarrollarse, el tiempo

aproximado de duración, el número de individuos entrevistados

y la forma de registrar la información (transcripción o

grabación).




Finalizada la entrevista, utilizaremos la pertinente hoja de registro para

analizar la información y anotar las conclusiones a las que lleguemos.

2.3.2. Técnicas de observación

Mediante esta técnica se observan determinadas conductas establecidas

en los criterios de evaluación. Es una técnica cualitativa y se aplica de

forma directa y continua a lo largo del proceso formativo. Para dotar de

mayor objetividad a la observación del tutor, se aconseja el uso de

instrumentos de registro, como listas de cotejo o escalas de calificación.

En el caso de la formación para el empleo, interesa observar ciertos

comportamientos de los alumnos, como pueden ser su actitud

cooperativa, constructiva, participativa, su capacidad de trabajo

individual y en equipo, o sus relaciones informales. Es decir, todo

aquello que pueda dar pistas de la actitud de los alumnos ante el mundo

del trabajo.

Desde un punto de vista metodológico, es conveniente que la

observación sea directa, continuada y sistemática para garantizar su

rigor. Por su parte, las observaciones aisladas u ocasionales pueden

encerrar algún valor, pero carecen de rigor, objetividad y cientificidad.

Para que una observación proporcione datos válidos y fiables, debemos

partir de un diseño programado y planificado, aunque flexible.

Actitudes objeto de observación

Las principales actitudes que pueden evaluarse observando los

comportamientos del alumno son: adaptabilidad, comunicación,

iniciativa, organización, persistencia, responsabilidad y trabajo en

equipo.




2.3.3. Técnicas descriptivas

Si la observación es una técnica estructurada y

sistemática, las técnicas descriptivas son más

abiertas. Mediante esta técnica se registra aquello

que llama la atención sobre la actitud de los

alumnos. Por ejemplo, durante la realización de una

práctica que consiste en pintar por equipos una

pared, el formador anota en un cuaderno qué tipo de

relaciones y comentarios muestran los alumnos. De esta forma, puede

evaluar las actitudes hacia el trabajo en equipo. Proporcionan una

información muy cualitativa y completa, pero también subjetiva y menos

comparable. Existen principalmente dos tipos: diarios y anecdotarios.

Diarios

Es la técnica más utilizada. El formador relata en fichas la descripción de

los acontecimientos que considera más significativos, intercalando, si lo

considera oportuno, valoraciones, pensamientos o reflexiones. Lo

aconsejable al trabajar con diarios es cotejarlos, es decir, que exista la




posibilidad de contraste. Sería muy provechoso contar con unos diarios

elaborados por varios formadores.

Anecdotarios

Recogen de forma episódica los hechos más sobresalientes que se

producen en el desarrollo de una determinada acción relativa al campo

de aptitudes, actitudes, intereses, reacciones... Se relatan las acciones

que se consideran relevantes, sin opiniones personales, es decir,

recabando solo los hechos. Cada anécdota debe plasmarse en una ficha.

Estas fichas pueden ser agrupadas y organizadas en los

correspondientes archivos por personas, por tipo de conducta, por

fechas, etcétera. Un documento muy valioso puede ser el registro

acumulativo por personas. En él se registran de forma resumida

acontecimientos particulares. Por ejemplo:

Registro acumulativo

En los anecdotarios partimos de una estructura predefinida siguiendo un

esquema tipo que puede variar según nuestras necesidades. Tienen la

ventaja de poderse comparar varias personas entre sí sujetos, e incluso

permiten cuantificar de alguna forma las actitudes (como número de

veces que muestra tal actitud o tal otra).

Se recomienda utilizar estas técnicas con las siguientes consideraciones:

- Establecer a priori aquello que se quiere registrar.

- Destacar aspectos tanto positivos como negativos del alumno.

- Observar de forma periódica al alumno y detectar las necesidades

que pueda presentar en el proceso.

- Registrar el hecho tan pronto como dé lugar.

- Registrar la frecuencia de la conducta anotada para poderla

considerar representativa o no.



UNIDAD 2.4. CARACTERISTICAS TÉCNICAS DE LAS PRUEBAS. EVALUAR LA CALIDAD

Módulo 2


Evaluación

Unidad 2.1.


objetivas

Unidad 2.2.



Unidad 2.3.


de actitudes

Unidad 2.4.



2.1.1.

Plantear pruebas de

evaluación

2.1.2.


de selección

2.1.3.


2.2.1.


calificación

2.2.2.


2.2.3.


de prácticas

2.2.1.


calificación

2.2.3.

Elaborar hojas de evaluación

de prácticas

2.2.2.


2.4.1.



2.4.2.


validez

2.4.3.

Determinar otras


2.3.1.


evaluación

2.3.2.



Módulo 2


Evaluación

Unidad 2.1.


objetivas

Unidad 2.2.



Unidad 2.3.


de actitudes

Unidad 2.4.



2.1.1.

Plantear pruebas de

evaluación

2.1.2.


de selección

2.1.3.


2.3.3.


descripción


2.4. CARACTERÍSICAS TÉCNICAS DE LAS PRUEBAS: EVALUAR LA CALIDAD DE LA FORMACIÓN


2.4. Establecer las características técnicas de las pruebas.

Introducimos este último apartado sobre las características técnicas de

las pruebas de evaluación y lo importante que es tenerlas en cuenta en

el momento de diseñar pruebas. Estas características garantizan su nivel

de calidad. Si una prueba no cumple con estas características no sirve

como instrumento de evaluación, aunque sus preguntas correspondan

perfectamente con los contenidos estudiados. Y viceversa.

Las características más importantes son el índice de discriminación, el de

dificultad, la fiabilidad y la validez.

2.4.1. Calcular los índices de discriminación y dificultad

La efectividad de las pruebas

El análisis de las preguntas de una prueba de evaluación es una tarea

imprescindible para poder conocer, de manera genérica, la efectividad

real de la formación; y de manera particular, la eficacia de los

instrumentos utilizados en la prueba de evaluación. Este análisis

formaría parte del conjunto de operaciones que se realizan en la

evaluación de acciones formativas.

No hay que olvidar que, cuando se trata de elaborar un instrumento que

pretende medir los conocimientos y destrezas para poder practicar una

determinada ocupación, el punto de partida debe ser el examen

detallado de las características y actividades que suponen dicha

ocupación. Una vez realizado este análisis, se derivarán del mismo los

distintos objetivos para la formación.

Así pues, contando con objetivos correctamente formulados y

sistematizados, deberemos seleccionar los contenidos más apropiados.

De este modo habremos conseguido elaborar el programa del curso.

Definidos los objetivos y determinados los contenidos, procederemos a

su sistematización y jerarquización, para la elaboración de las diferentes

pruebas de evaluación.

Ahora nos vamos a ocupar de los objetivos del análisis de las respuestas

de los alumnos a cada una de las preguntas, y de las técnicas de

análisis, como procedimientos que cumplen estos objetivos.

Objetivos del análisis de las respuestas.

Proporcionar información sobre el logro de los diferentes

objetivos del programa. Por ejemplo, si se registran más aciertos

en las preguntas relacionadas con el conocimiento de hechos

específicos, o en las relacionadas con el análisis.

Estimar la dificultad de cada una de las preguntas. Por ejemplo,

algunas preguntas han sido tan fáciles que las ha contestado el

95% de los alumnos, y otras tan difíciles que sólo obtuvieron el

3% de respuestas correctas.

Estimar la discriminación de cada pregunta entre los alumnos de

más nivel y los de menor nivel. Por ejemplo, discriminará mejor

la pregunta que tiene mayor porcentaje de aciertos entre los




alumnos con mayor nivel que entre los menos preparados, que

otra que fue acertada por un porcentaje equivalente de ambos

grupos.

Determinar criterios más racionales para la concesión de

calificaciones. Por ejemplo, ¿podrán incidir en la calificación

preguntas respondidas por el 100% de los alumnos?

Finalmente, conviene tener en cuenta que cuando la mayoría de

los alumnos fracasa en una prueba, puede que sea necesario

replantearla completamente.

Técnicas de análisis

Indice de discriminación Indice de dificultad

En qué medida una pregunta el

válida para diferenciar entro los

alumnos de alto y de bajo nivel

La proporción entre los alumnos

que contestan correctamente a una

pregunta y el número total de

alumnos que realizan la prueba

Indice de discriminación

Una prueba posee discriminación cuando diferencia correctamente los

distintos niveles de rendimiento de los alumnos. Así pues, el índice de

discriminación (dc) indica en qué medida una pregunta es válida para

discriminar o diferenciar entre los alumnos de alto y bajo nivel.

Por ello, discriminarán mejor las pruebas con preguntas con mayor

porcentaje de aciertos entre los alumnos de mayor nivel que entre los de

menor nivel. Y discriminarán peor las pruebas con preguntas acertadas

en un porcentaje similar por alumnos de mayor y menor nivel.

Para obtener este índice se separa, por una parte, el 27% de los

alumnos que han obtenido las calificaciones más altas en la totalidad de

la prueba producto de nuestra evaluación; y, por otra, el 27% de los que

han obtenido las calificaciones más bajas. El 46% de alumnos restante

no se utiliza para el cálculo del dc.

En la siguiente tabla puedes ver el significado de los valores del índice

de discriminación.




El porcentaje ideal de preguntas en una prueba, en virtud de su índice

de discriminación, sería:

La discriminación está estrechamente relacionada con la desviación

típica de una prueba, ya que a mayor desviación típica, mayor

discriminación y viceversa. Por ello, si las preguntas discriminan muy

poco entre alumnos de alto y bajo nivel, la desviación típica será

pequeña, y viceversa.

El concepto de desviación típica se refiere a la desviación habitual y

repetida (el porcentaje cuantificado que se sale de la norma),

contemplada en los procesos de medición e identificada gracias a

operaciones estadísticas.

Índice de dificultad.

El índice de dificultad (df) expresa la proporción entre los alumnos que

contestan correctamente a una pregunta y el número total de alumnos

que realizan la prueba.

Existen distintas formulas para la obtención del índice de dificultad, la

más sencilla es la siguiente:

Por ejemplo, si en un grupo de 30 alumnos una pregunta la contestan

bien 12, su índice de dificultad será:

La siguiente tabla ofrece una interpretación de los índices de dificultad.

Imaginemos que una pregunta ha sido contestada bien por 14 alumnos

de 15. Intuitivamente la podemos calificar de muy fácil. Pero ¿y si

hubiese 12 respuestas correctas? ¿Seguiría siendo muy fácil? El índice

de dificultad nos permite precisar esta intuición: su df es de 0,80

(12/15) y, por tanto, la podemos calificar de relativamente fácil, pero no

de muy fácil.

Para una mejor comparación e interpretación, puede utilizarse también

la siguiente tabla:




Para obtener el porcentaje de alumnos que supera una pregunta, basta

con multiplicar por 100 el número de aciertos a dicha pregunta, y

dividirlo entre el número total de alumnos que realiza la prueba:

Por ejemplo, una pregunta de una prueba de evaluación ha sido

contestada por 16 alumnos de un grupo total de 22. El porcentaje de

aciertos será:

Por tanto (ver tabla anterior), sería una pregunta relativamente fácil.

La medición de los conocimientos que realiza una prueba de evaluación

es más precisa cuando todas sus preguntas poseen un grado de

dificultad aproximadamente similar.

Se puede afirmar que las preguntas que poseen una dificultad media

(las contestadas por el 40% a 60% de los alumnos), son las que mejor

discriminan entre alumnos buenos, mediocres y deficientes, y además

aumentan la fiabilidad de la prueba.

De ahí que, aquellas preguntas que aparecen como defectuosas en las

tablas anteriores (muy fáciles, poca discriminación, etcétera), deban ser

revisadas para averiguar las causas de su deficiencia. Es posible que

ésta sea la tarea más importante del análisis de las preguntas, y además

uno de los principios fundamentales de la evaluación formativa.

2.4.2. Verificar la fiabilidad y la validez

Cualquier tipo de prueba que tenga como finalidad medir resultados del

aprendizaje debe tener una serie de características que garanticen su

nivel de calidad, con el fin de cumplir la función para la que ha sido

destinada. La carencia o deficiencia de tales características puede llevar

a la invalidación total o parcial de una prueba como instrumento de

evaluación.




Concepto de fiabilidad

Las puntuaciones de una prueba son fiables cuando aplicadas a los

mismos alumnos en ocasiones diversas, producen resultados similares.

Lógicamente, las situaciones (motivación, cansancio, hora, lugar...) de

las distintas oportunidades en que se aplique la prueba deben ser del

mismo tipo.

Factores que favorecen la fiabilidad

Los factores que favorecen la fiabilidad de una prueba son:

Número de preguntas (ítems) incluidas. A mayor número de

preguntas, mayor fiabilidad de la prueba, aunque en cada caso

hay un límite, a partir del cual, por mucho que se incrementen

las preguntas la fiabilidad no aumenta apenas.

Grado de homogeneidad de las preguntas. Cuanto más

homogéneas sean las preguntas (preguntas que se refieran a

un tema), más aumentará el grado de fiabilidad.

Grado de discriminación de los ítems. A mayor capacidad de

un ítem para discriminar los distintos niveles de rendimiento de

un alumno, mayor será la fiabilidad de la prueba.

Grado de dificultad de la prueba. Los ítems o preguntas de

dificultad media otorgan mayor fiabilidad a una prueba.

Objetividad de las puntuaciones. Cuanto menos influya el

juicio personal del examinador en las puntuaciones, mayor será

la fiabilidad. Tiempo previsto. Cuanto mayor es el tiempo

previsto como necesario para realizar un examen, mayor

fiabilidad.

Respuesta correcta por azar. A más alta probabilidad de

obtener una respuesta correcta por azar, más baja fiabilidad.

Por ello, conviene desechar las preguntas con solamente dos

posibles opciones de respuesta (50% de posibilidades de

responder correctamente al azar) y, al menos, que tengan tres

opciones (33,3% de posibilidades de responder correctamente

al azar)

Contenido de las preguntas. Las preguntas de contenido

emocional afectan negativamente a la fiabilidad.

Disposición de los alumnos. La adversa disposición mental

de los alumnos, la falta de motivación o la mala interpretación

de las instrucciones de la prueba, disminuye la fiabilidad.

De todos estos factores que influyen en la fiabilidad, a continuación

vamos a desgranar los referidos a la dificultad, objetividad y tiempo, en

la medida en que se consideran características a tener en cuenta en el

diseño de las pruebas de evaluación.




Concepto y tipos de validez

La validez hace referencia al grado de precisión con el que una prueba

mide lo que se propone medir.

La primera condición necesaria para que una prueba sea válida es que

posea un grado adecuado de fiabilidad. Para ser válido un instrumento

necesita ser fiable, pero puede ser fiable sin ser necesariamente válido.

La validez puede ser de tres tipos: predictiva, de contenido y

concurrente.

Validez predictiva

Es la medida en que una prueba puede pronosticar algo para el futuro.

Un procedimiento válido para averiguar la validez predictiva,

continuando con el mismo ejemplo, sería el siguiente:

Enlaces

Validez del protocolo de evaluación del uso inapropiado de la

hospitalización (Medicina clínica).

http://www.uv.es/~docmed/documed/documed/668.html

Validez de contenido

Esta validez se determina observando detenidamente el contenido de la

prueba y juzgando el grado en que verdaderamente mide los objetivos

de un curso o unidad didáctica. Es decir, se trata de comprobar si el

contenido de la prueba es representativo de la materia que se ha

impartido en el curso.

El procedimiento para lograr este tipo de validez consiste en que el autor

o autores de la prueba determinen su contenido mediante un análisis

profundo de la materia y la consulta con otros expertos. Cuantos más y

mejores expertos se consulten, más difícil será el caer en arbitrariedades

y, por tanto, más validez de contenido tendrá la prueba.




Validez concurrente

Consiste en verificar la validez de una prueba mediante su correlación

con otra que se supone que mide los mismos conocimientos y que tiene

a su vez una validez reconocida.

Recordemos que para ser válido un instrumento necesita ser fiable. En

general, la validez de una prueba es directamente proporcional a su

fiabilidad. Pero existen excepciones, ya que una prueba muy

heterogénea en sus preguntas puede tener poca fiabilidad (consistencia

interna), y sin embargo gran validez por la dificultad y poder

discriminatorio de sus preguntas o ítems.

2.4.3. Determinar otras características técnicas

La objetividad, la dificultad y el tiempo son factores que influyen en la

fiabilidad, y que ahora vamos a ver con más detenimiento junto al resto

de características técnicas de las pruebas de evaluación:

representatividad, adecuación a lo enseñado y practicidad.

Objetividad

Cuando a una prueba se le asigna una puntuación independientemente

del juicio de quien la corrige, podemos decir que se la ha calificado

objetivamente. Si una prueba no es objetiva es muy difícil que sea

fiable. En general los ítems que requieren la selección de una respuesta

que sea única e indiscutible son objetivos. Debe procurarse que la

selección de ítems que realice el docente sea lo más objetiva posible.

Esto se consigue si los ítems que abarcan los contenidos posibles de la

materia que se va a evaluar se extraen de una muestra aleatoria,

teniendo todos la misma posibilidad de ser elegidos.

Dificultad media

En general, una prueba de dificultad media está mejor diseñada que otra

que carezca de esta característica. Está comprobado estadísticamente

que si la dificultad es media podrá ser superada por algo más de la

mitad de los examinados.

La mayor o menor dificultad de la prueba viene dada por las oscilaciones

de la media de los alumnos que la superan. En todo caso, la dificultad no

siempre es una característica de eficacia de una prueba, ya que también

hay que considerar el tipo de alumnos y el tipo de materia.

Adecuación al tiempo estipulado

Se considerará bien planeada con respecto al tiempo una prueba que

sea resuelta por más del 90% de los examinados en el plazo establecido

previamente. Esta norma, no obstante, sólo sirve para verificar la

precisión de las previsiones efectuadas con respecto a la duración del

examen.




De cualquier modo, no deben imponerse limitaciones innecesarias en el

tiempo de una prueba, sólo las derivadas de razones administrativas o

del cansancio de los alumnos.

Representatividad

Una prueba es representativa cuando refleja fielmente el grado de

consecución de los objetivos propuestos. Es frecuente que al diseñar una

prueba de evaluación olvidemos el grado de importancia de cada uno de

los objetivos programados, entonces la prueba resulta más

representativa de unos objetivos que de otros. Utilizando la Taxonomía

de Bloom, el patrón de representatividad en las pruebas de evaluación

es de 40% de ítems pertenecientes al campo de los conocimientos, y de

un 60% al sector de las capacidades intelectuales.

Adecuación a la enseñanza

Cuando las respuestas que da un alumno a una prueba son producto de

lo enseñado por el formador, diremos que tal prueba se adecua a lo

estrictamente enseñado. Éste es un factor que hay que tener en cuenta,

ya que frecuentemente aparecen ítems que tienen una relación indirecta

con lo enseñado en clase, y sin embargo se excluyen otros directamente

relacionados con aspectos fundamentales del tema impartido. Las

pruebas deben contener ítems que se limiten a comprobar lo enseñado.

Practicidad

Una prueba, además de ser eficaz, debe reunir una serie de

características que hagan que sea práctica y funcional. Estas

características se refieren al tiempo empleado en su elaboración, coste

razonable, facilidad en la corrección y puntuación, etcétera.

Así, por ejemplo, una prueba muy complicada de corregir y puntuar no

resulta práctica, ni tampoco lo sería una que requiriese largas y

complejas aclaraciones a los alumnos, o que resultase económicamente

muy cara de confeccionar o distribuir.

Otro factor que se debe considerar al diseñar una prueba de evaluación

es el anonimato del alumno, de ahí que sea aconsejable utilizar un

modelo de hojas de examen en el que se

pueda cortar la cabecera donde figuren

los datos de identificación del alumno,

dando a cada examen un número de

referencia para localizar a su autor

después de la corrección. Así se evita que

el evaluador reconozca al alumno mientras dure el proceso de

calificación.


NOTAS


__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

__________________________________________________________

Documents

Elaboración de pruebas de evaluación