Utilidad de la prueba: cualidades de las pruebas

ID7756 Evaluación del Aprendizaje de IdiomasEnero-Marzo 2014Prof. Yris Casart ycasart@usb.ve

Objetivos de la sesión

•Presentar y discutir el modelo de utilidad de la prueba propuesto por Bachman y Palmer (1996).

•Revisar los principios del modelo de utilidad de la prueba.

•Analizar las nociones de confiabilidad, validez de constructo, autenticidad, interactividad, impacto, practicidad y otras.

•Examinar una situación de evaluación tomando en cuenta las cualidades de las pruebas.

Modelo de utilidad de la pruebaHerramienta de control de calidad de las pruebas.

“La cualidad más importante de una prueba es su utilidad” (p. 17). Es el aspecto más importante a considerar durante el proceso de diseño, desarrollo y administración de las pruebas.

El modelo consta de seis cualidades y tres principios básicos para su implementación.

(Bachman y Palmer, 1996)

Considerando…

1) que cada una de las cualidades contribuye a la utilidad de la prueba de una manera particular.

2) que existe una interrelación entre las cualidades de la prueba.

3) que la utilidad es producto del efecto combinado de las cualidades.

(Bachman y Palmer, 1996)

Principios fundamentales

1) Se debe maximizar la utilidad, no las cualidades.

2) Se debe evaluar el efecto combinado de las cualidades sobre la utilidad.

3) Se debe determinar el balance adecuado para cada situación. La utilidad debe ser evaluada con relación a una situación concreta.

(Bachman y Palmer, 1996)

Cualidades de las pruebas•Confiabilidad

•Validez de constructo

•Autenticidad•Interactividad•Impacto•Practicidad

(Bachman y Palmer, 1996)

Confiabilidad•Consistencia de la medición (de las

puntuaciones de la prueba).•Si la medición no es consistente, no nos da

información sobre la habilidad que deseamos medir.

•Debemos tratar de minimizar los efectos de las diferentes fuentes de inconsistencia.

•Debemos evaluar el efecto de las variaciones en las puntuaciones. (Bachman y Palmer, 1996)

Validez de constructo•En qué medida podemos interpretar las

calificaciones como indicadores del constructo (habilidad) que queremos medir.

•La posibilidad de que nuestras interpretaciones acerca de las habilidades se puedan generalizar más allá de la prueba en el ámbito de uso de la lengua objeto (TLU domain)

•La validación del constructo es un proceso cuyo propósito es demostrar la validez de nuestras interpretaciones. (Bachman y Palmer, 1996)

Autenticidad

•Grado de correspondencia entre las características de las tareas de la prueba y las de las tareas en el ámbito de uso de la lengua objeto.

•Está muy ligada a la noción de validez de constructo puesto que permite investigar en qué medida las calificaciones pueden generalizarse al ámbito de uso de la lengua objeto.

•Incide sobre la percepción de los evaluandos y puede promover una respuesta afectiva positiva o negativa.

(Bachman y Palmer, 1996)

Interactividad•En qué medida las características individuales

del evaluando están involucradas durante la realización de las tareas de la prueba.

•Es preciso que haya una interacción con el conocimiento del idioma del evaluando para poder hacer inferencias sobre su habilidad. De allí su relación con la validez de constructo.

•Al igual que la autenticidad, es una cualidad relativa, solo puede ser estimada.

(Bachman y Palmer, 1996)

Autenticidad, interactividad y validez de constructo“Authenticity, interactiveness and construct validity all depend upon how we define the construct ‘language ability’.”

(Bachman y Palmer, 1996)

Impacto

•Las consecuencias que tiene para los individuos, la sociedad y el sistema educativo el uso de las pruebas y el uso de las calificaciones.

•Al desarrollar un instrumento debemos estar conscientes de que tendrá un impacto, pero además debemos investigar en qué medida, en qué dirección (positiva o negativa) y sobre cuáles áreas específicas incide.

(Bachman y Palmer, 1996)

Practicidad•“Relación entre los recursos requeridos para el

diseño, desarrollo y uso de la prueba y los recursos disponibles para estas actividades” (p. 36).

•Tipos de recursos: humanos, materiales, tiempo.

•Solo puede determinarse en relación con el contexto específico, pero hay ciertas pruebas y tareas que requieren más o menos recursos en las diferentes etapas de su diseño y uso.

Bachman y Palmer (1996)

Cualidades de la información

Aspectos técnicos• Confiabilidad• ValidezoRelevancia de

contenidooCorrespondencia de

criteriooValidez de

constructo

“Asuntos adicionales”

• PracticidadoCostoo Tiempo (clase)o Tiempo (corrección

e interpretación de resultados)

o Perfil del administrador

oAceptabilidad(Genesee y Upshur, 1996)

Cornerstones of testingConfiabilidadValidezAutenticidadPracticidadWashback

TransparenciaSeguridad

(Coombe, Folse y Hubley, 2007)

Transparencia

Información clara y precisa de que disponen los estudiantes acerca de la evaluación. Debe incluir:•Contenido y formato.•Tiempo disponible, fecha tope.•Que deben hacer para lograr buenos resultados.•Ponderación de las preguntas•Criterios de evaluación.•Feedback útil para mejorar

(Coombe, Folse y Hubley, 2007)

Seguridad

Adopción de medidas para evitar que los estudiantes se copien o que se filtre información sobre la prueba.

No se trata de un asunto que concierne solamente a pruebas a gran escala. Desarrollar pruebas útiles consume tiempo y energía, por lo tanto es deseable poder reutilizar pruebas y otros materiales.

(Coombe, Folse y Hubley, 2007)

Conclusiones•El modelo de utilidad de la prueba propuesto por Bachman y Palmer (1996) ofrece consideraciones útiles para el diseño, adaptación, implementación, evaluación de pruebas que cumplan con el propósito para el que fueron desarrollados.

•Manejar los conceptos discutidos puede contribuir a mejorar significativamente las pruebas que realizamos, puesto que nos permiten adoptar un enfoque sistemático y práctico.

Actividad 1: Estudio de casoLea la información acerca de la prueba administrada por la Sra. Wright y el Sr. Knott y trate de identificar sus errores con relación a los fundamentos (cornerstones) de las pruebas. ¿Cómo se podrían resolver esos problemas? En un cuadro como el que se presenta a continuación, señale por lo menos 5 problemas.

Cornerstone Problema Posible Solución

Christine Coombe - Dubai Men's College - July 2013

ReferenciasBachman, L. and Palmer, A. (1996). Language

Testing in Practice: Designing and Developing Useful Language Tests. Oxford, UK: Oxford University Press.

Coombe, C., Folse. K, & Hubley, N. (2007). A Practical Guide to Assessing English Language Learners. Ann Arbor, MI: University of Michigan Press.

Genesee, F. and Upshur, J. (1996). Classroom-Based Evaluations in Second Language Education. Cambridge, U.K.: Cambridge University Press.