Desarrollo de pruebas: visión general y especificaciones

ID7756 Evaluación del Aprendizaje de IdiomasEnero-Marzo 2014Prof. Yris Casart ycasart@usb.ve

Objetivos de la sesión Brindar una visión general del proceso de

desarrollo de pruebas.

Discutir la noción de especificaciones.

Elaborar un borrador de las especificaciones del instrumento de evaluación del proyecto individual.

Desarrollo de pruebas

•Declaración del diseño

1. Diseño

•Estructura de la prueba

•Especificaciones de las tareas

2. Operacionalización

•Retroinformación sobre utilidad

•Puntaje de las pruebas

3. Administración

(Bachman y Palmer, 1996)

Diseño de pruebas

Determinar el propósito de

la prueba

Decidir los objetivos a

evaluar

Distribuir los objetivos en

una estructura

Seleccionar tareas que

cumplan con las cualidades

Establecer ponderación, puntuación y

feedback (Brown, 2004)

Desarrollo de la prueba

Describa los objetivos

Seleccione el tipo de tareas apropiadas

Diseñe y organice las tareas

Diseñe un sistema de puntuación

(Genesee y Upshur, 1996)

Especificaciones de la pruebaDefiniciónTipos y contenidoEnfoques para su elaboración

Especificaciones de la prueba Pauta que guía la elaboración de las

preguntas y la construcción de la prueba.

Documento que sirve para establecer la validez de constructo de la prueba.

Declaración oficial sobre lo que la prueba evalúa y cómo lo evalúa.

(Alderson, Clapham & Wall, 1995)

Tipos de especificaciones

1. Especificaciones para los escritores: Contiene información detallada que guiará la escritura de la prueba.

2. Especificaciones para los validadores: Contiene la justificación teórica del contenido de la prueba, para establecer su validez.

3. Especificaciones para los usuarios de la prueba: Contiene información relevante para profesores, editoriales, etc.(Alderson, Clapham & Wall,

1995)

Especificaciones para escritores

Propósito de la prueba Tipo de aprendiz Número de secciones Situación de la lengua

meta Tipo de textos Longitud del texto Habilidades Elementos del

lenguaje

Tipo de tarea Número total de

preguntas Número de preguntas

por sección Formato de preguntas Instrucciones Criterios para la

corrección

(Alderson, Clapham & Wall, 1995)

Especificaciones para validadores

Habilidades que se intentan medir.

(Definición del constructo)

Interrelaciones entre dichas habilidades.

Métodos de evaluación utilizados.

(¿Cómo afectan la medición de las habilidades?)

Criterios de valoración.(Alderson, Clapham & Wall,

1995)

Especificaciones para usuarios

Versión simplificada y pública (syllabus) Características Utilidad y limitaciones Descripción de la población Modelos de preguntas y de pruebas Instrucciones completas Ejemplos de respuestas y su puntuación

según criterios de corrección Cómo prepararse

(Alderson, Clapham & Wall, 1995)

Especificaciones del profesor

Esquema simple, práctico e informal de la prueba que indique: Temas, objetivos y destrezas a evaluar. Formato de preguntas y respuestas. Número de secciones y de preguntas por

sección. Tiempo asignado para cada parte. Ponderación y criterios de corrección.

(Brown, 2000)

Factores a considerar

Especificacione

s

Objetivos a

evaluar

Importancia(peso

asignado a cada

objetivo)

Tipos de tarea

realizadas en el

aula

Asuntos práctico

s

Tipo de washbac

k

(Brown, 2000)

Enfoque para el diseño de pruebas de Lenguas con Fines EspecíficosIdentificar a

los interesados

Reunirlos para discutir la situación

Formar grupos

pequeños

Cada grupo elabora un

borrador de las especificaciones

Intercambian especificacio

nes

Cada grupo escribe ítems o tareas usando

especificaciones

Todos evalúan efectividad de

especificaciones y ajustes necesarios

Repiten el proceso

(Doug

las,

2

00

0)

Ventajas de este enfoque

1) El diseño de pruebas se realiza mejor en grupos.

2) Se necesita una amplia gama de experticia en el desarrollo de pruebas de LFE.

3) La elaboración de las especificaciones es un proceso iterativo

4) Las especificaciones evolucionan y cambian en la medida que se incorpora más información, experiencia y experticia.

(Douglas, 2000)

Resumen

“…the production of the test specifications document is an indispensable part of the test development process. It not only helps the test development team to focus on important considerations in test development, but also the process of producing the document requires the developers to be very precise about why they are producing the test and what is it they wish to measure. The finished document will serve as a …

Resumen

…guide for the construction of the test: it provides item writers with parameters for the production of items and tasks, and it provides scorers and raters with guidelines for their work. The specifications document is also a source of information for test users on the objective of the test and the limitations on what it measures and interpretations of test performance that may appropriately be made.”(Douglas, 2000)

Borrador de las especificaciones

Propósito de la prueba Tipo de aprendiz Número de secciones Situación de la lengua

meta Tipo de textos Longitud del texto Habilidades Elementos del

lenguaje

Tipo de tarea Número total de

preguntas Número de preguntas

por sección Formato de preguntas Instrucciones Criterios para la

corrección

(Alderson, Clapham & Wall, 1995)

ReferenciasAlderson, J. C., Clapham, C. & Wall, D. (1995).

Language Test Construction and Evaluation. Cambridge, U.K.: Cambridge University Press.

Bachman, L. & Palmer, A. (1996). Language Testing in Practice: Designing and Developing Useful Language Tests. Oxford, UK: Oxford University Press.

Douglas, D. (2000). Assessing Languages for Specific Purposes. Cambridge, U.K.: Cambridge University Press.

Genesee, F. & Upshur, J. (1996). Classroom-Based Evaluations in Second Language Education. Cambridge, U.K.: Cambridge University Press.