Embed Size (px)
Citation preview
ID7756 Evaluación del Aprendizaje de Idiomas
Enero-Marzo 2014Prof. Yris Casart [email protected]
Procedimientos para el desarrollo de pruebas:
primera etapa
Objetivos de la presentaciónRepasar las etapas del proceso de
desarrollo de pruebas.
Exponer las actividades que forman parte de la primera etapa del proceso y sus respectivos productos.
Etapas del desarrollo de pruebas
Etapas
1. Diseño
2. Operacionalizaci
ón
3. Administración
(Bachman y Palmer, 1996)
Actividades
Descripción, definición, identificación, selección, desarrollo, asignación y
manejoSelección,
especificación yescritura
Administración, recolección,retroinformación, análisis y
archivo
Etapas del desarrollo de pruebas
Etapas•De
claración del diseño
1. Diseño
•Estructura de la prueba
•Especificaciones de las tareas
2. Operacionalizaci
ón
•Retroinformación sobre utilidad
•Puntaje de las pruebas
3. Administración
Productos
(Bachman y Palmer, 1996)
Primera etapa: el diseño
Consideraciones necesarias para establecer la correspondencia entre el desempeño en la prueba y el uso de la lengua y para asegurar que las calificaciones de la prueba serán de máxima utilidad para los propósitos establecidos. La declaración de diseño constituye la base para el desarrollo de las tareas de la prueba.
(Bachman y Palmer, 1996)
Declaración de diseñoDescripción del propósito de la prueba.Identificación, selección y descripción de
las tareas en el ámbito de uso de la lengua.Descripción de los usuarios de la lengua y
de los evaluandos.Definición del constructo a evaluar.Desarrollo de un plan para evaluar la
utilidad de la prueba.Identificación, asignación y manejo de los
recursos disponibles.(Bachman y Palmer, 1996)
Descripción del propósito de la prueba
¿Cuál debería ser el propósito principal de
la prueba?
Descripción del propósito de la pruebaHacer inferencias sobre la habilidad
lingüística de los evaluandos.Tomar decisiones:oSegún su grado de impacto (número de personas o
tipo de programa y posibilidad de revertir las decisiones).
oSegún sobre quién o qué recae la decisión: evaluandos, profesores, administradores o programas).
Investigación: oDescribir niveles de habilidad, orden de adquisición
de aspectos del conocimiento lingüístico, etc.
(Bachman y Palmer, 1996)
Sobre la toma de decisionesEs preciso demostrar que las inferencias acerca
de la habilidad lingüística son válidas para poder justificar el uso de las calificaciones de la prueba como base para la toma de decisiones.
El tipo de decisiones que se desee tomar afectará otras etapas de desarrollo de la prueba (definición de constructo y método de corrección).
La toma de decisiones depende de la calidad de la información sobre la cual se basa. Suele haber una relación con la cantidad de recursos disponibles.
(Bachman y Palmer, 1996)
Identificación, selección y descripción de las tareas en el ámbito de uso de la lenguaImportancia de este componenteProcedimiento para identificar las tareas
en el ámbito de uso de la lenguaTipos de ámbito de uso de la lenguaSelección y descripción de las tareas
Importancia de este componenteLa descripción detallada de las tareas en el
ámbito de uso de la lengua es de vital importancia para desarrollar las tareas de la prueba.
La correspondencia entre estas y aquellas permitirá generalizar las inferencias sobre la habilidad lingüística al ámbito de uso de la lengua meta.
Esta descripción también resulta útil a la hora de evaluar la utilidad de la prueba.
(Bachman y Palmer, 1996)
Procedimiento para identificar las tareas en el ámbito de uso de la lenguaAun cuando estemos familiarizados con el ámbito relevante, se recomienda un procedimiento sistemático para identificar las tareas:o Identificar e involucrar a los interesados.oDesarrollar procedimientos para recoger
información sobre las tareas.oRecoger información sobre las tareasoAnalizar las tareas con base en sus
característicasoAgrupar tareas con características similares.
(Bachman y Palmer, 1996)
Tipos de ámbito de uso de la lengua
Ámbito de la vida real: cuando el propósito de la prueba es tomar decisiones con base en el desempeño de los evaluandos en ámbitos reales. Se debe tomar en cuenta el nivel y la amplitud de la habilidad lingüística de los evaluandos.
Ámbito de instrucción de la lengua:oCuando las tareas en el ámbito de instrucción
se asemejan a las del ámbito de la vida real.oCuando las tareas no se corresponden.oCuando resulte difícil identificar el ámbito de
uso
(Bachman y Palmer, 1996)
Selección y descripción de las tareasNo todas las tareas del ámbito de uso de la
lengua son adecuadas para ser consideradas a la hora de diseñar las tareas de la prueba porque…o …no cumplen con los criterios de utilidad.o …pueden realizarse sin involucrar el uso de la
habilidad lingüística que se desea medir.o …no son apropiadas para todos los evaluandos.
Es importante contar con una descripción de las características distintivas de las tareas que sirva de “plantilla” para el diseño de las tareas de la prueba. Utilizar el marco de referencia (cap. 3)
(Bachman y Palmer, 1996)
Descripción de los usuarios de la lengua y de los evaluandos
ImportanciaRasgos a considerar
Importancia de la descripción de los evaluandosLa correspondencia entre los usuarios de la
lengua y los evaluandos incide sobre la interactividad de las tareas de la prueba tareas ± interactivas.
Las características de los evaluandos pueden incidir sobre su desempeño en la prueba y se deben considerar en el desarrollo de las tareas.
Es recomendable adoptar un enfoque sistemático que combine entrevistas, observaciones, cuestionarios, etc. para recoger información que permita elaborar la descripción de los evaluandos.
(Bachman y Palmer, 1996)
Rasgos a considerarCaracterísticas personales.Conocimiento del tema.
o Conocimientos homogéneo sobre temas específicos.o Conocimientos sobre diversos temas (no común).
Perfil y nivel de habilidad lingüísticao Descripción inicial general para adaptar la prueba al
nivel de los evaluandos.o Desempeño en diferentes tipos de tarea y en áreas
específicas de la habilidad lingüística.Posibles respuestas afectivas de los
evaluandoso Promover respuestas afectivas positivas
(Bachman y Palmer, 1996)
Definición del constructo a evaluar
Importancia y consideracionesPrograma de estudios vs. teoríaInclusión de la competencia estratégicaInclusión del conocimiento sobre el
tema
Importancia y consideraciones
Sirve de base para utilizar las calificaciones para los propósitos esperados, guía el proceso de desarrollo de la prueba, permite demostrar la validez de constructo de las interpretaciones.
La definición del constructo dependerá del tipo de inferencias que queramos hacer a partir de las calificaciones de la prueba.
Se debe especificar los componentes de la habilidad lingüística a evaluar según la situación.
(Bachman y Palmer, 1996)
Programa de estudios vs. teoría
Cuando se desea hacer inferencias sobre componentes específicos de habilidad lingüística con el fin de diagnosticar fortalezas y debilidades o evaluar el logro de objetivos en un programa de estudios, se toma el programa como punto de partida.
Cuando la prueba no está inserta dentro de un programa de estudio, se tomará como base para la definición de constructo los componentes descritos en la teoría de la habilidad lingüística.
(Bachman y Palmer, 1996)
Inclusión de la competencia estratégica
La competencia estratégica forma parte del uso de la lengua.
Puede excluirse en la definición del constructo si no se desea hacer inferencias sobre la competencia estratégica. Puede incluirse en la definición del constructo si se desea evaluar la competencia estratégica.
Esto se logra a través de las instrucciones que se le da a los evaluandos.
(Bachman y Palmer, 1996)
Hay tres opciones para definir el constructo en lo que respecta al conocimiento del tema:No se incluye en la definición del constructo.
o Evaluandos tienen conocimientos sobre temas diversos.
Se incluye en la definición del constructo.o Evaluandos con conocimientos homogéneos sobre
temas específicos.Constituyen constructos separados.
o No se tiene información sobre el tipo de conocimientos de los evaluandos pero se desea medir el conocimiento temático, además de la habilidad lingüística.
(Bachman y Palmer, 1996)
Inclusión del conocimiento del tema
Hay tres opciones para definir el constructo en lo que respecta al conocimiento del tema:No se incluye en la definición del constructo.
o Inferencias sobre las habilidades lingüísticasSe incluye en la definición del constructo.
o Inferencias acerca de la posibilidad de procesar información temática específica por medio de la lengua.
Constituyen constructos separados.o Inferencias sobre los componentes de la habilidad
lingüística y sobre áreas de conocimiento temático.
(Bachman y Palmer, 1996)
Inclusión del conocimiento del tema
Desarrollo plan para evaluar la utilidad de la prueba (Capítulo 7)
Buscar el equilibrio adecuado entre las seis cualidades.o Establecimiento de niveles mínimos
aceptables.Evaluación de la utilidad de la prueba.
o Preguntas y lista de cotejoConsideraciones para la recolección de
evidencia sobre la utilidad de la prueba.o información cualitativa y cuantitativa en cada
etapa del proceso.(Bachman y Palmer, 1996)
Identificación, asignación y manejo de los recursos disponibles (Capítulo 8)
Indentificar los recursos requeridos (humanos y materiales)
Hacer un inventario de recursos disponiblesElaborar de un plan para su asignación y
manejoo Tabla de tareas y recursoso Línea de tiempo de tareas
Proyectos de mayor vs. menor envergaduraProyectos individuales vs. en equipo(Bachman y Palmer,
1996)
ConclusionesLa etapa de diseño…involucra una gran cantidad de
actividades,implica tomar una cantidad
considerable de decisiones que no deben ser tomadas a la ligera, ya que tendrán implicaciones en etapas futuras del proceso,
es determinante para el éxito del proyecto.
Referencias
Bachman, L. and Palmer, A. (1996). Language Testing in Practice: Designing and Developing Useful Language Tests. Oxford, UK: Oxford University Press.
