Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE

Universidad de Chile Vicerrectoría de Asuntos Académicos

DEMRE

La evaluación de la escritura

en PSU-Lenguaje y Comunicación:

estudios preliminares

EXPERIMENTACIONES 2006-2007DEMRE

Jorge Hernández M.Comité de Lenguaje

DEMRE

- DICIEMBRE, 2009 -

Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE

CONCEPTOS BÁSICOS

Lectura y Escritura: dos competencias fundamentales para el desempeño académico universitario.

Por lo tanto, DESARROLLO

Lectura y Escritura: resultado de Proceso de Enseñanza-Aprendizaje escolar.

Prueba de selección universitaria:debe incluir ítemes para medir estas dos competencias (validez predictiva del desempeño académico).

Habilidades Escriturales

BUEN DESEMPEÑO ACADÉMICO

Comprensión Lectora

Ingreso educación superior

Enseñanza media

Primer año universitario

BATERÍA PSU

Universidad de ChileVicerrectoría de Asuntos AcadémicosDEMRE

NEM

VALIDEZ PREDICTIVA

LENGUAJE Y COMUNICACIÓN

HISTORIA Y CIENCIAS SOCIALES

MATEMÁTICA

CIENCIAS: BIOLOGÍA, FÍSICA, QUÍMICA

ALINEADAS

MARCO CURRICULAR

Problemas: CMO no medibles con pruebas de lápiz y papel: oralidad.CMO no medibles con preguntas de selección múltiple: redacción.


2006

Inicio de estudios medición de la escritura.

Revisión bibliográfica (evaluaciones nacionales e internacionales)

Aplicación Exploratoria


Estudios DEMRE: Medición de la redacción, 1982

Conclusiones:“La medición de la redacción es un problema de gran complejidad que reside principalmente en la dificultad que preenta la definición y delimitación de los indicadores que se utilizan para realizarla (Afecta la confiabilidad).”

“La capacidad de redactar puede ser medida indirectamente evaluando conductas específicas que son sintomáticas de esa capacidad.”

“Hemos comprobado que los rasgos que suelen considerar en otros países para medir la capacidad de redactar (corrección idiomática respecto de las normas imperantes) no tienen aplicación en nuestro medio.”

Revisión bibliográfica


Muestra:

Estudiantes de cuarto medio.Elegidos al azarProporcional muestra experimental 1981.Unidad de muestreo: cursos, elegidos en forma aleatoria proporcional.

Tipo de pregunta abierta:

texto de tema libreextensión mínima de dos carillasuna hora de tiempo

Se seleccionaron aquellos textos en que predominaba el aspecto comunicativo, excluyendo literarios y de menor extensión.

Estudios DEMRE: Medición de la redacción, 1982


Producción de textos: Mediciones

PREGUNTA ABIERTA PREGUNTA CERRADAIndicadores

directos

Indicadores

indirectos

ENSAYO PLAN DE REDACCIÓN

RESPUESTA BREVE MANEJO DE CONECTORES

ELIMINACIÓN DE ORACIONES

ORDENACIÓN DE ORACIONES


Estudios internacionales: SAT II

Tipo de pregunta abierta: Ensayo.

Instrucción: Presentar y apoyar un punto de vista sobre un tema específico.

Tiempo: 25 minutos.



Además, se acompaña de una sección de escritura con tres tipos de preguntas de opción múltiple:

Corrección de oraciones (25 preguntas)Identificar errores oracionales (18 preguntas)Corrección de párrafos (6 preguntas)

El ensayo mide la capacidad de:

desarrollar un punto de vista sobre un tema presentado en un extracto.apoyar su punto de vista utilizando el razonamiento y ejemplos de su lectura, estudios, experiencias, observaciones o seguir las convenciones de la norma escrita inglesa.



Propuesta Comité LyC:

Recopilar evidencia sobre pregunta abierta.

PROPÓSITO:

Posibilidad de incluir pregunta abierta como nuevo instrumento o como un ítem que forme parte de la actual batería para incrementar la validez predictiva.

Condición: No incrementar la diferencia entre los grupos que rinden (variables).


Características teóricas de la pregunta abierta:

Pregunta de respuesta breve (10 a 20 líneas)Respuesta redactada debe corresponder a una forma textual (organización funcional discursiva v/s estructura textual).Asociada a la lectura de un texto, para controlar el “efecto” de las experiencias de vida de los grupos al momento de redactar.Vinculada a comprensión lectora, pero focalizada en la organización de ideas.Textos elegidos: literarios y no literarios.Textos de cualquier extensión, de preferencia medianos o extensos.


Experiencia Exploratoria

Forma experimental 510

Prueba de 80 preguntas cerradas, tipo PSU.

Incorporación de 2 preguntas de desarrollo asociadas a un texto que presenta preguntas cerradas.

Se solicita la redacción de dos tipos de textos: expositivo y argumentativo.

Año 2006


Temas por resolver:

Disposición de los estudiantes.

Características adecuadas del texto base.

Características textuales de la respuesta.

Variable medida.

Relación entre preguntas cerradas y abiertas.

Logística del proceso de corrección.

Año 2006


Experiencia Exploratoria

Características grupo de experimentación:

Muestra estratificada según variables de género, ubicación geográfica, dependencia y rama educacional.

Total de sujetos: 816

Estudiantes de cuarto año de enseñanza media

Elegidos al azar

Año 2006


Por género

Forma 510-2006

GéneroTotal

alumnos%

Masculino 373 45,7

Femenino 443 54,3

Total 816 100,0

Forma 510 según género.

373; 46%

443; 54%

Masculino Femenino

Forma 510-2006

Dep. educacionalTotal

alumnos%

P. Pagado 179 21,9

P. Subvencionado 389 47,7

Municipal 248 30,4

Total 816 100,0

Forma 510-2006 según dependencia educacional

179; 22%248; 30%

389; 48%

Particular PagadoParticular subvencionadoMunicipal

Por dependencia educacional


Por ubicación geográfica

Forma 510-2006

Ubicación geográfica

Total alumnos

%

R. Metropolitana 335 41,1

Otras regiones 481 58,9

Total 816 100,0

Forma 510-2006 según procedencia geográfica

335; 41%

481; 59%

Región Metropolitana

Otras regiones

Forma 510-2006

Rama educacional

Total alumnos

%

Humanístico-científica

694 85,0

Técnico profesional

122 15,0

Total 816 100,0

Forma 510-2006 según rama educacional

122; 15%

694; 85%

Humanístico-científicaTécnicoprofesional

Por Rama educacional


Proceso de corrección de preguntas abiertas:

Hojas corregidas: 1632Rúbrica HolísticaSeis indicadores: comprensión, cohesión, planteamiento de ideas, estructura discursiva, registro discursivo y ortografía.Doble corrección (consistencia 80%)Generación de sistema informático

Conclusiones:

Probar rúbrica mixta: holística- analítica.Eliminar indicador comprensión.Concepto de corrección múltiple.

Año 2006: Experiencia Exploratoria


Conclusiones obtenidas:

Buena disposición a contestar este tipo de ítem.La omisión total fue de 51 estudiantes (6,3%).Omisión de hojas: 102.Omisión pregunta A o B: 62 estudiantes.

Los textos más adecuados son expositivos y argumentativos.Puede existir diferencia entre el tipo textual de la instrucción y el tipo textual estímulo.La pregunta abierta mide una variable diferente, por lo tanto, está referida a dimensiones diferentes.

Año 2006


Conclusiones obtenidas:

Correlación puntaje pregunta abierta y el puntaje secciones de la Prueba de Lenguaje y Comunicación:

Pretest: mayor covariación se produce con Comprensión de Lectura, seguida de Plan de Redacción, Uso de Conectores y Vocabulario.

Prueba Oficial: plan de Redacción, Comprensión de Lectura, Vocabulario y Uso de Conectores.

La independencia se ratifica con los resultados del Análisis de Regresión Múltiple y del Análisis Factorial, método de Componentes Principales.

PRUEBA OFICIAL VS PREGUNTA ABIERTA. DOS FACTORESVarianza total explicada

Componente

Autovalores inicialesSumas de las saturaciones al

cuadrado de la extracciónSuma de las saturaciones al

cuadrado de la rotación

Total% de la varianza

% acumulado Total

% de la varianz

a%

acumulado Total

% de la varianz

a%

acumulado

1 2,883 57,661 57,661 2,883 57,661 57,661 2,721 54,410 54,410

2 ,878 17,558 75,218 ,878 17,558 75,218 1,040 20,808 75,218

3 ,547 10,947 86,165

4 ,435 8,700 94,866

5 ,257 5,134 100,000

Método de extracción: Análisis de Componentes principales.

Matriz de componentes rotados(a)

Indicador

Componente

1 2

L. COMPOFI ,879 ,137

REDACOFI ,835 ,156

L. VOCABOFI ,815 ,106

CONECOFI ,751

PUNTAJE P. ABIERTA

,145 ,989

Método de extracción: Análisis de componentes principales. Método de rotación: Normalización Varimax con Kaiser.a La rotación ha convergido en 3 iteraciones.

Análisis factorial

PRUEBA EXPERIMENTAL VS PREGUNTA ABIERTA. DOS FACTORESVarianza total explicada

ComponenteAutovalores iniciales

Sumas de las saturaciones al cuadrado de la extracción

Suma de las saturaciones al cuadrado de la rotación

Total% de la varianza

% acumulado Total

% de la varianza

% acumulado Total

% de la varianza

% acumulado

1 2,380 47,596 47,596 2,380 47,596 47,596 2,193 43,861 43,861

2 ,900 18,004 65,601 ,900 18,004 65,601 1,087 21,739 65,601

3 ,699 13,989 79,590

4 ,536 10,719 90,309

5 ,485 9,691 100,000

Método de extracción: Análisis de Componentes principales.

Matriz de componentes rotados(a)

IndicadorComponente

1 2

L. COMP510 ,777 ,206

L. VOCAB510 ,759 -,158

CONEC510 ,738 ,196

REDAC510 ,674 ,279

PUNTAJE P. ABIERTA

,125 ,950

Método de extracción: Análisis de componentes principales. Método de rotación: Normalización Varimax con Kaiser.a La rotación ha convergido en 3 iteraciones.

Análisis factorial


2007

Estudios y análisis de aplicación exploratoria.

Aplicación experimental dos formas: 211 y 212.

Desarrollo de soluciones logísticas.


Características de la aplicación 2007

Prueba PSU: 80 preguntas Incorporación de una pregunta abierta extensión medianaTipo de texto lectura: literarioTipo de pregunta abierta: texto argumentativo, ajustado a

estructura textual (carta)Muestra: 1105 estudiantesEstudiantes: Cuarto año de enseñanza mediaEstratificada según variables


Experiencia 2007

Proceso de corrección de preguntas abiertas:

Hojas corregidas: 636Rúbrica Mixta: holística – analítica.Cinco indicadores graduados en seis niveles.Puntaje 0, diferente de omisión.Doble corrección (consistencia 80%)Prueba de sistema informático.Validación de logística de corrección: tiempos, cantidad de

correctores, formación de correctores.

Año 2007

TEXTO ESTÍMULO

“Helena jamás volverá junto a Menelao. Un marido que para vengar su honor complica a tanta gente y a tantos dioses demuestra que tiene más amor propio que amor”.

Marco Denevi, Helena y Menelao

INSTRUCCIÓN DE ESCRITURA

1.Después de leer el Texto 1 (“Helena y Menelao” de Marco Denevi), elija a uno de los dos personajes de la narración.

2.Asumiendo el rol de Helena o Menelao, escriba una carta personal al otro personaje, donde explique, tanto su propio actuar como el del otro.

3.En la redacción debe dar cuenta del formato o estructura de la carta, es decir, indicar fecha, destinatario, saludo, cuerpo del texto y despedida. Utilice, en la redacción, un vocabulario adecuado a la situación y una organización coherente de las ideas.

25·Agosto·07

*Grecia

Querido Menelao:

Aún no comprendo el actuar que haz conllevado desde que nuestra relación comenzó a perdurar. Aún no comprendo porqué ese afán de priorizar el honor, tus batallas, antes que tu amada.

Quiero que comprendas que yo siempre te he amado, en mi corazón perdurarás por siempre, pero esto; no puede continuar, se me escapó de las manos, tu actuar me rompe el corazón y por este motivo; no te amaré jamás, me haz dañado y tú por tu parte sigues amandote a ti mismo.

Ojalá comprendas.

Se despide Atte,

Helena.

Construcciones sin sentido. Realizó una selección lexical “ultracorrecta” (indicador Utilización de registro y selección lexical).

“HAZ” POR “HAS”: imprecisión semántica (indicador Elementos de cohesión).

Tema no se ajusta a las indicaciones expuestas en la instrucción del ítem. Respuesta informa sobre el estado de la relación: se solicitó dar cuenta de los hechos que motivan el accionar de alguno de los personajes, desde la voz de uno de ellos (indicador “Adecuación al tema”).

Uso correcto de conector adversativo. Uso de punto y coma interrumpe la oración tornándola incohesiva en su nivel interno (indicador elementos de la cohesión).

Se ajusta a la silueta discursiva (indicador Estructura discursiva).

No cumple con el propósito de argumentar. Carece de hipótesis, argumentos y conclusiones. No existe la explicación de algún hecho, sino la exposición de un suceso sin determinar sus causas (Planteamiento de ideas).

EVALUACIÓN

Puntaje máximo

Puntaje obtenido

Adecuación al tema 5 3

Estructura discursiva 5 4

Utilización de registro y selección lexical 5 3

Argumentos 5 2

Cohesión 5 2

Total pregunta abierta 25 14


Experiencia 2007. Conclusiones.

Hojas de respuestas válidas: 636Omisión: 42%.Cambios en la estructura de la prueba: disminución de ítemes cerrados.

GENERO DEP. EDUC.

Frecuencia % Frecuencia %

M 241 37,9 MU 218 34,3

F 395 62,1 PS 319 50,2

Total 636 100 PP 99 15,6

Total 636 100


Año 2007

**. La correlación es significativa al nivel 0,01 (bilateral)*. La correlación es significante al nivel 0,05 (bilateral).

Correlaciones ENTRE SECCIONES PRUEBA OFICIAL INDICADORES PREGAB

IN1

TEMAIN2

DISCURSOIN3

REGISTROID4

PLANTIDEASID5

COHESION

COFS2CON Correlación de Pearson ,170(**) 0,096 0,086 ,159(**) ,204(**)

Sig. (bilateral) 0,001 0,059 0,092 0,002 0

N 389 389 389 389 389

COFS2PR Correlación de Pearson ,215(**) ,106(*) ,223(**) ,224(**) ,213(**)

Sig. (bilateral) 0 0,037 0 0 0

N 389 389 389 389 389

COFS3VOC Correlación de Pearson ,270(**) 0,095 ,141(**) ,260(**) ,289(**)

Sig. (bilateral) 0 0,062 0,005 0 0

N 389 389 389 389 389

COFS3CLECT

Correlación de Pearson ,278(**) ,135(**) ,198(**) ,288(**) ,317(**)

Sig. (bilateral) 0 0,008 0 0 0

N 389 389 389 389 389

Universidad de ChileVicerrectoría de Asuntos AcadémicosDEMRE Año 2007

CARACTERÍSTICAS GRUPO MASCULINO

Estadísticos

N

Media Mediana Desv. típ. Mínimo MáximoVálidos

PCPT 241 28,82 29 9,39 1 53

PCOFIC 238 40,9 41 16,675 -2 75

TOTPREGAB 241 17,21 17 2,871 9 25

CARACTERÍSTICAS GRUPO FEMENINO

Estadísticos

N


PCPT 395 28,85 29 9,724 -1 53

PCOFIC 389 37,36 38 18,023 -9 74

TOTPREGAB 395 18,28 18 2,719 11 25


Año 2007

CARACTERÍSTICAS GRUPO MUNICIPAL

N


PCPT 218 26,81 26,5 9,738 -1 53

PCOFIC 213 33,01 32 18,107 -2 74

TOTPREGAB 218 17,4 18 2,904 9 25

CARACTERÍSTICAS GRUPO PARTICULAR SUBVENCIONADO

N


PCPT 319 28,53 28 9,074 4 51

PCOFIC 315 38,35 38 16,313 -9 73

TOTPREGAB 319 17,92 18 2,672 9 25

CARACTERÍSTICAS GRUPO PARTICULAR PAGADO

N


PCPT 99 34,28 35 8,916 2 53

PCOFIC 99 52,08 54 12,801 19 75

TOTPREGAB 99 18,76 19 2,921 12 25


CONCLUSIONES FINALES

Pregunta abierta permite medir aspectos no contemplados en la estructura actual de la prueba.

Proceso de estudio y análisis de los resultados.

Etapa de decisiones operativas: mayor tiempo de corrección y formación de correctores.

Diseño instrumento para medición de la comprensión y producción textual que pueda servir como prueba complementaria a la PSU.

Instrumento CODICE será aplicado a los estudiantes matriculados en la Universidad de Chile para realizar estudios de seguimiento y validez predictiva.

Documents

Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE