Las consecuencias de la Evaluación Docente en...

S A N D Y T A U T , P H D E S C U E L A D E P S I C O L O G Í A , M I D E U C , P U C

& V E R O N I C A S A N T E L I C E S , P H D F A C U L T A D D E E D U C A C I Ó N , P U C

Las consecuencias de la Evaluación Docente en Chile

Agradecemos financiamiento de Fondecyt Regular No. 1080135

La ED en

Chile

Cuatro instrumentos

Basado en estándares

Propósito formativo y

consecuencias de alto

impacto

Negociaciones de mesa tripartita

Reproducido de la presentación de resultados de la ED 2010, Gobierno de Chile

Validación de la Evaluación Docente

� Validez de contenido � Estructura interna � Confiabilidad y generalizabilidad � Relaciones con otras variables � Evidencia sobre consecuencias � Equidad del proceso

American Educational Research Association, American Psychological Association, and

National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association.

Validación de la Evaluación Docente

� Validez de contenido � Estructura interna � Confiabilidad y generalizabilidad � Relaciones con otras variables � Evidencia sobre consecuencias � Equidad del proceso

Fundamentos del estudio

� Antecedentes en la literatura: ¡  Consecuencias de sistemas de ED similares en EE.UU. (NBPTS ->

National Research Council, 2008; algunos distritos escolares -> Heneman III et al., 2006)

¡  Consecuencias de sistemas de accountability en EE.UU. (NCLB) (Hamilton et al., 2007; Stecher et al., 2008; Linn, 2009)

� Foco en lo intencionado y lo no intencionado �  Identificación de consecuencias intencionadas

¡  Análisis de documentos oficiales (leyes, reglamentos) ¡  Entrevistas con diseñadores del sistema de evaluación (grupos

presentes en mesa tripartita & implementadores)

� Estudios empíricos usando métodos cualitativos y cuantitativos

Consecuencias intencionadas

Comuna

• Desarrollo de capacidades de docentes con bajo desempeño

• Utilización de la información de la ED para la toma de decisiones

Individuo

• Motivación para cambiar prácticas débiles, según diagnóstico ED

• Motivación interna para fortalecer buenas prácticas, según diagnóstico ED

• Mejora en la trayectoria laboral por acceso a incentivos monetarios

Transversal

•  Reconocimiento social de buenas prácticas

•  Conversaciones entre pares respecto de las buenas prácticas

Mejora en el aprendizaje de los alumnos en el sistema educacional público

Preguntas de investigación

1.  ¿Se observan las consecuencias intencionadas?

2.  ¿Se identifican consecuencias no intencionadas? ¿Cuáles?

3.  ¿Cómo se podrían explicar diferencias en consecuencias observadas entre comunas, escuelas y docentes?

Métodos mixtos

�  Entrevistas semi-estructuradas presenciales: ¡  19 actores comunales (de N=10 comunas) ¡  57 directores y jefes UTP (de N=30 escuelas de las 10 comunas) ¡  10 profesores insatisfactorios ¡  9 profesores que se rebelaron frente a la ED

�  Grupos focales: ¡  28 profesores básicos ¡  18 profesores competentes y destacados

�  Análisis cualitativo de contenido, usando Atlas.ti �  Análisis estadístico de bases de datos existentes:

¡  Asignación Variable por Desempeño Individual (AVDI) ¡  Planes de Superación Profesional (PSP-online) ¡  Base Bono de Reconocimiento Profesional (BRP)

Resultados

Percepciones de consecuencias intencionadas

Consecuencia Nivel en que se aprecia Percepción de actores

1. Desarrollo de capacidades docente (PSP)

Comuna [escuela, prof] Muy heterogéneo

2. Utilización de la información de la ED

Comuna Escuela

Sí, en algunas comunas Sí, en algunas escuelas

3. Reconocimiento social de buenas prácticas

Comuna Escuela [profesores]

Heterogéneo, variable Informal [insuficiente]

4. Conversaciones entre pares

Comuna, esc, profesores Sí (elab. portafolio)

5. Motivación para cambiar prácticas débiles

Profesores [comuna, esc] Sí, moderado (elab. portafolio, MBE)

6. Motivación interna para fortalecer buenas prácticas

Profesores [comuna, esc] Débil

7. Mejora en la trayectoria laboral (incentivos AVDI)

Profesores [comuna, esc] Débil [más positivo]

Formación continua docente: el programa PSP

� Asistencia 2007-2009: 38% / 36% / 51%

� Actividades 2008: 76% curso, 17% tutoría

� Duración mediana 2008: =< 8 horas

� Satisfacción usuaria: encuesta vs focus

� Resultados de re-evaluación 2009 de docentes insatisfactorios: diferencias significativas en puntaje del portafolio (no así en otros instrumentos) entre los que asisten y los que no asisten a los PSP (N=88)

Resumen rasgos formación continua efectiva vs. PSP

Aspectos sugeridos por la literatura

Aspectos carácterísticos de PSP

Aprendizaje activo

Preeminencia clases expositivas

Focalización en aspectos disciplinarios

Ausencia de formación disciplinar (proviene de la ED)

Participación activa y comunidad de aprendizaje

Enfoque centrado en docente con resultados deficientes

Duración prolongada y momentos oportunos

Duración promedio breve (mediana: 8 hrs.) Fuera horario laboral

Centrado en educación de adultos Centrado en educación de adultos

Aprovechamiento en el uso de recursos

Se aprecian esfuerzos al respecto

Percepciones de consecuencias intencionadas

Consecuencia Nivel en que se aprecia Percepción de actores

1. Desarrollo de capacidades docente (PSP)

Comuna [escuela, prof] Muy heterogéneo

2. Utilización de la información de la ED

Comuna Escuela

Sí, en algunas comunas Sí, en algunas escuelas

3. Reconocimiento social de buenas prácticas

Comuna Escuela [profesores]

Heterogéneo, variable Informal [insuficiente]

4. Conversaciones entre pares

Comuna, esc, profesores Sí (elab. portafolio)

5. Motivación para cambiar prácticas débiles

Profesores [comuna, esc] Sí, moderado (elab. portafolio, MBE)

6. Motivación interna para fortalecer buenas prácticas

Profesores [comuna, esc] Débil

7. Mejora en la trayectoria laboral (incentivos AVDI)

Profesores [comuna, esc] Débil [más positivo]

Ejemplos de uso de la información de la ED

Comunas • Diagnóstico que sirve para contratación (4/10) y despedido (1/10) • Asignación docentes a establecimientos / tareas (3/10) • Diseño de Planes de Superación Profesional (10/10) y otro apoyo (7/10) • Reconocimiento intangible (10/10) y tangible (8/10) • Uso limitado (4/10)

Establecimientos • Reflexión colectiva (20/30) • Validación externa del trabajo del establecimiento (19/30) • Reconocimiento informal (18/30) • Diagnóstico calidad docente (16/30) • Uso limitado (12/30)

Percepciones de consecuencias intencionadas

Consecuencia Nivel en que se aprecia Percepción de actores

1. Desarrollo de capacidades docente (PSP)

Comuna [escuela, prof] Muy heterogéneo

2. Utilización de la información de la ED

Comuna Escuela

Sí, en algunas comunas Sí, en algunas escuelas

3. Reconocimiento social de buenas prácticas

Comuna Escuela [profesores]

Heterogéneo, variable Informal [insuficiente]

4. Conversaciones entre pares

Comuna, esc, profesores Sí (elab. portafolio)

5. Motivación para cambiar prácticas débiles

Profesores [comuna, esc] Sí, moderado (elab. portafolio, MBE)

6. Motivación interna para fortalecer buenas prácticas

Profesores [comuna, esc] Débil

7. Mejora en la trayectoria laboral (incentivos AVDI)

Profesores [comuna, esc] Débil [más positivo]

Códigos respecto de cambio de prácticas debido a la ED

Código Com Esc B + C I

La ED tiene un impacto en las prácticas ya que estimula su revisión, sobre todo las de planificación y evaluación  

8   25   8de9   5  

La ED tiene un impacto en las prácticas producto de la familiarización de los docentes con el MBE durante la elaboración de sus instrumentos  

13   3de9   2  

La información entregada por la ED es un feedback pedagógico para los docentes  

4   11   6de9   2  

No se observa ningún efecto de la ED en los profesores  

2   3de9   4  

Percepciones de consecuencias intencionadas

Consecuencia Nivel en que se aprecia Percepción de actores

1. Desarrollo de capacidades docente (PSP)

Comuna [escuela, prof] Muy heterogéneo

2. Utilización de la información de la ED

Comuna Escuela

Sí, en algunas comunas Sí, en algunas escuelas

3. Reconocimiento social de buenas prácticas

Comuna Escuela [profesores]

Heterogéneo, variable Informal [insuficiente]

4. Conversaciones entre pares

Comuna, esc, profesores Sí (elab. portafolio)

5. Motivación para cambiar prácticas débiles

Profesores [comuna, esc] Sí, moderado (elab. portafolio, MBE)

6. Motivación interna para fortalecer buenas prácticas

Profesores [comuna, esc] Débil

7. Mejora en la trayectoria laboral (incentivos AVDI)

Profesores [comuna, esc] Débil [más positivo]

Incentivos monetarios: Participación en AVDI 2006-2009

Habilitados: Docentes competentes y destacados

Inscritos: entre 45 y 61%

Participantes: entre 31 y 51%

Ganadores

Resultados en AVDI 2004-2009

2004 2005 2006 2007 2008 2009

Participantes 1191 1101 3242 6486 4716 5671

Ganadores 320 270 2375 4837 3870 4815

Proporción ganadores

27% 25% 73% 75% 82% 85%

Proporción Comp & Destac

27% 25% 23% 39% 41% 36%

Trayectoria laboral docente según resultado ED

Estatus (2009) Insat al menos 1x Comp al menos 1x Dest al menos 1x

Enseñando establ. municipal 68.1% 88.3% 92.1%

Enseñando establ. partic. subvenc. 3.6% 1.9% 1.5%

Inactivo (jubilado o fuera del sistema) 31.9% 11.7% 7.9%

Total 100% 100% 100%

Percepciones de consecuencias no intencionadas

Consecuencia Nivel en que se aprecia Percepción de actores

Emociones Profesores [esc, comuna] Negativo, potente

Resistencia y rebeldía Profesores, escuela, comuna

Disminuyendo en el tiempo

Sobrecarga laboral Profesores [esc, comuna] Negativo, potente

Indiferencia, sin efecto Escuela En algunas

Apoyo comuna, escuela Escuela [profesores] Positivo [mixto]

Clima laboral nivel esc. Escuela, profesores [comuna]

Mixto

Prácticas poco éticas Profesores [escuela] Infrecuente

Exploración de diferencias en consecuencias percibidas

Comuna

•  Recursos humanos calificados y con suficiente tiempo

•  Prioridad en educación/profesores (rol del alcalde)

Escuela

•  (Des-) Legitimación del proceso, instrumentos, consecuencias

•  Rol que juegan los directores (líder pedagógico)

•  Conversaciones abiertas sobre resultados ED (confianza)

Individuo

•  No hay grandes diferencias de percepciones según nivel de desempeño en la ED

No explican: nivel de pobreza o tamaño de la comuna, SIMCE o resultados ED del establecimiento

Conclusiones I

� Percepciones versus datos objetivos: “If men define situations as real, they are real in their consequences.”(W.I. Thomas, 1928)

� Lo intencionado: se cumple para algunas consecuencias, y en algunos casos; destaca actualización de prácticas por proceso de elaboración del portafolio y la revisión del MBE

� Lo NO intencionado: emociones y sobrecarga, pero también apoyo

� Diferencias por niveles: Percepciones más positivas a nivel comuna y escuela, más negativas a nivel profesores

Conclusiones II

� AVDI: sub-utilizado, menos de un 50% participa � PSP: tipo de actividades más frecuentes no

concordante con literatura sobre formación continua efectiva

� Trayectoria laboral: una proporción significativa de los “alguna vez insatisfactorios” se van del sistema

� Estudios pendientes: ¡  Relación entre resultado ED y progreso en los aprendizajes

de los alumnos (con datos longitudinales) ¡  Impacto de los PSP en las prácticas en aula y los

aprendizajes de los alumnos (con datos longitudinales)

Publicaciones relacionadas

�  Santelices, V., Taut, S. & Valencia, E. (2008). Estudio exploratorio-comparativo de los resultados de los programas AVDI, AEP y Docentemás entre 2002 y 2006 [Exploratory comparative quantitative analysis of the results of the national teacher evaluation program, the individual teacher incentive program and the accreditation of excellence in teaching program between 2002 and 2006]. Internal document MIDE UC.

�  Santelices, V., Taut, S. & Valencia, E. (2009). La Evaluación Docente y los Planes de Superación Profesional: Estudio descriptivo. Internal document MIDE UC.

�  Santelices, V., Taut, S., Araya, C., & Manzi, J. (2009). Consequential Validity of Chile’s Teacher Evaluation System: Consequences at the Municipal (Local) Level. Paper presented at the Annual Meeting of the American Educational Research Association, April 13-19, 2009, in San Diego, USA.

�  Taut, S., Santelices, V. & Valencia, E. (2010). Resultado de re-evaluaciones y situación laboral de los docentes evaluados por el Sistema de Evaluación de Desempeño Docente entre 2003 y 2008. Informe técnico MIDE UC IT1007. Disponible en http://www.mideuc.cl/docs/informes/it1007.pdf

�  Taut, S., Santelices, V., Araya, C. & Manzi, J. (2010). Theory underlying a national teacher evaluation program. Evaluation and Program Planning, 33, 477-489. http://dx.doi.org/10.1016/j.evalprogplan.2010.01.002

�  Taut, S., Santelices, V., Araya, C. & Manzi, J. (2011). Effects and uses of the national teacher evaluation system in Chilean elementary schools. Paper presented at the Annual Conference of the American Educational Research Association, April 8-12, 2011, New Orleans, USA.

�  Tornero, B. & Taut, S. (2010). A mandatory, high-stakes national teacher evaluation system: Perceptions and attributions of teachers who actively refuse to participate. Studies in Educational Evaluation, 36, 132-142.

�  Cortés, F., Taut, S., Santelices, V. & Lagos, M.J. (2011, January). Formación continua en profesores y la experiencia de los Planes de Superación Profesional (PSP) en Chile: Fortalezas y debilidades a la luz de la evidence international [Teacher professional development and the experience with the program Planes de Superación Profesional (PSP) in Chile: Strengths and weaknesses in light of the international evidence]. Paper presented at the second meeting of the Sociedad Chilena de Políticas Públicas, January 19, 2011, Santiago, Chile.

�  Taut, S., Santelices, V. & Manzi, J. (in press). Estudios de validez de la Evaluación Docente [Validation studies of the Chilean National Teacher Evaluation]. In: Jorge Manzi, Roberto Gonzalez, Yulan Sun (Eds.), La Evaluación Docente en Chile [The Chilean national teacher evaluation system]. Pontificia Universidad Católica de Chile, Santiago, Chile.