S A N D Y T A U T , P H D E S C U E L A D E P S I C O L O G Í A , M I D E U C , P U C
& V E R O N I C A S A N T E L I C E S , P H D F A C U L T A D D E E D U C A C I Ó N , P U C
Las consecuencias de la Evaluación Docente en Chile
Agradecemos financiamiento de Fondecyt Regular No. 1080135
La ED en
Chile
Cuatro instrumentos
Basado en estándares
Propósito formativo y
consecuencias de alto
impacto
Negociaciones de mesa tripartita
Reproducido de la presentación de resultados de la ED 2010, Gobierno de Chile
Validación de la Evaluación Docente
� Validez de contenido � Estructura interna � Confiabilidad y generalizabilidad � Relaciones con otras variables � Evidencia sobre consecuencias � Equidad del proceso
American Educational Research Association, American Psychological Association, and
National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association.
Validación de la Evaluación Docente
� Validez de contenido � Estructura interna � Confiabilidad y generalizabilidad � Relaciones con otras variables � Evidencia sobre consecuencias � Equidad del proceso
Fundamentos del estudio
� Antecedentes en la literatura: ¡ Consecuencias de sistemas de ED similares en EE.UU. (NBPTS ->
National Research Council, 2008; algunos distritos escolares -> Heneman III et al., 2006)
¡ Consecuencias de sistemas de accountability en EE.UU. (NCLB) (Hamilton et al., 2007; Stecher et al., 2008; Linn, 2009)
� Foco en lo intencionado y lo no intencionado � Identificación de consecuencias intencionadas
¡ Análisis de documentos oficiales (leyes, reglamentos) ¡ Entrevistas con diseñadores del sistema de evaluación (grupos
presentes en mesa tripartita & implementadores)
� Estudios empíricos usando métodos cualitativos y cuantitativos
Consecuencias intencionadas
Comuna
• Desarrollo de capacidades de docentes con bajo desempeño
• Utilización de la información de la ED para la toma de decisiones
Individuo
• Motivación para cambiar prácticas débiles, según diagnóstico ED
• Motivación interna para fortalecer buenas prácticas, según diagnóstico ED
• Mejora en la trayectoria laboral por acceso a incentivos monetarios
Transversal
• Reconocimiento social de buenas prácticas
• Conversaciones entre pares respecto de las buenas prácticas
Mejora en el aprendizaje de los alumnos en el sistema educacional público
Preguntas de investigación
1. ¿Se observan las consecuencias intencionadas?
2. ¿Se identifican consecuencias no intencionadas? ¿Cuáles?
3. ¿Cómo se podrían explicar diferencias en consecuencias observadas entre comunas, escuelas y docentes?
Métodos mixtos
� Entrevistas semi-estructuradas presenciales: ¡ 19 actores comunales (de N=10 comunas) ¡ 57 directores y jefes UTP (de N=30 escuelas de las 10 comunas) ¡ 10 profesores insatisfactorios ¡ 9 profesores que se rebelaron frente a la ED
� Grupos focales: ¡ 28 profesores básicos ¡ 18 profesores competentes y destacados
� Análisis cualitativo de contenido, usando Atlas.ti � Análisis estadístico de bases de datos existentes:
¡ Asignación Variable por Desempeño Individual (AVDI) ¡ Planes de Superación Profesional (PSP-online) ¡ Base Bono de Reconocimiento Profesional (BRP)
Resultados
Percepciones de consecuencias intencionadas
Consecuencia Nivel en que se aprecia Percepción de actores
1. Desarrollo de capacidades docente (PSP)
Comuna [escuela, prof] Muy heterogéneo
2. Utilización de la información de la ED
Comuna Escuela
Sí, en algunas comunas Sí, en algunas escuelas
3. Reconocimiento social de buenas prácticas
Comuna Escuela [profesores]
Heterogéneo, variable Informal [insuficiente]
4. Conversaciones entre pares
Comuna, esc, profesores Sí (elab. portafolio)
5. Motivación para cambiar prácticas débiles
Profesores [comuna, esc] Sí, moderado (elab. portafolio, MBE)
6. Motivación interna para fortalecer buenas prácticas
Profesores [comuna, esc] Débil
7. Mejora en la trayectoria laboral (incentivos AVDI)
Profesores [comuna, esc] Débil [más positivo]
Formación continua docente: el programa PSP
� Asistencia 2007-2009: 38% / 36% / 51%
� Actividades 2008: 76% curso, 17% tutoría
� Duración mediana 2008: =< 8 horas
� Satisfacción usuaria: encuesta vs focus
� Resultados de re-evaluación 2009 de docentes insatisfactorios: diferencias significativas en puntaje del portafolio (no así en otros instrumentos) entre los que asisten y los que no asisten a los PSP (N=88)
Resumen rasgos formación continua efectiva vs. PSP
Aspectos sugeridos por la literatura
Aspectos carácterísticos de PSP
Aprendizaje activo
Preeminencia clases expositivas
Focalización en aspectos disciplinarios
Ausencia de formación disciplinar (proviene de la ED)
Participación activa y comunidad de aprendizaje
Enfoque centrado en docente con resultados deficientes
Duración prolongada y momentos oportunos
Duración promedio breve (mediana: 8 hrs.) Fuera horario laboral
Centrado en educación de adultos Centrado en educación de adultos
Aprovechamiento en el uso de recursos
Se aprecian esfuerzos al respecto
Percepciones de consecuencias intencionadas
Consecuencia Nivel en que se aprecia Percepción de actores
1. Desarrollo de capacidades docente (PSP)
Comuna [escuela, prof] Muy heterogéneo
2. Utilización de la información de la ED
Comuna Escuela
Sí, en algunas comunas Sí, en algunas escuelas
3. Reconocimiento social de buenas prácticas
Comuna Escuela [profesores]
Heterogéneo, variable Informal [insuficiente]
4. Conversaciones entre pares
Comuna, esc, profesores Sí (elab. portafolio)
5. Motivación para cambiar prácticas débiles
Profesores [comuna, esc] Sí, moderado (elab. portafolio, MBE)
6. Motivación interna para fortalecer buenas prácticas
Profesores [comuna, esc] Débil
7. Mejora en la trayectoria laboral (incentivos AVDI)
Profesores [comuna, esc] Débil [más positivo]
Ejemplos de uso de la información de la ED
Comunas • Diagnóstico que sirve para contratación (4/10) y despedido (1/10) • Asignación docentes a establecimientos / tareas (3/10) • Diseño de Planes de Superación Profesional (10/10) y otro apoyo (7/10) • Reconocimiento intangible (10/10) y tangible (8/10) • Uso limitado (4/10)
Establecimientos • Reflexión colectiva (20/30) • Validación externa del trabajo del establecimiento (19/30) • Reconocimiento informal (18/30) • Diagnóstico calidad docente (16/30) • Uso limitado (12/30)
Percepciones de consecuencias intencionadas
Consecuencia Nivel en que se aprecia Percepción de actores
1. Desarrollo de capacidades docente (PSP)
Comuna [escuela, prof] Muy heterogéneo
2. Utilización de la información de la ED
Comuna Escuela
Sí, en algunas comunas Sí, en algunas escuelas
3. Reconocimiento social de buenas prácticas
Comuna Escuela [profesores]
Heterogéneo, variable Informal [insuficiente]
4. Conversaciones entre pares
Comuna, esc, profesores Sí (elab. portafolio)
5. Motivación para cambiar prácticas débiles
Profesores [comuna, esc] Sí, moderado (elab. portafolio, MBE)
6. Motivación interna para fortalecer buenas prácticas
Profesores [comuna, esc] Débil
7. Mejora en la trayectoria laboral (incentivos AVDI)
Profesores [comuna, esc] Débil [más positivo]
Códigos respecto de cambio de prácticas debido a la ED
Código Com Esc B + C I
La ED tiene un impacto en las prácticas ya que estimula su revisión, sobre todo las de planificación y evaluación
8 25 8de9 5
La ED tiene un impacto en las prácticas producto de la familiarización de los docentes con el MBE durante la elaboración de sus instrumentos
13 3de9 2
La información entregada por la ED es un feedback pedagógico para los docentes
4 11 6de9 2
No se observa ningún efecto de la ED en los profesores
2 3de9 4
Percepciones de consecuencias intencionadas
Consecuencia Nivel en que se aprecia Percepción de actores
1. Desarrollo de capacidades docente (PSP)
Comuna [escuela, prof] Muy heterogéneo
2. Utilización de la información de la ED
Comuna Escuela
Sí, en algunas comunas Sí, en algunas escuelas
3. Reconocimiento social de buenas prácticas
Comuna Escuela [profesores]
Heterogéneo, variable Informal [insuficiente]
4. Conversaciones entre pares
Comuna, esc, profesores Sí (elab. portafolio)
5. Motivación para cambiar prácticas débiles
Profesores [comuna, esc] Sí, moderado (elab. portafolio, MBE)
6. Motivación interna para fortalecer buenas prácticas
Profesores [comuna, esc] Débil
7. Mejora en la trayectoria laboral (incentivos AVDI)
Profesores [comuna, esc] Débil [más positivo]
Incentivos monetarios: Participación en AVDI 2006-2009
Habilitados: Docentes competentes y destacados
Inscritos: entre 45 y 61%
Participantes: entre 31 y 51%
Ganadores
Resultados en AVDI 2004-2009
2004 2005 2006 2007 2008 2009
Participantes 1191 1101 3242 6486 4716 5671
Ganadores 320 270 2375 4837 3870 4815
Proporción ganadores
27% 25% 73% 75% 82% 85%
Proporción Comp & Destac
27% 25% 23% 39% 41% 36%
Trayectoria laboral docente según resultado ED
Estatus (2009) Insat al menos 1x Comp al menos 1x Dest al menos 1x
Enseñando establ. municipal 68.1% 88.3% 92.1%
Enseñando establ. partic. subvenc. 3.6% 1.9% 1.5%
Inactivo (jubilado o fuera del sistema) 31.9% 11.7% 7.9%
Total 100% 100% 100%
Percepciones de consecuencias no intencionadas
Consecuencia Nivel en que se aprecia Percepción de actores
Emociones Profesores [esc, comuna] Negativo, potente
Resistencia y rebeldía Profesores, escuela, comuna
Disminuyendo en el tiempo
Sobrecarga laboral Profesores [esc, comuna] Negativo, potente
Indiferencia, sin efecto Escuela En algunas
Apoyo comuna, escuela Escuela [profesores] Positivo [mixto]
Clima laboral nivel esc. Escuela, profesores [comuna]
Mixto
Prácticas poco éticas Profesores [escuela] Infrecuente
Exploración de diferencias en consecuencias percibidas
Comuna
• Recursos humanos calificados y con suficiente tiempo
• Prioridad en educación/profesores (rol del alcalde)
Escuela
• (Des-) Legitimación del proceso, instrumentos, consecuencias
• Rol que juegan los directores (líder pedagógico)
• Conversaciones abiertas sobre resultados ED (confianza)
Individuo
• No hay grandes diferencias de percepciones según nivel de desempeño en la ED
No explican: nivel de pobreza o tamaño de la comuna, SIMCE o resultados ED del establecimiento
Conclusiones I
� Percepciones versus datos objetivos: “If men define situations as real, they are real in their consequences.”(W.I. Thomas, 1928)
� Lo intencionado: se cumple para algunas consecuencias, y en algunos casos; destaca actualización de prácticas por proceso de elaboración del portafolio y la revisión del MBE
� Lo NO intencionado: emociones y sobrecarga, pero también apoyo
� Diferencias por niveles: Percepciones más positivas a nivel comuna y escuela, más negativas a nivel profesores
Conclusiones II
� AVDI: sub-utilizado, menos de un 50% participa � PSP: tipo de actividades más frecuentes no
concordante con literatura sobre formación continua efectiva
� Trayectoria laboral: una proporción significativa de los “alguna vez insatisfactorios” se van del sistema
� Estudios pendientes: ¡ Relación entre resultado ED y progreso en los aprendizajes
de los alumnos (con datos longitudinales) ¡ Impacto de los PSP en las prácticas en aula y los
aprendizajes de los alumnos (con datos longitudinales)
Publicaciones relacionadas
� Santelices, V., Taut, S. & Valencia, E. (2008). Estudio exploratorio-comparativo de los resultados de los programas AVDI, AEP y Docentemás entre 2002 y 2006 [Exploratory comparative quantitative analysis of the results of the national teacher evaluation program, the individual teacher incentive program and the accreditation of excellence in teaching program between 2002 and 2006]. Internal document MIDE UC.
� Santelices, V., Taut, S. & Valencia, E. (2009). La Evaluación Docente y los Planes de Superación Profesional: Estudio descriptivo. Internal document MIDE UC.
� Santelices, V., Taut, S., Araya, C., & Manzi, J. (2009). Consequential Validity of Chile’s Teacher Evaluation System: Consequences at the Municipal (Local) Level. Paper presented at the Annual Meeting of the American Educational Research Association, April 13-19, 2009, in San Diego, USA.
� Taut, S., Santelices, V. & Valencia, E. (2010). Resultado de re-evaluaciones y situación laboral de los docentes evaluados por el Sistema de Evaluación de Desempeño Docente entre 2003 y 2008. Informe técnico MIDE UC IT1007. Disponible en http://www.mideuc.cl/docs/informes/it1007.pdf
� Taut, S., Santelices, V., Araya, C. & Manzi, J. (2010). Theory underlying a national teacher evaluation program. Evaluation and Program Planning, 33, 477-489. http://dx.doi.org/10.1016/j.evalprogplan.2010.01.002
� Taut, S., Santelices, V., Araya, C. & Manzi, J. (2011). Effects and uses of the national teacher evaluation system in Chilean elementary schools. Paper presented at the Annual Conference of the American Educational Research Association, April 8-12, 2011, New Orleans, USA.
� Tornero, B. & Taut, S. (2010). A mandatory, high-stakes national teacher evaluation system: Perceptions and attributions of teachers who actively refuse to participate. Studies in Educational Evaluation, 36, 132-142.
� Cortés, F., Taut, S., Santelices, V. & Lagos, M.J. (2011, January). Formación continua en profesores y la experiencia de los Planes de Superación Profesional (PSP) en Chile: Fortalezas y debilidades a la luz de la evidence international [Teacher professional development and the experience with the program Planes de Superación Profesional (PSP) in Chile: Strengths and weaknesses in light of the international evidence]. Paper presented at the second meeting of the Sociedad Chilena de Políticas Públicas, January 19, 2011, Santiago, Chile.
� Taut, S., Santelices, V. & Manzi, J. (in press). Estudios de validez de la Evaluación Docente [Validation studies of the Chilean National Teacher Evaluation]. In: Jorge Manzi, Roberto Gonzalez, Yulan Sun (Eds.), La Evaluación Docente en Chile [The Chilean national teacher evaluation system]. Pontificia Universidad Católica de Chile, Santiago, Chile.