1 

 

Elaboración de una metodología de evaluación de los procesos de mejoramiento educativo en escuelas chilenas 

 Luis Felipe de la Vega Rodríguez  

 I. Presentación. 

El  presente  informe  compila  el  desarrollo  de  todas  las  etapas  del  proyecto  de  investigación “Evaluando  el mejoramiento  educativo  en  escuelas  chilenas. Una  alternativa metodológica  a  la evaluación  para  el  aseguramiento  de  la  calidad”.  Para  ello,  se  incorporará  información  de  las primeras etapas del proyecto, que ya fueron presentadas en entregas anteriores. Luego, se incluirá el  avance  desarrollado  en  la  última  etapa  de  la  investigación.  Finalmente,  se  presentará  una descripción de los logros de la investigación.  

 I.I. Antecedentes. 

Este proyecto se propuso presentar una definición operacional y metodología de evaluación de los procesos de mejoramiento educativo desarrollados en escuelas de Chile. Con esto  se esperaba profundizar en  la discusión respecto del análisis del trabajo y resultados de  los establecimientos educacionales,  considerando  las  disposiciones  de  la  Ley  de  Aseguramiento  de  la  calidad  de  la educación y las funciones de la Agencia de Calidad sobre la evaluación de las escuelas, visitas y su ordenación.  

Para  esto,  se  diseñó  una  aproximación metodológica  que  se  sostuvo  sobre  las  definiciones  de distintos expertos en mejoramiento educativo: docentes, directivos, asesores técnicos educativos, investigadores  y  representantes  de  la  institucionalidad  educativa.  Sus  discursos  buscaron sintetizarse con la metodología de análisis multicriterio Método analítico Jerárquico AHP, con que se construyó una matriz jerárquica de los componentes e indicadores que definirían el fenómeno mencionado. Luego, se elaboraron indicadores e instrumentos de recolección de información que permitirán la evaluación del mejoramiento educativo en escuelas.  

Con  este  proceso  alternativo  se  buscó  poner  a  disposición  del  sistema  educativo  herramientas concretas para analizar el  logro de estos procesos. Además, esta metodología alternativa es un insumo relevante para evaluar virtudes y limitaciones de las estrategias de evaluación próximas a implementar por la Agencia de Calidad. 

I.II Objetivos de la investigación. 

En este marco, se han definido los siguientes objetivos para el estudio: 

I.II Objetivos de la investigación. 

Objetivo general 

2 

 

Identificar  y  jerarquizar  los  principales  criterios  que  debiera  incorporar  la  evaluación  del mejoramiento  educativo  en  establecimientos  educacionales  chilenos,  indagando  en  las características,  posibilidades  y  requisitos  que  debiera  cumplir  un  diseño  metodológico  que favorezca este objetivo y analizando su viabilidad en el contexto nacional.  

Objetivos específicos 

Identificar y definir cuáles son  las dimensiones que comprenden o caracterizan el mejoramiento educativo en establecimientos educacionales chilenos y cuál es la importancia relativa de cada una de ellas en la explicación de este proceso. 

Identificar y definir cuál es el conjunto de variables que componen cada una de  las dimensiones mencionadas, qué relevancia relativa tiene cada una de estas variables para explicar cada dimensión y  cómo  ellas  se  organizan  en  la  explicación  de  un  relato  de  la  explicación  de  un  proceso  de mejoramiento educativo.  

Identificar  las  fortalezas,  debilidades  y  desafíos  que  implicaría  el  diseño metodológico  de  una evaluación del mejoramiento educativo en este marco, reconociendo su factibilidad y si ella existe, identificando requisitos, características e instrumental necesario para hacerlo.  

Evaluar  las  posibilidades  que  ofrece  esta  reflexión  teórico  – metodológica  como  insumo  para complementar las labores evaluativas de la Agencia de la Calidad de la Educación, en el marco de su trabajo de evaluación de escuelas relacionado con las visitas a las escuelas. 

 

I.III. Metodología de la investigación. 

Este proyecto de investigación apunta al reconocimiento y definición de las dimensiones y variables que  caracterizan  los  procesos  de mejoramiento  educativo  de  las  escuelas  chilenas,  buscando identificar  si  una  escuela  está mejorando  y  en  qué medida  va  logrando  esta  expectativa.  Para alcanzar este objetivo, se buscó construir un modelo de evaluación que sea construido a partir del consenso entre actores clave, expertos en este proceso. 

Se  esperaba  reconocer  y  aprovechar  diferentes  tipos  de  conocimiento  experto  en  relación  al fenómeno  de  estudio.  Se  identificaron  cinco  tipos  de  expertos  en mejoramiento  educativo:  a) protagonizar  el  mejoramiento  educativo,  es  decir,  trabajar  directamente  en  los  procesos  de enseñanza  y  aprendizaje  (docentes);  b)  gestionar  el  mejoramiento  educativo,  a  partir  de  la organización  del  trabajo  educativo  en  la  escuela  (equipo  directivo);  c)  apoyar  el mejoramiento educativo,  recogiendo  la  experiencia  de  los  asesores  educativos  de  las  escuelas;  d)  estudiar  el mejoramiento educativo, lo que implica considerar la reflexión proveniente de investigadores que estudien este fenómeno; y e) incidir políticamente en el mejoramiento educativo, considerando a quienes están cerca de la toma de decisiones en el ámbito de las políticas educativas. 

3 

 

Se buscó  recoger, combinar y sintetizar estos cinco saberes,  representándolos en un modelo de evaluación. Junto con ello, se diseñó una metodología de evaluación que cumpla con parámetros de confiabilidad y validez en relación a los objetivos descritos.  

El trabajo aplicó  la metodología Proceso Analítico Jerárquico AHP (Saaty, 1997). El AHP tiene por objeto sintetizar en un modelo tipo árbol un conjunto de factores y valores que de manera sistémica componen  un  determinado  concepto  u  objeto  de  evaluación.  Su  estructura  se  basa  en  la descomposición de estructuras complejas en sus componentes de manera jerárquica. Para ello, se asignan  valores numéricos a  las definiciones  y  valoraciones  realizadas por  los actores expertos, ayudando a definir la importancia relativa de cada componente en la explicación del fenómeno. 

La metodología considera el cumplimiento de tres principios: construcción de jerarquía, asignación de prioridades y consistencia lógica1. La construcción de la estructura jerárquica se completa cuando se definen  los  indicadores que permitirán medir el nivel alcanzando en cada uno de  los criterios terminales. Cada  indicador debe  ser elaborado  junto  con  su  respectiva escala de medida. Éstas deben también reflejar el juicio de los expertos, por lo que deben contar con su aprobación.  

Del  análisis  de  los  indicadores  fue  posible  identificar  y  posteriormente  diseñar  aquellos instrumentos de recolección de información o datos secundarios que permitirán proporcionar los antecedentes que informen el logro de cada indicador.  

 

 

                                                            1 El primero es la construcción de la jerarquía, e implica la elaboración del modelo general de evaluación del objeto y su descomposición en dimensiones y criterios. Este proceso se desarrolla con la participación de los actores expertos, que normalmente tienen discursos y valoraciones  disímiles.  Por  esto,  se  requiere  el  logro  de  consensos  fundamentales  entre  ellos,  satisfaciendo  un  conjunto  de requerimientos de  validez,  asociados  a  cuatro  axiomas:  reciprocidad, homogeneidad, dependencia  y  expectativas  (Saaty, 1994).    El segundo principio  se denomina  asignación de prioridades,  e  implica pedir  a  los  expertos que  asignen  juicios  al  comparar pares de elementos (llamados criterios o subcriterios) semejantes en cada nivel de una jerarquía, en relación a un criterio del nivel inmediatamente superior. La pregunta clave que deberá responderse es ¿cuánto más importante o preferible es un criterio sobre otro del mismo nivel, respecto al criterio del nivel inmediatamente superior? A partir de dichas prioridades se define una escala, cuyos valores se registran en una matriz cuadrada.  El vector propio principal de la matriz representa la síntesis de los juicios de los expertos, obteniendo las prioridades de  los  criterios o  subcriterios que  conforman  la  estructura  jerárquica  y  considerando un nivel  tolerable de  inconsistencia  entre  las valoraciones. El tercer principio del AHP es la consistencia lógica, la que tiene relación con el grado de dispersión de los juicios de valor emitidos por los diferentes actores y el cumplimiento de parámetros lógicos de organización de las prioridades. Para ello, el AHP provee de una teoría para revisar la inconsistencia de estos juicios, al que no debe superar el 10%. (Saaty, 1997). 

4 

 

 

Figura 1: Estructura jerárquica de la metodología multicriterio, AHP.  

 

I.IV. Método AHP aplicado al mejoramiento educativo. 

Considerando la metodología descrita, a continuación se describe el diseño que se ha definido para esta investigación.  

En primer lugar, se planificó construir un documento base2 de la discusión sobre el mejoramiento educativo a nivel de establecimientos educacionales, a partir de la revisión de la literatura nacional e  internacional. Este documento  fue discutido de manera separada por  los siguientes grupos de expertos  identificados  al  inicio de este  capítulo: 1) docentes, 2) directivos, 3)  asesores  técnico‐ educativo, y 4) investigadores. Para ello, la organización del trabajo será la siguiente. 

Una primera etapa del trabajo de campo consistió en la realización de focus group con los cuatro primeros grupos mencionados. A ellos se les entregó el documento base y se les pidió que ‐una vez habiendo leído el documento‐ fueran identificando y describiendo cuáles de los elementos descritos –u otros‐ caracterizan a una escuela chilena que está mejorando educativamente y de qué forma ello ocurre. Al final de la sesión, se presentó una gráfica que sintetizaba los principales elementos surgidos en la discusión, para la validación de los asistentes. 

La información recopilada en los focus group fue sistematizada y analizada. Luego, se avanzó hacia su síntesis en una primera propuesta de matriz jerárquica AHP, que permitiera incorporar los cuatro resultados obtenidos. Para avanzar en este proceso fue importante consignar que entre los grupos de expertos se observaron  importantes semejanzas en cuanto a  la  identificación de criterios que caracterizaban el mejoramiento educativo  y  su  valoración. De hecho no  se observaron grandes contradicciones en esta materia entre los participantes. 

La segunda etapa del  trabajo se  inició con  la validación de  la estructura  jerárquica. Para ello, se planificó realizar una reunión  individual con un representante de cada grupo de expertos, quien 

                                                            2 Se adjunta documento base utilizado, junto con sus referencias bibliográficas, en el anexo. 

5 

 

actuará como “vocero” de su grupo, validando  la propuesta de matriz, considerando  la discusión establecida en los focus group.  

La tercera etapa de trabajo consistió en el desarrollo de un taller en el que participaron los mismos voceros, más un representante de la institucionalidad educativa,  específicamente de la Agencia de Calidad de la Educación. Este representante se incluyó en esta etapa, porque la metodología indica que la estructura jerárquica debe también tener un criterio de factibilidad de aplicación, vinculada con que quienes están en la toma de decisiones opinen que es posible que la metodología se aplique (Arancibia, 2009). 

En esta jornada se realizaron las siguientes acciones: a) validar la estructura jerárquica, cumpliendo con  los cuatro axiomas definidos por el método y b) establecer  las prioridades entre  los criterios identificados.  Esta tarea se realizó con el apoyo de un software especializado para la metodología AHP, denominado Experto Choice. De esta forma, se contó con  la estructura jerárquica definitiva que da cuenta de presencia de procesos de mejoramiento en escuelas chilenas, de acuerdo a  los expertos. 

Finalmente,  la cuarta parte del proceso consistió en que, en base a  los acuerdos alcanzados  , se definieron los indicadores que permitirán el levantamiento de información respecto de cada criterio terminal de la estructura jerárquica, es decir, de las unidades de información más concretas que dan cuenta  de  la  presencia  de  procesos  de mejoramiento  en  escuelas  chilenas.  Cada  uno  de  estos indicadores  fue  validado por  cada  vocero  experto,  en una  reunión personalizada,  recogiendo  e incorporando los cambios y sugerencias emitidos por estos.  

Todo el proceso descrito fue apoyado y validado por una académica experta en la metodología AHP3. 

Posteriormente, en base a los resultados recién descritos, se realizó el diseño de los instrumentos de recolección de información y/ o la identificación de datos secundarios que permitirán levantar los  antecedentes  para  informar  a  cada  indicador  de  la  estructura  jerárquica.  Luego,  esos instrumentos fueron sometidos a una evaluación de validez de contenido. Para ello, se solicitó a dos jueces  expertos  analizar  el  instrumental  generado, desarrollando  con  ellos  ciclos  iterativos que permitan lograr el estándar de calidad idóneo en cuanto a validez. 

   

                                                            3 Se adjunta carta de compromiso y currículum vitae resumido de esta experta. 

6 

 

II. Detalle del proceso de investigación. . 

Este  capítulo  se describen  las  etapas que  se desarrollaron  en  la  investigación, hasta  llegar  a  la identificación  de  los  indicadores  e  instrumentos  de  recolección  de  información  que  fueron diseñados.  

II.I. Identificación de los grupos de expertos. 

La primera  acción propia  de  la  implementación del  proyecto  correspondió  a  la  identificación  e invitación de  los expertos que participarían de  los ciclos de discusión y definición de criterios de evaluación.  A  continuación  se  describen  los  criterios  de  selección  de  dichos  expertos  y  los procedimientos de invitación al trabajo. 

a) Directores de establecimientos educacionales: se identificaron directores, directoras, jefes y jefas de UTP de establecimientos de la Región Metropolitana. que han logrado ‐al menos en los últimos 2 años‐ alzas sostenidas en puntajes SIMCE. Se establecieron contactos con estos directores a través de invitaciones directas, a través de sus sostenedores y también a través  de  instituciones  que  les  brindan  asesoría  o  formación  profesional  docente. Participaron 7 personas en este grupo. 

b) Docentes:  se  identificaron profesores que participan de  establecimientos  educacionales que han logrado –a menos en  los últimos dos años‐ alzas sostenidas en puntajes de SIMCE, que sean además de establecimientos diferentes a los directores seleccionados del grupo anterior, de manera de resguardar una mayor variedad de establecimientos educacionales. Las invitaciones a estos docentes se cursaron con el apoyo de una institución que les brinda formación profesional continua. En este grupo participaron 8 docentes. 

c) Asesores técnicos educativos. Se identificaron ATES cuya experiencia sea al menos igual a los años de implementación de la ley SEP, para resguardar una mayor variedad y amplitud de  experiencias  de  asesoría.  A  ellos,  se  sumó  un  representante  de  asesoría  técnica ministerial  (ATP),  para  considerar  distintas  perspectivas  de  asesoría  a  establecimientos educacionales. En este grupo participaron 7 expertos, los que fueron invitados de manera directa. 

d) Investigadores: Se identificaron instituciones, facultades y/o departamentos que estuvieran desarrollando o hayan desarrollado investigación en materia de mejoramiento escolar y se les hizo una invitación directa a participar en el trabajo. Siete investigadores participaron en este grupo. 

 II.II. Descripción del proceso de elaboración de la matriz jerárquica.  

7 

 

Habiendo identificado e invitado a los 29 participantes finales del proceso, se iniciaron acciones de preparación del trabajo con ellos. La más relevante correspondió a la elaboración de un documento base  relacionado  con  hallazgos  centrales  de  la  investigación  sobre mejoramiento  educativo  en escuelas,  los  que  fueron  organizados  en  función  de  variables  y  procesos  analíticos  clave.  Este documento no tuvo como finalidad la descripción de hallazgos específicos, sino el desarrollo de una propuesta  de  elementos  para  el  desarrollo  de  la  discusión  entre  los  expertos.  Se  adjunta  el documento base como anexo a este informe. 

Etapa 1. Grupos focales. 

Habiendo finalizado el documento mencionado, se planificó el desarrollo de 4 grupos focales, uno para cada tipo de experto. Para estos grupos de conversación se definió un guión de conversación que,  dependiendo  de  la  experiencia  de  cada  grupo,  abordó  las  características,  procesos  y condiciones en que se desarrollan los procesos de mejoramiento educativo en escuelas chilenas.  

Los grupos focales se desarrollaron en el siguiente orden: 1) investigadores; 2) directores y jefes de UTP; 3) ATES; 4) docentes.  

Etapa 2. Sistematización de la información recopilada. 

Con  posterioridad  a  la  realización  de  los  grupos  focales,  se  identificaron  los  atributos  y características comunes de los procesos de mejoramiento educativo en escuelas chilenas, señalados por  los grupos de expertos, así como  también  las diferencias entre ellos. Como primer hallazgo relevante se observó una alta congruencia entre los aspectos relevados por cada grupo y la ausencia de atributos valorados de manera contradictoria entre ellos. 

Este hallazgo favoreció que se tomara la decisión de realizar un primer proceso de sistematización de información. En él, se organizaron las características de los procesos de mejoramiento educativo en  tres  grandes dimensiones: 1)  impulsos  externos  al mejoramiento; 2)  gestión del  sostenedor orientada  hacia  el mejoramiento;  3) movilización  interna  del mejoramiento.  Cada  una  de  las variables descritas por los grupos fue organizada en alguna de estas grandes dimensiones. 

Etapa 3. Validación de la matriz.  

Una vez habiendo finalizada la primera propuesta de matriz, se realizó una ronda de reuniones de carácter individual con uno de los representantes de cada grupo de expertos. Esta reunión consistió en la presentación de la matriz que se desarrolló en base a los focus group, recibiendo comentarios y sugerencias de modificación de parte de los actores participantes.  Cada avance en la definición de la matriz, así como también la etapa 2 fue presentado y analizado técnicamente por la profesora Dra. Sara Arancibia, de la Facultad de Ingeniería de la Universidad Diego Portales. Esta académica actúa  como  contraparte  técnica  del  proceso,  debido  a  su  experticia  en  la  metodología  AHP, evaluando la calidad de su implementación en este estudio. Por lo tanto, las etapas de construcción y validación de la matriz fueron revisadas por la profesora Arancibia. 

8 

 

Etapa 4. Validación final de la matriz y priorización de los criterios. La última etapa desarrollada a la fecha correspondió a la validación de la matriz jerárquica definitiva, que fue construida en base a  las reuniones  individuales y a  la priorización de  los criterios que  la componen. Esta tarea se realizó en un taller presencial, al que asistieron los expertos, junto con una representante de  la Unidad encargada de  las visitas de evaluación de escuelas de  la Agencia de Calidad de la Educación, tal como estaba definido en el proyecto del estudio. 

En este  taller se  revisó de manera completa  la matriz  jerárquica, donde se definían  los criterios estratégicos,  los  subcriterios  y  los  criterios  terminales.  Junto  con  la  estructura,  se  elaboró  un “diccionario”, donde se definió cada uno de los criterios que componen la matriz, de manera de no generar confusiones ni que existan distintas interpretaciones de cada término. 

Posteriormente,  se  realizó  la  tarea  de  asignar  prioridades  a  los  criterios,  avanzando,  desde  los criterios  padre,  hacia  los  subcriterios  y  criterios  terminales.  Para  ello,  los  participantes  debían consensuar la valoración de la importancia de pares de criterios, respecto del objetivo de evaluar la presencia de procesos de mejoramiento en escuelas chilenas. Para desarrollar esta tarea, el taller se valió del uso de un software especializado para esta metodología, llamado Expert Choice.  

  

II.III. Matriz jerárquica. 

El resultado del proceso descrito fue una matriz jerárquica que desglosa en criterios el objetivo de medir  la presencia de proceso de mejoramiento  educativo en  escuelas  chilenas.  Esta matriz  se describe a continuación,  junto con el valor de prioridad que  les asignaron  los expertos. Además, cada criterio cuenta con una definición que señala cómo está siendo entendido por este proyecto, luego de la discusión realizada por los expertos. 

Teniendo en cuenta lo anterior, el objetivo general de la matriz jerárquica quedó definido como: Evaluar  el  grado  en  que  se  encuentran  presentes  procesos  de mejoramiento  educativo  en  las escuelas chilenas. 

El modelo plantea tres grandes dimensiones, que corresponden a sus criterios estratégicos. Por una parte, las características del apoyo que se recibe como impulso externo al mejoramiento educativo y el uso o provecho que se saca de dichos recursos. Ese criterio se ha denominado Impulsos externos al mejoramiento. En segundo lugar, las características y condiciones de la labor de administración y gestión de la escuela que están a cargo de su Sostenedor y se denomina Gestión del sostenedor orientada hacia el mejoramiento. Finalmente, el tercer criterio estratégico considera los procesos desarrollados  internamente  por  la  escuela,  orientados  hacia  el mejoramiento,  y  se  denomina Movilización interna del mejoramiento.  

A continuación se describe cada uno de estos criterios estratégicos, y los subcriterios que los componen 

Criterio Estratégico 1: Impulsos externos al mejoramiento (L:,145). 

9 

 

Este criterio está compuesto por: 

Incorporación de políticas educativas (L: ,698) 

Refiere a la medida en que la escuela utiliza en beneficio de su proceso de mejoramiento las estrategias, acciones, normas y recursos más representativos, implementadas desde el estado en materia educativa, que  tienen  como destinatario  y/o beneficiario  a  todas  las escuelas del sistema. Considerando la estructura del Sistema de Aseguramiento de Calidad chileno (SNAC), se han  identificado 3 grandes  impulsos:  la  información proveniente de  la medición externa de aprendizajes, la entrega de recursos financieros para el mejoramiento y la fiscalización para el cumplimiento de la normativa. A  continuación  se  ofrece  el  detalle  de  los  criterios  estratégicos,  subcriterios  y  criterios terminales  de  la  estructura  jerárquica  para  evaluar  la  presencia  de  procesos  de mejoramiento en las escuelas. Junto con ello, se señalan las definiciones de cada uno de los componentes de la matriz. 

 

Uso estratégico del SIMCE (L: ,250) 

Refiere al nivel de uso que la escuela da a los resultados de  la prueba SIMCE como un medio o insumo para el mejoramiento de la escuela. 

 

Uso de recursos SEP (L: ,500) 

Refiere al nivel de coherencia entre el uso de los recursos SEP en relación con objetivos, metas o necesidades del establecimiento. 

 

Aprovechamiento de la fiscalización (L: ,250) 

Refiere al nivel de aprovechamiento de la información que se obtiene  de los procesos de fiscalización de parte del estado, para apoyar  a la escuela a ordenar el trabajo interno.  

 

Incorporación del trabajo de ATE (L: ,302) 

Refiere al grado de aprovechamiento que hace la escuela de la Asesoría Técnica Educativa (ATE),  que  se  ofrece  como  recurso  técnico  para  orientar  y  desarrollar  sus  procesos  de mejoramiento  (puede  ser  entregada por  instituciones públicas o privadas).  Este  criterio intenta  capturar    las  características  y  condiciones  con  que  en  este marco  se  realiza  la Asesoría Técnica Educativa y se divide en 5 criterios terminales.  

 

Integración de la asesoría (L: ,181) 

Integración de la asesoría, que refiere a la medida en que los procesos de asesoría se han incorporado como insumos a la práctica cotidiana de las escuelas. 

Sentido de la asesoría (L: ,244) 

10 

 

Apunta al grado en que los integrantes de la comunidad educativa que correspondan, consideren que el trabajo de la ATE apunta hacia un objetivo valorado por la institución.  

 

Eficacia de la asesoría (L: ,244) 

 Eficacia de la asesoría; el que se refiere al cumplimiento de los objetivos declarados para la asesoría.  

 

Dominio de la demanda (L: ,332) 

Corresponde al grado en que la asesoría que recibe el establecimiento responde a necesidades o requerimientos que la propia escuela ha identificado y que valora como relevantes.  

 

Criterio estratégico 2. Gestión del Sostenedor orientada al mejoramiento (L: ,331) 

Está compuesto por los siguientes subcriterios: Gestión de recursos (L: ,400) 

Alude  a  las  condiciones  de  operación  y  facilitación  de  procesos  de  la  escuela,  que  son dirigidos desde el Sostenedor, como  institución que tiene un rol estratégico en favorecer los  procesos  de  mejoramiento  de  la  escuela,  apuntando  a  atributos  como  agilidad, proximidad y eficiencia del rol del sostenedor. Este subcriterio se divide en dos criterios terminales: a) agilidad y eficiencia en el uso de los recursos, que apunta a identificar el grado de celeridad y condiciones técnicas de uso eficiente en el uso de los recursos que necesita la escuela; b) disposición en el servicio, que alude a la medida en que el sostenedor es un real apoyo para resolver atingentemente y a tiempo las inquietudes y requerimientos de la escuela. 

 

Agilidad y eficiencia en el uso de los recursos (L: ,450) 

Apunta a identificar el grado de celeridad y condiciones técnicas de uso eficiente en el uso de los recursos que necesita la escuela) agilidad y eficiencia en el uso de los recursos, que apunta a identificar el grado de celeridad y condiciones técnicas de uso eficiente en el uso de los recursos que necesita la escuela.  

Disposición en el servicio (L: ,550) 

Alude a la medida en que el sostenedor es un real apoyo para resolver atingentemente y a tiempo las inquietudes y requerimientos de la escuela. 

 

Liderazgo pedagógico (L: ,600) 

11 

 

Refiere a  la capacidad del sostenedor de dirigir procesos de mejoramiento en red de  las escuelas, identificando necesidades y proyectando su desarrollo sustentable. Se subdivide en tres criterios terminales: a) Aporte de las políticas locales, es decir, el grado en que los planes y programas del Sostenedor favorecen o potencian  los procesos de mejoramiento interno de la escuela; b) Monitoreo de escuelas, es decir, la medida en que se cuenta con  y utiliza  sistemas  de  información  para  monitorear  los  procesos  de  mejoramiento  de  la escuela;  c) Gestión  de  redes,  esto  es  la  capacidad  del  sostenedor  de movilizar  a  otras personas e instituciones para entregar apoyos adicionales al desarrollo de la escuela. 

 

Aporte de las políticas locales (L: ,251) 

1. Es decir, el grado en que los planes y programas del Sostenedor favorecen o potencian los procesos de mejoramiento interno de la escuela. 

2.  Monitoreo de la escuela (L: ,581) 

Es decir, la medida en que se cuenta con y se utilizan sistemas de información para monitorear los procesos de mejoramiento de la escuela. 

Gestión de redes (L: ,168) 

Es la capacidad del sostenedor de movilizar a otras personas e instituciones para entregar apoyos adicionales al desarrollo de la escuela. 

 

Criterio estratégico 3: Movilización interna del mejoramiento (L:,524).  

Este criterio está compuesto de los siguientes subcriterios:  

Apropiación de la estrategia (L: ,410) 

Apunta  a  identificar  la medida  en  que  la  escuela  ha  sido  capaz  de  identificar  los elementos necesarios para su mejoramiento y protagonizar (o manejar la agenda) este propio proceso, considerando sus propias definiciones. Este subcriterio se divide en 2 criterios terminales: a) Relevancia práctica del Proyecto Educativo Institucional (PEI)  y apunta al grado en que las definiciones estratégicas del Proyecto Educativo Institucional se  expresan  de  manera  concreta  en  su  planificación  operativa  anual  (PME);  b) Sostenibilidad, que  recoge el grado en que el proceso de mejoramiento mantiene o potencia su desarrollo a lo largo del tiempo. Esto implica la existencia de 3 subcriterios terminales: 1) Normalización, es decir, el grado en que  la escuela ha podido superar dificultades concretas que impiden su concentración en procesos básicos de enseñanza; 2) Capacidad de abordar contingencias, lo que refiere al grado en que la escuela puede avanzar  en  su proceso de mejoramiento, de manera  relativamente  autónoma  a  las dificultades que surgen día a día; 3) data de incorporación de cambios, lo que apunta al grado en que  los procesos o estrategias de mejoramiento actuales sean producto de iniciativas o estrategias anteriores que se han ido mejorando.  

 

12 

 

Relevancia práctica del PEI (L: ,500) 

Apunta al grado en que las definiciones estratégicas del Proyecto Educativo Institucional se expresan de manera concreta en su planificación operativa anual (PME). 

Sostenibilidad (L: ,500) 

Recoge el grado en que el proceso de mejoramiento mantiene o potencia su desarrollo a lo largo del tiempo. Esto  implica  la existencia de 3 subcriterios terminales que recoge el grado en que el proceso de mejoramiento mantiene o potencia su desarrollo a lo largo del tiempo. Esto implica la existencia de 3 subcriterios  terminales que  recoge el grado en que el proceso de mejoramiento mantiene o potencia su desarrollo a lo largo del tiempo. Esto implica la existencia de 3 subcriterios terminales. 

Normalización (L: ,545) 

Es decir, el grado en que la escuela ha podido superar dificultades concretas que impiden su concentración en procesos básicos de enseñanza. 

Capacidad para abordar contingencias (L: ,273) 

Refiere al grado en que la escuela puede avanzar en su proceso de mejoramiento, de manera relativamente autónoma a las dificultades que surgen día a día. 

Data de incorporación de los cambios (L: ,182) 

Apunta al grado en que  los procesos o estrategias de mejoramiento actuales sean producto de iniciativas o estrategias anteriores que se han ido mejorando. 

Procesos y prácticas (L: ,179) 

Se refiere al grado en que las dinámicas y características generales de los procesos de trabajo  que  se  realizan  en  la  escuela  favorecen  o  potencian  la  implementación  de procesos de mejoramiento en la escuela. Ello implica considerar 3 criterios terminales: a) Procesos de autoevaluación, lo que implica conocer si la escuela cuenta con instancias o procesos de autoevaluación y en qué medida estos procesos  son  relevantes en  la dinámica  interna; b) Procesos de  rendición de  cuentas,  lo que  implica  reconocer  la existencia de mecanismos de rendición de cuentas interno y su grado de relevancia en la dinámica interna; c) Estructuración del trabajo, es decir, el grado en que los roles y funciones dentro del establecimiento están adecuadamente descritos y socializados.  

 

Procesos de autoevaluación (L: ,474) 

Implica conocer si la escuela cuenta con instancias o procesos de autoevaluación y en qué medida estos procesos son relevantes en la dinámica interna 

Procesos de rendición de cuentas (L: ,211) 

13 

 

Lo que implica reconocer la existencia de mecanismos de rendición de cuentas interno y su grado de relevancia en la dinámica interna. 

Estructuración del trabajo (L: ,316) 

 

Es decir, el grado en que los roles y funciones dentro del establecimiento están adecuadamente descritos y socializados.es decir, el grado en que los roles y funciones dentro del establecimiento están adecuadamente descritos y socializados. 

 

Funcionamiento y condiciones de los equipos y sus integrantes (L: ,410) 

Apunta a identificar la medida en que se encuentran presentes características, soportes y competencias disponibles en las unidades de trabajo que se desempeñan en la escuela y en sus integrantes. Este subcriterio se divide en los siguientes criterios terminales: a) cohesión  y  colaboración  de  los  equipos,  es  decir,  el  grado  en  que  los  diferentes estamentos  del  establecimiento  trabajan  coordinadamente  y  se  prestan  apoyo;  b) compromiso; que apunta al grado de involucramiento de los integrantes de cada equipo con  sus  propios  desafíos  y  los  del  establecimiento;  c)  desarrollo  de  competencias profesionales, que apunta a la medida en que los integrantes de  los equipos cuentan con conocimientos y habilidades profesionales idóneas para enfrentar su trabajo en el establecimiento; d) liderazgo del equipo directivo, es decir, el grado en que el equipo directivo, encabezado por su director es capaz de organizar e implementar una visión de mejoramiento para el establecimiento educacional.  

 

Desarrollo de competencias profesionales (L: ,474) 

Corresponde al grado en que los actores que participan de la gestión o implementación del proceso educativo cuentan y desarrollan conocimientos, habilidades y actitudes que les permiten desarrollar eficazmente su tarea. 

Liderazgo del equipo directivo (L: ,316) 

Apunta a la capacidad de los profesionales que tienen a cargo la conducción de un establecimiento educacional, de dirigirlo hacia el mejor despliegue de sus potencialidades y el cumplimiento de sus objetivos y metas. 

Director (L: ,600) 

Alude a las competencias técnicas, organizacionales, administrativas y relacionales que dispone el director para el desarrollo de su rol en la escuela. 

Equipo directivo (L: ,400) 

14 

 

Refiere a la capacidad, de parte del equipo de apoyo del director, de satisfacer sus requerimientos y solicitudes, así como de entregar aportes concretos al desarrollo del establecimiento y el logro de sus metas. 

Capacidad profesional Técnico pedagógica (L: ,211) 

 Dice relación con la calidad del trabajo técnico pedagógico en la escuela, tanto respecto de su planificación y evaluación de sus resultados, como de su implementación dentro de la sala de clase. 

Condiciones técnicas de UTP (L: ,598) 

Apunta a las competencias con las que la jefatura técnica de UTP cuenta para supervigilar y promover el desarrollo de procesos de enseñanza – aprendizaje de calidad dentro de la escuela. 

Capacidades profesionales de los docentes (L: ,402) 

Corresponde a las condiciones, dinámicas de enseñanza, logros y potencialidades de desarrollo de parte de los docentes del establecimiento. 

 

15 

 

 

 

 

Figura 2: Panorámica general de la matriz jerárquica. 

16 

 

III. Implementación de la segunda parte de la investigación. 

En  este  capítulo  se  presentará  el  resultado  de  la  segunda  parte  de  la  investigación,  donde  los criterios estratégicos y terminales elaborados en la etapa anterior, fueron traducidos en indicadores e  instrumentos de recolección de  información para  la evaluación de  la presencia de procesos de mejoramiento en las escuelas. 

A continuación se describirá la metodología a través de la cual se llevó a cabo este trabajo. 

En primer lugar, luego del consenso generado en la matriz jerárquica, se desarrolló un proceso de revisión de  literatura que tuvo como objetivo  identificar aspectos fundamentales que debían ser considerados en la evaluación de cada uno de los criterios de la matriz. Junto con ello, se recopiló información sobre estrategias y mecanismos de evaluación de la labor de las escuelas, identificando los ejes del debate en este tema y las principales sugerencias y recomendaciones que proporciona la  investigación  en  esta materia.  Los  aspectos  bibliográficos  enunciados  se  presentarán  en  la siguiente sección, antes de presentar cada instrumento de recolección de información. En el anexo se incluirán además las fuentes consultadas. 

Con esa información, se realizó un primer ejercicio de definir cuáles serían los indicadores que se utilizarían  para  evaluar  cada  uno  de  los  criterios  terminales.  Esta  definición,  elaborada  por  el investigador en base   a  la  literatura, fue posteriormente validada por  los representantes de cada grupo de expertos. 

Luego de validar los indicadores, se desarrolló la tarea de identificar qué instrumento o recurso de información sería necesario aplicar para lograr contar con los datos que requiere cada uno de los indicadores. 

El  producto  de  ese  trabajo  fue  una  primera  versión  de  los  instrumentos  de  evaluación  de  la presencia de procesos de mejoramiento en las escuelas. Al igual que en el caso de los indicadores, y tal como fue definido en el proyecto, se sometió la propuesta de instrumentos a una evaluación de la validez de contenido de cada indicador respecto de la matriz. Esta tarea fue realizada por dos especialistas,  uno  en  educación  y  otro  en metodología  de  la  investigación,  quienes  revisaron completamente  la relación de  la matriz con  los  instrumentos en base a una pauta de evaluación, entregando  su  opinión  como  árbitros.  Luego,  emitieron  un  informe  con  su  análisis  y recomendaciones. Finalmente, se  incorporaron  las sugerencias recibidas, dando por  finalizado el proceso de validación. 

Con esta última tarea se dio por finalizado el proyecto de investigación. 

A  continuación,  se  presentará  el  avance  recién  descrito,  partiendo  con  la  argumentación  de  la metodología general de evaluación que se desarrolló en el proyecto. Luego, se describirá el detalle de los indicadores definidos, su sustento basado en la literatura y se identificará el instrumento o recurso de información que se diseñó para su evaluación. 

17 

 

III.I. Descripción de la opción metodológica para la evaluación del mejoramiento. 

En esta  sección  se describirán elementos  y orientaciones  relacionados  con  la evaluación de  los procesos  de mejoramiento  educativo,  que  fueron  identificados  y  considerados  en  la  literatura académica sobre este tema. 

La evaluación de las escuelas y de sus resultados es un área que cuenta con múltiples acercamientos y perspectivas. En relación a su uso para las políticas públicas y la toma de decisiones en particular, se ha observado un tránsito desde el uso de indicadores globales de resultados –tales como los test de  aprendizaje  estandarizados‐  hacia  la  consideración  de  otros  insumos,  mecanismos  de aproximación al trabajo y desempeño escolar, e indicadores de funcionamiento y resultados de las escuelas. Este  fenómeno se ha constatado por  la necesidad de  favorecer  reflexiones evaluativas que, por un  lado sean más  justas, y por otro, que describan con mayor detalle  las condiciones y características en que se desarrolle el proceso educativo (Thomas, 2010; RAND, 2012). Junto con ello,  se han  constatado  también  importantes perjuicios  relacionados  con  la  toma de decisiones basada en uno o pocos indicadores, lo que ha conducido a algunos países a cambiar de estrategia de evaluación (Ng, 2012). 

De acuerdo a la OCDE (2013), la evaluación de una escuela debiera involucrar procesos relevantes tales  como  enseñanza  ‐  aprendizaje,  liderazgo,  administración,  clima  y  gestión  de  los  recursos humanos.  Para  abordar  estos  elementos  se  han  incorporado  diferentes  metodologías:  la autoevaluación, la evaluación externa a partir de visitas a la escuela y la comparación de éstas en función de indicadores o criterios estándar. Al igual que en el caso de los recursos de información, estas  tres metodologías  aportan  de manera  complementaria  al  proceso  evaluativo,  y  relevan algunos aspectos por sobre otros. 

Considerando lo anteriormente mencionado, el diseño de los indicadores para la evaluación de la presencia  de  procesos  de  mejoramiento  en  los  establecimientos  educacionales  ha  buscado desarrollar una mirada  amplia  y diversa  respecto de  este  fenómeno, de manera de ofrecer un panorama  más  claro  y  por  ende  justo,  respecto  del  trabajo  que  se  lleva  a  cabo  en  los establecimientos educacionales. De esta  forma, para cada  criterio  terminal  se  irá  justificando  la decisión de la metodología e instrumento que se aplicará para la evaluación, considerando criterios metodológicos, educacionales y prácticos. 

18 

 

III.II. Identificación de marco conceptual para la evaluación de cada criterio de la matriz, definición de los indicadores de evaluación e identificación de instrumentos. 

En este capítulo se proporcionara el detalle de los fundamentos bibliográficos y metodológicos que permitieron  la  identificación de  los  indicadores de evaluación de cada criterio de  la matriz. Junto con  ello,  se describirá  cada uno de  los  indicadores,  así  como el  instrumento de  recolección de información  que  será  necesario  para  contar  con  los  datos  necesarios  para  la  evaluación  del mejoramiento. 

A.‐ Criterio estratégico “impulsos externos al mejoramiento”. 

A.1.‐ “Incorporación de políticas educativas”. 

A.1.1.‐ Criterio terminal: Uso estratégico del SIMCE.  

Indicador: Porcentaje de acciones de análisis de resultados de SIMCE y desarrollo de estrategias metodológicas realizados por la escuela. 

Justificación (Fundamentos conceptuales y metodológicos): De acuerdo a Bruns, Filmer & Patrinos (2013), el análisis de la información provista externamente por mediciones de logro de objetivos o resultados educativos puede enriquecer de manera relevante los procesos de reflexión, revisión de las tareas de los equipos, definición de metas y autoevaluación. Esto ocurre si es que se considera un uso de la información como insumo para la gestión de los procesos y análisis de los resultados logrados por la escuela y si se incluyen y comprometen a sus participantes en estos procesos.  

Pese  a  lo  anterior,  el  SIMCE  puede  prestarse  para  procesos  que  entorpezcan  los  procesos  de mejoramiento. Uno de los vicios que la investigación sobre accountability educacional ha revelado es  la  existencia  de  “trampas”  que  pueden  realizarse  para  rendir  con  buenos  resultados  en  las mediciones externas, sobre todo cuando estos se vinculan a incentivos. Uno de los más relevantes es “preparar  la prueba”, es decir, adiestrar a  los estudiantes para  rendir buenos  test, utilizando tiempo de implementación curricular (Vazquez & Darling‐ Hammond, 2008).   

Teniendo ello en consideración, se ha definido incorporar una pregunta en una entrevista de visita al equipo directivo del establecimiento educacional, donde se pueda conocer: 1) qué acciones de análisis se realizan de los resultados del SIMCE, 2) si es que se vinculan con el análisis de la evaluación interna para brindar sentido a los resultados, 3) si se vincula este análisis con toma de decisiones y 4) si se involucra a los participantes de la comunidad educativa en ellos. De esta forma, se buscó indagar desde elementos más sencillos,  relacionados con  las  tareas de análisis de  los  resultados obtenidos, hacia la constatación de procesos más complejos, referidos al uso que se haga de esta información en la toma de decisiones de la escuela. 

Para calificar las respuestas, se utilizará una rúbrica que será aplicada por el evaluador, que busca detallar  el  grado  en  que  es  suficientemente  claro  las  acciones  declaradas  se  realizan  formal  y sistemáticamente. 

19 

 

Como apoyo a la implementación de esta pauta, al listado de acciones y procesos que se describen a continuación, se agregarán preguntas de verificación como la siguientes: ¿cuándo lo hicieron?, ¿lo hacen todos los años?, ¿quiénes participaron?, ¿cómo se formalizan los acuerdos?, ¿se incorporaron en el PME?, ¿se ha registrado lo que se ha hecho?, ¿Qué resultados ha tenido? Luego de hacer la verificación, el evaluador externo deberá marcar en la casilla correspondiente, para evaluar el grado de formalización y sistematicidad de la acción. 

¿En este establecimiento se realizan acciones como las siguientes respecto de la información que provee el SIMCE, específicamente en 2014?  

    No  se hizo 

Se  hizo,  pero no  es  claro cómo se llevó a cabo  y  no existe  registro de  ella,  ni  de veces anteriores  en que  se  haya hecho 

Se  hizo,  y  hay especificidad  en la realización de la tarea, aunque no  es  evidente que  sea  una tarea  que  se realice periódicamente  

Se  hizo,  hay especificidad en  la realización de  la  tarea  y es  claro  que se  realiza periódicamente. 

A  Realizan un análisis estadístico interno de los  promedios  obtenidos  en  resultados del SIMCE  

       

B  Realizan un análisis estadístico interno de los resultados de  los Niveles de Logro de SIMCE.  

       

C  Realizan un análisis de  los  resultados de SIMCE  vinculándolo  con  resultados internos de aprendizaje y con resultados de otras mediciones. 

       

D  Se  definen  estrategias  globales  desde  la UTP para todo el colegio. 

       

E  Se establecen acuerdos específicos entre UTP y profesores para definir acciones o estrategias  didácticas  o  metodológicas para enfrentar el diagnóstico ofrecido por el SIMCE en la sala de clases. 

       

20 

 

F  Informan  a  los  apoderados  sobre  las debilidades y fortalezas de los alumnos en relación a la prueba SIMCE. 

       

 

 

A.1.2.‐ Criterio terminal: Uso de recursos SEP.  

Justificación (fundamentos conceptuales y metodológicos): En el sistema educativo nacional, una de las principales fuentes de financiamiento para el mejoramiento educativo es la ley SEP. A través de su Plan de Mejoramiento Educativo  (PME)  las escuelas debieran destinar sus esfuerzos en el diseño e implementación de un programa de trabajo que permita mejorar sus debilidades y alcanzar sus objetivos. Sin embargo, la investigación realizada en esta materia permitió observar que los PME no siempre se vinculan con las principales necesidades de mejora de las escuelas y que ponen así como también que ponen mayor énfasis a la ejecución de acciones, que a los objetivos estratégicos a los que las actividades pueden aportar a los desafíos de la escuela (CEPPE, Fundación Chile, 2010).   

Por esta razón, este  indicador y  los 2 siguientes buscarán  identificar en qué medida se utilizan e implementan  los  recursos  SEP,  considerando  el  objetivo  del mejoramiento  educativo,  es  decir, entendiendo que  la  inversión y  las acciones  implementadas se orienten hacia un desafío que sea relevante para la escuela.  

Se  definió  que  este  objetivo  podría  lograrse  de mejor  forma mediante  el  uso  de  información secundaria, debido a que en ella aparecen con suficiente formalidad y claridad las prioridades que hizo la escuela en su PME, así como las características que tuvo el gasto de la subvención.  

Indicador 1: Priorización del gasto SEP en el mejoramiento educativo.  

Fórmula de cálculo: Porcentaje  total del monto del gasto asociado al PME SEP que se destinó a acciones  que  aportan  directa  o  indirectamente  al  mejoramiento  educativo,  expresado  en  los objetivos definidos para el PME en la escuela.  

Se analizarán los gastos asociados al PME, evaluando si es evidente su aporte (directo o indirecto) al logro de alguno de sus objetivos definidos en esta planificación, asumiendo que el PME es la gran planificación  operativa  de  la  escuela.  Luego,  del  total  de  gastos  analizados,  se  calculará  un porcentaje de aporte del gasto a los objetivos del PME SEP.  

Categoría de gasto  Ítem  de  gasto específico 

Monto  del  gasto  por ítem 

¿Favorece  de  manera evidente  este  gasto  el logro  de  algún  objetivo del PME? 

21 

 

1.‐ Sí (1 puntos) 

2.‐  Sí,  pero  de  manera indirecta (0,5 punto). 

3.‐ No (0 puntos). 

 

Indicador 2: .‐ Ejecución presupuestaria del PME.  

Fórmula de cálculo: Proporción de presupuesto total de PME SEP efectivamente gastado en el año, considerando información proporcionada en la Rendición de Cuentas anual del uso de recursos SEP. Se estima que este indicador es complementario al anterior, puesto que el real uso de los recursos es un indicador de la puesta en marcha de la estrategia de mejoramiento definida para el año. De esta forma, una baja ejecución presupuestaria debiese implicar una implementación incompleta de esta estrategia. 

Indicador 3: Implementación efectiva de acciones de PME 2013.  

Fórmula  de  cálculo:  Proporción  de  acciones  del  PME  2013  que  fueron  realmente  ejecutadas, considerando información de control interna de la escuela o el Sostenedor. Se incorporó este último indicador  para  proporcionar  información  que  la  ejecución  presupuestaria  no  puede  detallar, relacionada con cuáles fueron las actividades que finalmente se ejecutaron del PME, lo que permite identificar aquellas áreas que en la práctica tuvieron mayor relevancia para la institución durante el año. En contraste, se asume que  las acciones no ejecutadas tuvieron una menor relevancia en  la ejecución de la estrategia del PME. 

 

A.1.3.‐ Criterio terminal: Uso de la fiscalización para el mejoramiento.  

Justificación: en la misma línea relacionada con el uso de la información y evaluación que se efectúa externamente,  desde  el  estado,  respecto  del  funcionamiento  de  los  establecimientos educacionales, desde una lógica de resultados, la operación regular de una escuela debe contar con un  conjunto  de  elementos  que  son  mínimos  necesarios  para  su  correcto  funcionamiento, considerando las definiciones normativas de la educación. Estos son los insumos mínimos para el cumplimiento de  los objetivos y metas esperados por el sistema educativo, especialmente en un sistema orientados hacia los resultados como el chileno (Falabella, 2014). 

Por esta razón, de la misma forma que en el caso del SIMCE, se revisará en una entrevista con el equipo directivo del establecimiento la existencia de procesos y procedimientos relacionados con el cumplimiento de estos requisitos de operación, avanzando hacia  la  identificación de  los aspectos que están mayormente formalizados y logrados. Lo que se espera con este instrumento e identificar si el cumplimiento de esta normativa ha sido una oportunidad, o se ha permitido la instalación de 

22 

 

procesos  y  dinámicas  de  gestión  interno  relacionadas  con  el  cumplimiento  de  tareas,  la sistematización de  resultados y el monitoreo de  los procesos asociados de parte del equipo de gestión. 

Indicador:  Existencia  de  procesos  o  procedimientos  de  análisis,  prevención  y  corrección  de observaciones  realizadas  por  la  Superintendencia,  en  ámbitos  que  sean  competencia  del establecimiento.  

Fórmula de cálculo: Considerando Acta de Fiscalización con que  la Superintendencia reporta  los resultados de su visita a la escuela, se realizarán tres procedimientos:  

1)  Clasificación  de  resultados  de  la  fiscalización:  se  calcula  la  proporción  de  observaciones  (no conformidad) recibidas respecto del total de elementos a fiscalizar. En este caso, así como en los siguientes  procedimientos,  se  considerarán  únicamente  los  objetos  de  fiscalización  que  sean responsabilidad de cumplimiento de la escuela, así como los que se encuentran relacionados con su trabajo técnico pedagógico. 

2) En el caso de las no conformidades, se identificará la proporción de no conformidades que han sido resueltas a la fecha de la visita, así como las que están en vías de corregirse y las que no han sido corregidas. 

3) En relación con el cumplimiento de las observaciones en una futura fiscalización, se identificará la  presencia  de  protocolos,  encargados  y  seguimiento  de  responsabilidades  respecto  de  su cumplimiento,  considerando  los  procesos  que  recibieron  observaciones  de  parte  de  la Superintendencia.  

Cada uno de los procedimientos tiene un puntaje. La siguiente tabla describe su organización.  

Logro  Puntaje 

Sin no conformidades  1 

 Con no conformidades, pero están todas corregidas  0,8 

 Con no  conformidades  y  algunas están  sin  corregir, pero todas están siendo monitoreadas 

0,6 

Con  no  conformidades  y  hay  algunas  sin  corregir  y  solo algunas están siendo monitoreadas 

0,5 

Si no  conformidades, hay  aún  sin  corregir  y ninguna está siendo monitoreada 

0,4 

23 

 

Si  no  conformidades,  ninguna  está  siendo  corregida  y ninguna está siendo monitoreada 

0 

  

El instrumento para realizar este análisis es el siguiente.  

1.‐ Respecto de los siguientes aspectos relacionados con las inspecciones de la Superintendencia de educación y teniendo en cuenta la última Acta de Fiscalización: 

Proporción  de  no conformidades en acta, respecto  del  total fiscalizado 

 

No  conformidad  (1): ¿Sería  nuevamente sancionada  por Superintendencia de la Educación  si  viniera hoy? (Sí= 1/ No= 0) 

 

No  conformidad  (2) ¿Sería  nuevamente sancionada  por Supereduc  si  viniera hoy? (Sí= 1/ No= 0) 

 

No  conformidad  (3) ¿Sería  nuevamente sancionada  por Supereduc  si  viniera hoy? (Sí= 1/ No= 0) 

 

 

2.‐ Monitoreo del cumplimiento de las observaciones. 

¿Cómo  la  escuela monitoreará  el cumplimiento  de  las observaciones? 

Se  han diseñado protocolos formales: a) Sí  (1), existen;  b) 

Se  ha  definido un  encargados de cumplimiento de  esta obligación:  a) 

Se  ha  diseñado un  mecanismo de  supervisión del cumplimiento de la normativa: 

Se  hace  Supervisión periódicamente:  a)  Sí. (1);  b)  Sí,  pero irregularmente  (0,5); c) No se realiza (0) 

24 

 

Existen, pero informalmente (0,5); c) No  existen (0) 

Sí, existen para todas  las obligaciones (1); b) Existen, pero  solo para algunas  (0,5); c)  No  existen (0). 

a)  Sí  (1);  b) Existe, pero solo para  algunas obligaciones asociadas  (0,5); c) No existen (1) 

 

A.2. “Calidad y relevancia del trabajo de la ATE”. 

Justificación: De acuerdo a  la evidencia empírica disponible en  relación al  funcionamiento de  la asesoría  técnica educativa en general, y el de  las ATE en particular en Chile, ha sido  importante observar que este servicio aportará al desarrollo de procesos de mejoramiento, solo en la medida que cuente con determinados requisitos o atributos de calidad, teniendo como referente el cambio que apoyan o ayudan a producir en los establecimientos educacionales. De acuerdo con Bellei, Osses y Valenzuela  (2010), algunos de estos atributos son: flexibilidad para considerar  la realidad de  la escuela, con objetivos y metas claras, que vincule  la  labor de gestión con  la pedagógica, con un trabajo que se adecue a las necesidades y características de los participantes, con una metodología desafiante,  que  generen  y  cuenten  con  compromiso  y  participación  de  los  involucrados,  que disponga de insumos que permitan la evaluación de su trabajo,  y con profesionales idóneos, que trabajen junto con los docentes y equipo directivo. 

Teniendo en cuenta estos elementos, se ha definido una aproximación a la evaluación del trabajo y aporte de  las ATE al mejoramiento educativo  (en  todos  los criterios  terminales asociados a este aspecto), considerando una encuesta donde puedan valorarse estos atributos, de parte de quienes han estado más próximos a  la  labor de asesoría: el equipo directivo del establecimientos, quien también  tiene  responsabilidad  en  la  evaluación  formal  de  su  trabajo.  Sin  embargo,  se  estima necesario ampliar esta base mínima hacia  los docentes y otros  funcionarios  involucrados con  la asesoría, de manera de dar cuenta de forma integral de la implementación del servicio de asesoría técnica. 

Es  importante consignar que se utilizarán 4  indicadores para dar cuenta del aporte de  las ATE al desarrollo de procesos de mejoramiento en las escuelas. Con ellos se busca integra información de distinto tipo, que vayan desde su vinculación a necesidades o requerimientos priorizados por  las escuelas, hasta la valoración de los actores sobre su eficacia y relevancia. 

A.2.1.‐ Criterio terminal: Integración de la asesoría. 

Indicador: Capacidad de  la asesoría de  integrarse efectivamente a  los procesos de  trabajo de  la escuela. 

25 

 

Se ha construido un instrumento para ser respondido por el equipo directivo de la escuela (como base mínima, ampliable hacia  los docentes  involucrados), que analiza el nivel de  integración del trabajo de la ATE a los procesos del establecimiento educacional. Este cuestionario será respondido considerando la labor de la ATE que haya tenido un rol más relevante para la escuela durante el año y  será  respondido en  su conjunto por el equipo directivo del establecimiento. Este  instrumento cuenta con 7 enunciados descritos en una escala Likert, con 7 niveles de acuerdo. Considerando un máximo  de  puntaje  de  49  puntos,  se  identificarán  4  niveles  de  logro:  “muy  bueno”,  “bueno”, “regular” e “insuficiente” y los puntajes de corte serán definidos por los expertos.  

Debido a que en una escuela pudieron haber  intervenido varias ATE durante el año, se escogerá aquella que haya tenido mayor relevancia para el PME de la escuela, considerando como criterios de priorización: a) el monto del contrato de asesoría; b) la cantidad de acciones del PME a las que se vincula el trabajo de la ATE. 

Respecto de las ATEs que trabajaron en el establecimiento en el año, indique qué tan de acuerdo se encuentra  con  las  siguientes  afirmaciones,  donde  “1”  corresponde  a  que  está  totalmente  en desacuerdo, y “7” totalmente de acuerdo. 

  1  2  3  4  5  6  7 

Los actores de la comunidad educativa que están involucrados con la asesoría han participado activamente en el trabajo que llevó a cabo la ATE.    

             

La ATE ha considerado la opinión de los actores directamente involucrados con la asesoría, al realizar su trabajo. 

             

El  equipo  asesor  ha  considerado  los  tiempos  del establecimiento para realizar su trabajo. 

             

Ha existido un  clima de  confianza  y  respeto entre el equipo asesor y la comunidad educativa involucrada con su trabajo. 

             

Han existido mecanismos adecuados de comunicación entre el equipo asesor y el establecimiento educativo. 

             

El  equipo  asesor  ha  informado  oportunamente  sobre  sus decisiones,  acciones  realizadas  y  requerimientos  hacia  el establecimiento. 

             

La  asesoría  ha  establecido  vínculos  de  colaboración  o cooperación  con  otras  asesorías  o  ATE  que  trabajaron  en paralelo con ella en la escuela. 

             

26 

 

 

A.2.2.‐ Criterio terminal: Sentido de la asesoría. 

Indicador: Capacidad de la asesoría de abordar una expectativa relevante para la escuela. 

Se ha construido un cuestionario para ser respondido por el equipo directivo del establecimiento (como base mínima  ampliable hacia  los docentes  involucrados), que  cuenta  con  2  ítems  con  7 niveles de acuerdo en una escala tipo Likert. Las características del cuestionario son las mismas del criterio anterior. Considerando un total de 14 puntos, se definirán cuatro niveles de  logro: “muy bueno”, “bueno”, “regular” e “insuficiente” y su puntaje de corte será definido por los expertos.  

Respecto de las ATE con quienes trabajó en el establecimiento en el año, indique qué tan de acuerdo se encuentra con  las  siguientes afirmaciones, donde “1” corresponde a que está  totalmente en desacuerdo, y “7” totalmente de acuerdo. 

  1  2  3  4  5  6  7 

La asesoría recibida es valorada como un aporte a la solución de problemas centrales para la escuela.  

             

La asesoría recibida abordó un requerimiento relevante para el mejoramiento de la escuela.  

             

Los  resultados  de  la  asesoría  han  sido  valorados  por  la comunidad  educativa,  en  cuanto  a  aporte  para  el mejoramiento de la escuela. 

             

 

A.2.3.‐ Criterio terminal: Grado de eficacia de la asesoría.  

Indicador: Grado de eficacia de la asesoría. 

Fórmula de cálculo: Se utilizará como fuente de información la evaluación que oficialmente debe hacer la escuela del trabajo de las ATE que le entregan asesoría. De este cuestionario de evaluación oficial se seleccionaron 2 preguntas relacionadas con  la eficacia de  la asesoría  (1: “desarrollo de nuevas  competencias  o  habilidades”  y  2:  “Solución  del  problema  o  necesidad  que motivó  la contratación). Cada pregunta tiene un mínimo de 1 punto y un máximo de 7. Del máximo de 14 puntos posibles, se asignarán los niveles de logro “Muy bueno”, “Bueno”, “Regular” e “Insuficiente” y los puntajes de corte serán definidos por los expertos. 

Escala de medida: Proporción indirecta entre 0 y 1. 

A.2.4.‐ Criterio terminal: Dominio de la demanda.  

27 

 

Indicador: Necesidades priorizadas en el diagnóstico que fueron abordadas por asesoría. 

Fórmula  de  cálculo:  Proporción  de  necesidades  identificadas  en  el  diagnóstico  que  fueron abordadas por  la asesoría  (Fuente: PME). Se  identificarán: 1) el  total de necesidades que  fueron priorizadas en el diagnóstico que contaron con asesoría para su apoyo durante el año 2013; 2) las necesidades priorizadas en el diagnóstico que no tuvieron apoyo de una asesoría; c) las asesorías que se recibieron que no corresponde con necesidades priorizadas en el diagnóstico.  

Cuando la asesoría recibida corresponda a una necesidad priorizada se asignará el valor “1”. Cuando no exista una asesoría para una necesidad priorizada, se asignará “0”, al igual que cuando exista una asesoría  para  una  necesidad  no  priorizada.  Con  ello  se  obtendrá  la  proporción  directa  de necesidades priorizadas que recibieron asesoría. Se utilizará la siguiente tabla: 

N°  de  asesorías  vinculadas  a necesidad priorizada 

N° de necesidades priorizadas sin asesoría 

N°  de  asesorías  sin necesidades priorizadas 

     

     

 

 

B. Criterio estratégico “Gestión del Sostenedor orientada al mejoramiento”. 

B.1.‐ Gestión de Recursos. 

Justificación: Un factor fundamental para la gestión del mejoramiento de un establecimientos educativo  chileno  es  las  características  de  funcionamiento,  apoyo  y  vinculación  que  su sostenedor tenga con ellos, debido a su condición de administrador y financiador del trabajo educativo,  así  como  la  responsabilidad  legal que  tiene.  Junto  con ello,  los establecimientos municipales son parte de un gobierno local, por lo que forman parte de la política del gobierno de los territorios en los que participa, por esta razón son de alta relevancia para les escuelas las políticas educativas que este diseñe e implemente. Desde un punto de vista funcional, Espínola (2009) ha propuesto un conjunto de competencias de las que debiese disponer un sostenedor chileno,  las que se encuentran organizadas en  las siguientes dimensiones: gestionar políticas municipales, gestionar recursos humanos, financieros y de infraestructura; gestionar programas de acción educativa municipales, apoyo técnico e implementación curricular; gestionar Plan de Mejora y la asistencia técnica educativa; construir redes de cooperación y distribuir la expertise. Por su parte, la investigación sobre la implementación de la Ley SEP también ha relevado que, junto con  los elementos descritos, el aporte del Sostenedor en materia de  la agilidad, apoyo para  la  gestión  de  recursos  y  posesión  de  un  liderazgo  educativo,  hacen  diferencias  en  la 

28 

 

implementación  del  Plan  de  Mejoramiento  y  son  altamente  valorados  por  las  escuelas (Fundación Chile, 2010; Carrasco, 2013). 

Teniendo ello en consideración, se ha elaborado un instrumento de carácter evaluativo sobre el sostenedor, el que se ha definido que sea respondido por dos actores. Una primera parte será contestada  por  el  equipo  directivo  del  establecimiento,  que  puede  brindar  una  imagen completa que tiene la escuela sobre el aporte del Sostenedor en materia del servicio prestado a las escuelas. 

En segundo lugar, se ha optado por incorporar la autoevaluación (al igual que en el caso de las escuelas),  utilizando  una  aproximación  de  “visita”  externa,  basada  en  una  entrevista  al sostenedor.  En  ella  se  consulta  a  él  respecto  de  los  procesos  que  genera  y  que  son  su responsabilidad: liderazgo educativo y políticas locales, gestión de redes y monitoreo del avance de las escuelas.  

En este caso, como se verá a continuación, se utilizarán variadas estrategias de recolección de información  para  evaluar  el  aporte  del  Sostenedor  a  los  procesos  de mejoramiento  de  la escuela. 

En el caso de los elementos que se vinculan con la autoevaluación del trabajo del Sostenedor, se utilizará la definición de los estadios o etapas de mejoramiento definidas por Hopkins (2008): 1) instalar el proceso, 2) diseñar el programa integral y 3) mantener el impulso. De la revisión en profundidad de esas etapas, es posible observar que es factible que exista un  importante espectro de escuelas que no han alcanzado aún la etapa 1 de manera completa. Por esta razón, se ha incluido un estadio inicial, que busca incorporar todos aquellos elementos que están aún por  alcanzarse,  o  que  no  se  han  logrado  de  manera  clara.  A  este  estadio  se  denominó “desarrollar las bases del proceso”. Considerando lo anterior, las fases que se considerarán son: 1) desarrollar las bases del proceso   2) instalar el proceso   3) diseñar el programa integral 

 4) mantener el impulso. 

 

B.1.1.‐ Criterio terminal: Agilidad en la gestión de recursos PME para la escuela.  

Indicador: Agilidad en la gestión de recursos PME para la escuela. 

Fórmula  de  cálculo:  Proporción  de  gastos  asociados  al  PME  2013  que  llegaron  al establecimiento  conforme  a  su  planificación  anual.  Se  aplicará  un  cuestionario  al  equipo directivo que filtrará en primer lugar si 1) todas las compras llegaron a tiempo, 2) si solo fueron algunas, o 3) si ninguna llegó a tiempo.  

En caso de las alternativas 1) y 3), se asigna un puntaje “1” si fueron todas, y “0”, si fue ninguna. La alternativa 2) se vincula con una pregunta adicional, donde se pregunta al equipo directivo si el porcentaje de compras que llegaron a tiempo fueron a) entre 1% y 25%; b) entre 26% y 50%, 

29 

 

c) entre 51% y 75% o d) 76% entre 99%. Este cálculo  se hace con el  listado de  las compras vinculadas al PME 2013 en mano. A cada alternativa se asignarán los siguientes proporciones de logro: Alternativa a= 0,2; Alternativa b= 0,4; Alternativa c= 0,6; Alternativa d= 0,8.  

 

1. ¿Diría usted que los recursos financieros, o la compra de bienes y servicios planificados en el PME llegaron conforme a los tiempos definidos en él?  

A  Todos  llegaron  a tiempo 

 

B  Una  parte  llegó  a tiempo 

¿Qué porcentaje sí llegó a tiempo? a) Entre 1% y 24%; b) Entre 26% y 50%; c) Entre 51 y 75%; d) Entre 76% y 99% 

C  Ninguno  llegó  a tiempo. 

 

  

 

B.1.2.‐ Criterio terminal: Disposición del Sostenedor en el servicio hacia las escuelas.  

Indicador:  Percepción  de  disposición  del  sostenedor  para  prestar  asistencia  y  apoyo  a  las escuelas. 

Se ha elaborado un cuestionario de 6 ítems destinado al equipo directivo del establecimiento, para  evaluar  la  disposición  en  el  servicio  del  Sostenedor,  específicamente  la  Jefatura  del Departamento de Educación, solicitando que se asigne una nota a un conjunto de atributos relacionados con  la asistencia y apoyo que  le proporciona el Sostenedor, en una escala  tipo Likert. El equipo directivo contestará un cuestionario, brindando su opinión consensuada. De su puntaje total (42 puntos), se calculará el porcentaje de disposición en el servicio del Sostenedor.  

 

Considerando una escala de 1 a 7, califique con una nota los siguientes aspectos de la relación de  apoyo  existente  entre  la  Jefatura  del  Departamento  de  Educación  del  Sostenedor  y  la escuela. 

  1 2 3 4 5  6  7

Disposición  para  brindar  apoyo técnico‐educativo  cuando  fue requerido por la escuela 

             

30 

 

Capacidad para brindar apoyo técnico – educativo cuando fue requerido por la escuela 

             

Disposición  para  brindar  apoyo administrativo‐financiero  cuando  fue requerido por la escuela 

             

Capacidad  para  brindar  apoyo administrativo‐financiero  cuando  fue requerido por la escuela. 

             

Disposición  para  responder  consultas referidas  a  procesos  o  requisitos solicitados por el Mineduc/ Agencia de Calidad/ Superintendencia. 

             

Proactividad  en  la  comunicación  y entrega de información sobre políticas lideradas por el sostenedor. 

             

 

B.2.‐ Liderazgo pedagógico. 

B.2.1.‐ Criterio terminal: Aporte de las políticas locales.  

Indicador: Nivel de aporte de las políticas locales al mejoramiento de la escuela. 

Se  realizará una entrevista al Sostenedor, donde  se  consultará  sobre  la orientación hacia  la mejora continua y resultados de sus políticas. Debido a que hay una gran diversidad de posibles políticas que definan  los sostenedores, se ha considerado utilizar el  instrumento que debiera contener la estrategia educativa del Sostenedor, que en el caso de las escuelas públicas es el PADEM.  

Para evaluar su aporte al mejoramiento, se consideró analizar el grado en que este instrumento se desarrolla e implementa considerando una lógica de mejoramiento continuo, que es una de las  medidas  más  transversalmente  aceptadas  como  relacionadas  con  el  mejoramiento educativo.  

Se  abordarán  los  4 momentos  que  caracterizan  normalmente  el  proceso  de mejoramiento continuo (diagnóstico   definición de objetivos   implementación y monitoreo   evaluación y toma de decisiones). Se consultará al Sostenedor respecto de si efectúa estos procesos en el 

31 

 

diseño, implementación y evaluación de su PADEM, utilizando preguntas de verificación de las respuestas.  

Las  respuestas  serán  evaluadas  en una  rúbrica que  considera  4 niveles,  los que  gradúan  la sistematicidad con la que se implementan acciones vinculadas a la gestión del PADEM. La pauta considera 5 de estas acciones y el entrevistador, en base a la conversación con el Sostenedor califica el grado en que estas acciones se han desarrollado sistemáticamente.  

 

  No se hizo 

Se  hizo, pero  no es  claro cómo  se llevó  a cabo y no existe registro de ella, ni de  veces anteriores  en  que se  haya hecho 

Se hizo, y hay especificidad en la realización  de  la tarea, aunque no  es evidente que  sea una tarea que  se realice periódicamente  

Se  hizo,  hay especificidad en  la realización de la  tarea  y  es claro  que  se realiza periódicamente. 

Identificar  requerimientos educativos de las escuelas. 

       

Definir  objetivos,  metas  y resultados para sus políticas. 

       

Registrar  y  analizar información  sobre  la implementación  de programas  y  acción educativa. 

       

32 

 

Evaluar a implementación de los  programas  de  acción educativa. 

       

Contar  con  procesos  y/  o resultados  objetivos  de mejoramiento  en  las escuelas. 

       

 

B.2.2.‐  Criterio terminal: Monitoreo de escuelas. 

Indicador: Nivel de monitoreo de las escuelas de parte del sostenedor. 

Se realizará una entrevista al equipo directivo del establecimiento, donde se consultará sobre el monitoreo que el Sostenedor realiza a las escuelas. Las respuestas se evalúan según la rúbrica de  tres niveles que definió Hopkins, más  el  nivel  adicional  que  se  incorporó.  Se  definieron descriptores  asociados  al  logro  de  cada  uno  de  estos  niveles,  considerando  los  contenidos proporcionados por el propio Hopkins (2008) para esa rúbrica.  

La entrevista al equipo del Sostenedor consiste en preguntar cómo desarrollan un conjunto de acciones relacionadas con el monitoreo de la escuela, que son definidas en la identificación de competencias  para  el  sostenedor,  descritas  por  Espínola  (2009).  Para  cada  una  de  las  6 competencias  vinculadas  con  monitoreo  de  escuelas,  el  evaluador  califica  el  estadio  de desarrollo en que ésta se encuentra.  

 

  1.‐Desarrollar las  bases del proceso. 

2.‐ Instalar  el proceso. 

Indicadores 

a) Focalización hacia  los objetivos  de mejora; 

b)  focalización hacia  el desarrollo  de capacidades; c) Compromiso 

3.‐  Diseñar el programa integral. 

Indicadores. 

a) Se enfoca en el  núcleo  al que  apunta  la estrategia;  

b)  desarrolla capacidades; 

c)  Incorpora innovaciones que  han  sido 

4.‐ Mantener el impulso.  

Indicadores 

a)  Se  afianzan las  capacidades de mejoramiento. 

b)  mejoran  las modalidades de trabajo  ya establecidas. 

33 

 

con  el mejoramiento.

d)  Identificar los  líderes  del proceso. 

e)  Obtener información sobre fortalezas  y debilidades 

f)  Organiza una  estrategia para  vincular acciones  con propósitos  de mejoramiento 

g)  Busca apoyos. 

f) Informa a los demás sobre el proceso 

documentadas como efectivas 

d) Comparte y desarrolla buenas prácticas 

c)  se  amplía  el repertorio  de estrategias. 

d)  Se  impulsan ciclos  de investigación más profundos; 

e)  Se incorporan otros actores al proceso. 

f) Se profundiza la comunicación de  buenas prácticas  y establecimiento de redes. 

 

Realizar  diagnostico educativo municipal 

   

Supervisa  la implementación  de planes  y  programas  de estudio. 

   

Asegurar  la implementación  del plan de mejora. 

   

Asegurar una adecuada de  la  asistencia  técnica educativa. 

   

Evaluar resultados de la asistencia  técnica externa 

   

34 

 

Asegurar  la continuidad de  las  acciones  de cambio 

   

 

 

B.2.3.‐ Criterio terminal: Gestión de redes.  

Indicador: Nivel de gestión de redes de parte del sostenedor 

Se realiza una entrevista al sostenedor, utilizando la misma rúbrica de evaluación de la pregunta anterior y un conjunto de 3 competencias descritas por Espínola, manteniendo la metodología señalada para el criterio anterior.   

  1.‐Instalar el proceso 

2.‐ Integrar  a toda  la escuela 

3.‐  Mantener el impulso 

4.‐  Construir un marco para el mejoramiento escolar.  

 

Desarrollar  alianzas  entre establecimientos educacionales 

       

Generar  convenios  de cooperación  de instituciones  públicas  y privadas. 

       

Asesorar  a  los establecimientos educacionales  en  la implementación  de experiencias exitosas. 

       

   

35 

 

C.‐ Criterio estratégico “Movilización interna del mejoramiento”. 

C.1.‐ Apropiación de la estrategia. 

C.1.1.‐ Criterio terminal: Presencia del Proyecto Educativo Institucional (PEI) en la planificación operativa (PME).  

Justificación:  el  PEI  es  el  instrumento  de  planificación  estratégica  de  los  establecimientos educacionales, y su expectativa es que se convierta en el referente desde el cual la institución defina sus prioridades, objetivos y metas, considerando su contexto e identidad, para que los programas  educativos  que  implementa  se  articulen  desde  estas  definiciones  estratégicas (Armijo, 2009). 

Teniendo en consideración lo anterior, para abordar la relevancia del PEI se definió medirla en su relación con las definiciones del PME anual, que es finalmente la programación de lo que la escuela desarrolla efectivamente durante el año escolar. Tal como se describió se trata de un análisis de información secundaria. 

Indicador:  Presencia  del  Proyecto  Educativo  Institucional  (PEI)  en  la  planificación  operativa (PME). Porcentaje de objetivos del PEI que son considerados en el PME. 

Fórmula  de  cálculo:  Se  considerará  el  total  de  Objetivos  Estratégicos  del  PEI  de  un establecimiento, y siguiendo la tabla que se describe a continuación, se clasificarán los Objetivos del PME 2013 que los consideran o abordan, utilizando las alternativas sí (1) y no (2). Se calculará el porcentaje de objetivos del PME que consideran Objetivos Estratégicos del PEI. 

 

Objetivo PME  ¿Es posible vincular este objetivo con algún Objetivo Estratégico de PEI? 

   

   

   

   

   

   

 

C.1.2.‐ Sostenibilidad. 

36 

 

C.1.2.1‐ Criterio terminal: Normalización. 

 Justificación:  Existe  un  conjunto  de  condiciones  mínimas  para  que  un  establecimiento educacional pueda dedicarse concentradamente a  los procesos de enseñanza y aprendizaje. Estas  condiciones  son  conocidas  comúnmente  como  “normalización”  y  apuntan  a  aspectos concretos y normalmente básicos que se convierten en condicionantes que favorecen el regular funcionamiento  de  un  establecimiento  educacional.  El  Programa  Interdisciplinario  de Investigación  en  Educación    y  Educación  2020  han  descrito  un  conjunto  de  atributos  de normalización, los que se consideran en la evaluación de este aspecto.  

Indicador: Grado de normalización de la escuela. 

Se ha elaborado un instrumento que considera indicadores de normalización de una escuela. Se realizará una visita especial de observación de estos indicadores en un día corriente de clases, evaluando  su  presencia  en  el  tiempo  de  observación.  Se  han  dividido  estos  indicadores, considerando si su presencia puede observarse de manera dicotómica (está presente o no está presente) o gradual (no se observa, se observa la menor parte del tiempo, se observa la mayor parte del tiempo, se observa todo el tiempo). En el primer caso se asigna “1” cuando el indicador está presente y “0” cuando no lo está. En el segundo caso se diseñó una rúbrica con 4 niveles de logro: “No se observa”, “Se observa en la menor parte del tiempo”, “Se observa en la mayor parte del tiempo”, “Se observa todo el tiempo”. El puntaje total del instrumento se vinculará con 4 niveles de logro “muy bueno”, bueno regular y malo. 

En base a observación de 1 día de la escuela, el observador completa la siguiente ficha: 

Indicador de normalización  No se observa Sí  se observa 

No aplica 

Los  estudiantes  llegan  a  la  hora  al inicio de clases 

     

La  escuela  está  en  condiciones sanitarias  aptas  para  atender personas  (baños  operativos, limpieza en las salas y en los patios). 

     

Los  servicios  básicos  de  la  escuela están  funcionando  (Agua  potable, electricidad, recepción). 

     

 

En base a observación de 1 día de la escuela, el observador completa la siguiente ficha: 

37 

 

Indicador de normalización  No  se observa en  la visita 

Se observa en  la menor parte del tiempo de  la visita 

Se observa en  la mayor parte del tiempo  e la visita 

Se observa durante  todo  el tiempo de  la visita 

Las clases tienen adultos a cargo         

Las  clases  se  inician  a  la  hora correspondiente 

       

Los  estudiantes  se  mantienen dentro de la sala durante la clase 

       

Los conflictos  son abordados por alguien, cuando ocurren 

       

Cuando  hay  conflictos,  estos  no alteran  de  manera  relevante  la rutina de  la escuela (si es que no se  observaron  conflictos, marcar “Se  observa  durante  todo  el tiempo”) 

       

Existen  rutinas  para  el  vínculo cotidiano  entre  el establecimiento,  sus  apoderados y alumnos (respecto de: irrupción de apoderados en sala de clases, estudiantes  atrasados  o expulsados,  diálogo  entre apoderados y estudiantes). 

       

No se observan personas extrañas deambulando por la escuela 

       

Los  funcionarios  del establecimiento  llegan  a  la  hora 

       

38 

 

correspondiente  para  iniciar  su trabajo 

 

 

C.1.2.2.‐ Criterio terminal: Capacidad para abordar contingencias.  

Justificación: Vinculado a este criterio terminal está la capacidad de las escuelas de avanzar con su trabajo, pudiendo responder a las contingencias que surgen regularmente. La investigación sobre  escuelas  que  operan  en  condiciones  de  vulnerabilidad  o  pobreza  muestra  que normalmente deben afrontar un conjunto de dificultades que complejizan aún más la labor de enseñanza (Wrigley, 2002). 

Considerando  lo  anterior,  los  insumos  necesarios  para  responder  a  este  requerimiento  de información serán difícilmente extraíbles de una conversación puntual o un cuestionario, así como tampoco con  información secundaria, porque estos aspectos de carácter cotidiano son poco  sistematizados.  Por  esta  razón,  se  ha  considerado  utilizar  la  información  del autodiagnóstico  de  prácticas  del  establecimiento,  que  anualmente  realizan  los establecimientos, en el marco del PME SEP. Este autodiagnóstico sitúa el nivel de desarrollo de una práctica en 4 niveles o estadios de mejoramiento. El concepto de práctica en este caso alude directamente a  la definición y operacionalización realizada por Mineduc en sus orientaciones para el autodiagnóstico institucional previo al PME SEP de cada año y alude a un conjunto de procesos propios de la gestión escolar, donde las escuelas deben autoevaluarse en cuanto a su logro, considerando los 4 niveles recién mencionados. 

De  la  experiencia  (no  sistematizada)  de  implementación  de  esta  autoevaluación,  se  ha observado que aún no está completamente calibrado el autodiagnóstico de las prácticas en los establecimientos, que en su juicio deben  lidiar con  la presión o  las dudas de qué ocurre si su autoevaluación  es  baja,  lo  que  habría  tendido  a  autoevaluarse más  favorablemente  de  lo esperado. Por esta razón, se ha definido que para este caso, así como para los otros indicadores que requieran del autodiagnóstico SEP, se considere un promedio aritmético de los resultados en  los  autodiagnósticos  de  dos  años  (2013  –  2014).  Junto  con  ello,  y  aprovechando  la incorporación de la metodología de las visitas externas de evaluación, se ha definido además incorporar la discusión sobre el estadio de desarrollo autoevaluado en una conversación grupal con el equipo directivo, utilizando las mismas rúbricas definidas por el Mineduc para esta tarea. Se considera que es tarea es adecuada para aumentar  la comparabilidad del autodiagnóstico entre  diferentes  establecimientos  educacionales.  Los  resultados  del  autodiagnóstico  son revisados en entrevista con el equipo directivo, validando externamente la calificación descrita desde la escuela. 

39 

 

Indicador: Promedio de resultados obtenidos en autodiagnóstico SEP respecto de prácticas del PME  relacionadas  con  la  capacidad  de  abordar  las  contingencias  (N°  35,  37,  46,  52  del Autodiagnóstico anual de las escuelas para el PME).  

Fórmula de cálculo: Se tomará como base el autodiagnóstico institucional del PME SEP en las prácticas que aluden a esta capacidad en dos años consecutivos, de manera de contar con un juicio más estable de autoevaluación y  luego validándolo externamente en una conversación con el equipo directivo del establecimiento.  

Se calculará el porcentaje de logro de la “capacidad para abordar contingencias”, considerando el nivel (1, 2 ,3 o 4) con el que se evaluaron las escuelas en cada una de las prácticas enunciadas anteriormente.  

 

C.1.2.3.‐ Criterio terminal: Incorporación del aprendizaje organizacional y noción de trayectoria en la toma de decisiones. 

Justificación: La  investigación sobre mejoramiento escolar se orienta y destaca  la noción de proceso,  lo que  implica  la  consideración  temporal de  las dinámicas  llevadas  a  cabo por  los establecimientos  educacionales  y  reconociendo  a  su  vez  que  solo  es  posible  avanzar  hacia estadios de desarrollo o de mejoramiento de manera gradual, apuntando hacia la sostenibilidad de los procesos (Hargreaves & Fink, 2006). 

Considerando  lo anterior,  se ha planificado evaluar  la presencia  la  condición de proceso en dinámicas de trabajo o decisiones tomadas por la escuela, teniendo en cuenta su programación operativa anual (PME) e indagando, bajo la metodología de la visita evaluativa si los objetivos allí definidos son producto de decisiones o acciones desarrolladas y/o reflexionadas en años anteriores al presente, o bien si se  trata de estrategias o apuestas nuevas, que no han sido producto de una maduración de las acciones o de una reflexión sobre una necesidad específica.  Nuevamente,  aquí  la  forma de  trabajo  corresponde  en el uso de una  rúbrica que  valora  la presencia de indicadores de la presencia del tiempo en la estrategia operativa diseñada en la actualidad, que ha sido diseñada especialmente para esta investigación. 

Indicador: Grado de incorporación del aprendizaje de años anteriores en prácticas actuales de mejoramiento. 

Se  aplicará  un  cuestionario  en  una  entrevista  con  el  equipo  directivo  del  establecimiento, consultando por el grado en que los objetivos del PME se vinculan con procesos de reflexión o acciones desarrolladas previamente, usando la tabla que se describe a continuación. Esta tabla cuenta con una rúbrica con 4 niveles de logro. Se analiza uno a uno cada objetivo del PME y se busca  indagar  en  la  relación  entre  estos  y  el  aprendizaje  de  procesos  y  estrategias implementados en años anteriores. Luego, el evaluador califica esta situación con el uso de la rúbrica, considerando cada objetivo por separado. 

40 

 

 

Para  cada  objetivo  definido,  se  desarrollará  una  conversación  que  se  sostenga  sobre  las siguientes preguntas:  

Teniendo en consideración los resultados que actualmente logra esta escuela en SIMCE, a) ¿Qué les llevó a decidirse por este objetivo en el PME?, b) ¿habían trabajado antes en él?, c) ¿por qué no eligieron otro?  

Para calificar cada objetivo considerando las preguntas descritas, se utilizará la siguiente pauta, que considera la presencia o ausencia de los siguientes criterios de evaluación:  

Objetivo  A.‐  los objetivos  y sus acciones pueden estar vinculadas con estrategias avanzadas desde  años anteriores 

B.‐  los objetivos  y acciones corrigen aspectos  de otras  de años anteriores que  no resultaron bien,  o  que había  que potenciar 

C.‐  el  equipo directivo reconoce  la existencia  de un  proceso de aprendizaje que  ha motivado a la incorporación de  estas acciones 

D.‐  se  proyecta la  expectativa de  analizar  lo que  ocurra  con estas  acciones, para  considerar su implementación en futuros años 

         

         

         

         

         

         

         

 

C.2.‐ Procesos y prácticas. 

41 

 

Justificación: El movimiento de la mejora escolar ha puesto especial  énfasis en la instalación de la cultura de la autoevaluación, como motor de procesos de mejoramiento escolar (Macbeath, 2011). La utilidad de la autoevaluación se vislumbra más allá de los resultados de información que  genere  y  se  posiciona  en  sus  efectos  en  el  desarrollo  de  sentidos  compartidos,  de organización del trabajo y de generación de prácticas de funcionamiento a nivel escolar.  

En  términos metodológicos  se  ha  definido  utilizar  la metodología  que  se  sostiene  sobre  el autodiagnóstico de prácticas del PME SEP y su rúbrica de calificación del nivel de desarrollo de prácticas. 

C.2.1.‐ Criterio terminal: Procesos de autoevaluación.  

Indicador:  Promedio  de  resultados  obtenidos  en  autodiagnóstico  de  prácticas  respecto  de dinámicas de autoevaluación.  

Fórmula de cálculo: Se considerará el autodiagnóstico de prácticas del PME SEP de dos años consecutivos, que apunten a la existencia de prácticas de autoevaluación en la escuela (prácticas a considerar: 6, 8, 13, 14, 16, 18, 26, 28, 29, 30, 35, 43, 59, 60). Al igual que en la capacidad para abordar contingencias, se calculará el porcentaje de  logro del conjunto de  las prácticas en el autodiagnóstico.  

 

C.2.2.‐ Criterio terminal: Procesos de responsabilización dentro de la escuela.  

Justificación: Los procesos de responsabilización están presentes en todo tipo de organización, y responden a la necesidad de éstas de vincular las tareas individuales, las funciones colectivas y los requerimientos u objetivos de la organización. Elmore (2010) indica que en una institución educativa estos procesos serán útiles al mejoramiento escolar, en  la medida que alineen  las definiciones  de  responsabilidad  individual,  las  de  responsabilidad  colectivas  y  los requerimientos del  sistema educacional.  Junto  con  lo anterior, estos  sistemas pueden estar mayor o menormente formalizados, pero es necesario conocer si ellos existen, identificando si hay alguien a quien rendir cuentas, sobre qué contenido se hace este proceso y si éste tiene algún efecto o consecuencia sobre las personas involucradas y la organización.  

Se  ha  definido  aproximarse  a  la  identificación  y  caracterización  del  sistema  de responsabilización de  la  escuela,  así  como  a  la  alineación  entre  sus  artes,  considerando un cuestionario  estructurado,  que  sea  respondido  por  los  funcionarios  del  establecimiento educacional. 

Indicador: Nivel de presencia de procesos de responsabilización dentro de la escuela. 

El  siguiente  instrumento busca medir  la presencia de procesos de  rendición de  cuenta que favorezcan los procesos de mejoramiento de la escuela, considerando el marco teórico que se 

42 

 

detalla para este criterio. Del puntaje máximo del cuestionario (con escala Likert), se definirán puntajes de corte con expertos para utilizar niveles de logro Muy Bueno, Bueno Regular y malo 

En relación a las funciones que usted cumple dentro del establecimiento: 

Indique  qué  tan  de  acuerdo  se  encuentra  con  las  siguientes  afirmaciones,  donde  “1” corresponde a que está totalmente en desacuerdo, y “7” totalmente de acuerdo.  

  1 2 3 4 5  6  7

En  este  establecimiento  todos tenemos  claro  ante  quién  somos responsables por nuestro trabajo 

             

Este establecimiento está preocupado de  que  el  personal  cumpla  con  los objetivos de su trabajo  

             

Cuando  aquí  alguien  no  cumple  con sus  responsabilidades,  puede  recibir sanciones o  afectar  su  carrera  futuro en el establecimiento 

             

Cuando aquí alguien sí cumple con sus responsabilidades,  normalmente recibe  alguna  felicitación  o mejoramiento de su condición  laboral en el establecimiento. 

             

Tengo  suficientemente  claro  los objetivos  que  el  establecimiento espera que yo logre con mi trabajo. 

             

Por  lo  general,  cada  una  de  las personas  que  se  desempeña  en  este establecimiento  tiene  claro qué es  lo que debe hacer. 

             

En  este  establecimiento  existen normas  y procesos  claros  y definidos para  las  obligaciones  de  los  distintos funcionarios. 

             

43 

 

En  este  establecimiento  todos compartimos  una  misión  común respecto  de  los  principales  objetivos que debemos cumplir. 

             

Por  lo  general,  cumplo  con  las responsabilidades que  se me  asignan en este establecimiento. 

             

En  este  establecimiento  las  personas tienen  gran  autonomía para definir  y desarrollar su trabajo. 

             

En  este  establecimiento  las  personas mayoritariamente  se  ponen  desafíos importantes para lograr. 

             

Nuestro  establecimiento  mantiene una  relación  de  colaboración  mutua con el Sostenedor. 

             

Nuestro  establecimiento  se  organiza para  alcanzar  las  expectativas definidas por el Currículum Nacional. 

             

Nuestro  establecimiento  le  da  la importancia que se merece a analizar los resultados del SIMCE. 

             

 

C.2.3.‐ Criterio terminal: Estructuración del trabajo.  

Indicador: Nivel de estructuración de prácticas de la escuela. 

Fórmula  de  cálculo:  Porcentaje  de  logro  de  la  totalidad  de  prácticas  consideradas  en  el autodiagnóstico  para  el  PME  SEP  de  dos  años  consecutivos.  Para  ello,  se  seguirá  la misma metodología  con  los  otros  indicadores  relacionados  con  este  instrumento  (capacidad  para abordar contingencias y autodiagnóstico). 

C.3. “Funcionamiento y condiciones de los equipos y sus integrantes”.  (Subcriterio “desarrollo de  competencias  profesionales,  no  se  considerará,  porque  es  redundante  con  los  otros subcriterios) 

C.3.1.1 Criterio terminal: Liderazgo del director.  

44 

 

Justificación:  El  liderazgo  educativo  es  una  variable  ampliamente  considerada  por  el movimiento  de  mejora  escolar,  a  la  hora  de  analizar  los  procesos  de  cambio  escolar. Considerada como el segundo gran factor explicativo de la eficacia escolar (Leithwood, 2006), el liderazgo pedagógico apunta a la medida en que el establecimiento, especialmente quienes detentan las funciones de líder son capaces de conducir a la escuela hacia los objetivos y metas esperadas,  involucrando  en  ese  proceso  a  la  comunidad  educativa  y  organizando  eficaz  y eficientemente el trabajo dentro de la organización y haca afuera de ésta. Anderson (2012) ha definido un conjunto de aspectos como componentes centrales del  liderazgo pedagógico,  los que  serán  considerados  en  el  instrumento  que  será  elaborado  para  su medición  en  esta evaluación. 

Considerando  lo  anterior,  así  como  las  definiciones  de  este modelo  de  considerar  tanto  el liderazgo pedagógico del director, como el del equipo directivo, se ha elaborado un cuestionario que debe ser  respondido por  los  funcionarios del establecimiento educacional, el que es de carácter estructurado y que considera las variables relevadas por Anderson.  

Indicador: Nivel de liderazgo del director.   

Se utilizará un cuestionario con enunciados relacionados con atributos del liderazgo educativo, donde  se  solicita  al  personal  de  la  escuela  que  califique  al  director  y  al  equipo  directivo, indicando el grado en que se encuentran de acuerdo con un conjunto de afirmaciones referidas a los mencionados atributos. En el caso del equipo directivo se considerará un subconjunto de los atributos del liderazgo del director, de manera de diferenciar los roles de ambos actores y vincularlos  de manera más  directa  con  sus  responsabilidades  específicas.  Considerando  su puntaje máximo, se calculará el porcentaje de logro de liderazgo del director.  

En  relación al  trabajo del director del establecimiento,  indique el grado en que éste aporta señale su grado de acuerdo con las siguientes afirmaciones:  

  1  2  3  4  5  6  7 

El director fomenta una visión compartida  sobre  los principales  objetivos  y metas del establecimiento. 

             

El  director  logra  que  la comunidad  educativa entregue  su  apoyo  para  el cumplimiento de  los objetivos de la institución 

             

45 

 

El director nos estimula a tener altas  expectativas  de  logro para  la  escuela  y  nuestros alumnos  

             

El  director  exige  que  exista atención  y  apoyo  individual  a los docentes 

             

El  director  genera  o  apoya oportunidades  para  el desarrollo  profesional  de  los integrantes  del establecimiento. 

             

El director aporta al desarrollo de  la  autoconfianza  de  los integrantes  del establecimiento. 

             

El  director  promueve  la existencia  de  procesos  de colaboración  entre  los integrantes  del establecimiento. 

             

El director organiza el  trabajo de  la  escuela  en  función  del logro  de  los  objetivos  del establecimiento. 

             

El director establece y fomenta relaciones  de  colaboración entre el establecimiento  y  las familias de los estudiantes. 

             

El  director  desarrolla  y/o fomenta  la  existencia  de vínculos entre  la escuela y  las  organizaciones de su entorno. 

             

El  director  se  asegura  que existan  condiciones 

             

46 

 

profesionales idóneas para los objetivos del establecimiento. 

El  director  entrega o propicia la existencia de apoyo técnico a los docentes. 

             

El director  lidera  los procesos de monitoreo de  las prácticas docentes. 

             

El  director  monitorea  los resultados de aprendizaje. 

             

El  director  entrega orientaciones  a  los funcionarios para que puedan cumplir  con  sus responsabilidades. 

             

 

C.3.1.2.‐ Criterio terminal: Liderazgo del equipo directivo.  

Indicador: Nivel de liderazgo del equipo directivo. 

Índice  de  liderazgo  del  equipo  directivo  en  base  a  cuestionario  a  funcionarios  del establecimiento, considerando un subconjunto de  los  ítems utilizados para evaluar el trabajo del director. 

En relación al trabajo del equipo directivo del establecimiento,  indique el grado en que éste aporta señale su grado de acuerdo con las siguientes afirmaciones:  

  1  2  3  4  5  6  7 

El equipo directivo  fomenta una visión compartida sobre los  principales  objetivos  y metas del establecimiento. 

             

El  equipo  directivo  entrega atención  y apoyo  individual a los docentes 

             

47 

 

El equipo directivo aporta al desarrollo  de  la autoconfianza  de  los integrantes  del establecimiento. 

             

El equipo directivo participa de  procesos  de  trabajo colaborativo  con  otros integrantes  del establecimiento. 

             

El equipo directivo ayuda al director  a  propiciar condiciones  profesionales idóneas  para  los  objetivos del establecimiento. 

             

El  equipo  directivo  brinda apoyo  técnico  a  los docentes. 

             

El  equipo  directivo  ejecuta labores de monitoreo de las prácticas docentes. 

             

El equipo directivo participa del monitoreo los resultados de aprendizaje. 

             

 

 

C.3.2.1.‐ Criterio terminal: Condiciones Técnico pedagógicas de la escuela. 

Indicador: Nivel de desarrollo del trabajo técnico pedagógico de la escuela. 

Cuestionario para el personal del establecimiento con una escala Likert entre 1 y 7, donde se evalúa en qué medida están presentes dinámicas relevantes para el trabajo técnico pedagógico de la escuela. De su puntaje final obtenido en el cuestionario, se obtiene un porcentaje de logro de este indicador. 

48 

 

Junto con el  liderazgo pedagógico,  los procesos de mejoramiento educativo  requieren de  la presencia de prácticas concretas que estén  instaladas en el ámbito técnico pedagógico, cuya existencia ayuda a asegurar los procesos de reflexión pedagógica, monitoreo de aprendizajes y apoyo a docentes y estudiantes que deben existir para avanzar en el  logro de aprendizajes (Leithwood, et. al, 2006).  

En ese contexto, se ha diseñado un cuestionario estructurado que debiese ser respondido por los  funcionarios del  establecimiento, donde  se  consulta  sobre  el nivel de  instalación de un conjunto de prácticas necesarias de existir en la labor técnico pedagógica.  

Señale  en  qué  grado  está  usted  de  acuerdo  con  las  siguientes  afirmaciones,  donde  “1” corresponde a completamente en desacuerdo y “7” completamente de acuerdo.  

Pregunta  1 2 3 4  5  6 7

Este  establecimiento  –dentro  de  sus posibilidades‐  facilita  el  desarrollo  de actividades formación de docentes, vinculadas a sus necesidades y objetivos        

 

  

     

Este  establecimiento  trabaja  para  asegurar que el trabajo de los docentes se oriente hacia el logro de los objetivos de la institución.       

 

  

     

Este  establecimiento  define  sus  objetivos teniendo  en  consideración  las  metas  que espera lograr con sus estudiantes.       

 

  

     

En este establecimiento  se  toman decisiones de gestión curricular, basadas en los resultados de las pruebas y exámenes de los estudiantes.      

 

  

     

En  este  establecimiento  se  trabaja  sobre  la base del cumplimiento de objetivos y/ o metas que deben alcanzarse en el año.       

 

  

     

Cuando un docente tiene problemas en la sala de  clases,  en  el  establecimiento  se  toma  la iniciativa para ayudarle a resolverlo.       

 

  

     

Este establecimiento presta especial atención a  las  salas  de  clases  donde  es más  difícil  la enseñanza.       

 

  

     

49 

 

Este  establecimiento  informa  a  los  docentes sobre posibilidades de perfeccionarse.       

   

     

En  este  establecimiento  se  hacen  visitas regulares de observación en el aula.       

   

     

En  este  establecimiento  se  entregan sugerencias  permanentes  a  los  profesores sobre cómo mejorar sus clases.       

 

  

     

En  este  establecimiento  se  sigue de  cerca  el trabajo de los estudiantes.       

   

     

Este  establecimiento  está  preocupado  de analizar si las actividades que se realizan en la sala ayudan al logro de los objetivos educativos propuestos.       

 

  

     

 

3.2.2.2.‐ Criterio terminal: Capacidades profesionales de los docentes.  

Indicador 1: Promedio simple de resultados de los docentes en la Evaluación Nacional Docente, Docentemás.  

Fórmula de  cálculo:  Se  considerará  la  clasificación de  los docentes evaluados en el  sistema nacional  de  Evaluación  docente  en  los  últimos  3  años,  cuya  clasificación  se  compone  de  4 niveles. Se calculará la media de esos resultados y los expertos definirán puntajes de corte para los niveles de logro Muy Bueno, Bueno, Regular y Malo.  

50 

 

IV. Descripción del logro de los objetivos de la investigación. 

A  lo  largo de este  trabajo,  se han  ido abordando  las etapas que ha  involucrado  la  investigación desarrollada y  los productos  concretos que  se han podido diseñar, en base a  sus  resultados. El siguiente listado resume los productos que pudieron desarrollarse a partir de la implementación del proyecto. 

1. Elaboración de un marco conceptual sobre los procesos de mejoramiento educativo. 

2. Diseño de una matriz consensuada, basada en la metodología AHP, que identifica criterios estratégicos, subcriterios y criterios terminales. 

3. Consenso sobre la ponderación o el valor de cada uno de los criterios a la hora de evaluar el mejoramiento de una escuela. 

4. Argumentación de la aproximación metodológica a la evaluación del mejoramiento de las escuelas. 

5. Definición y validación de indicadores de mejoramiento asociados a cada criterio terminal. 

6. Definición y validación de instrumentos de recolección de información o datos secundarios que permitirán contar con los antecedentes que requiere cada indicador. 

 

A continuación se describirán algunas conclusiones del  trabajo de  investigación desarrollado. Se espera avanzar en su profundización en el lapso que resta hasta el término del proyecto 

Un primer elemento que ha sido posible vislumbrar luego de la implementación de la investigación y el levantamiento de los criterios de evaluación es la identificación de aspectos comunes entre el escenario chileno y la investigación sobre mejoramiento educativo en la investigación educacional, especialmente la relevancia de la apropiación de estos procesos de parte de la escuela. Con ello se confirma  la  importancia de  reconocer  las especificidades de  los procesos escolares a  la hora de evaluar su desempeño. 

Al  mismo  tiempo,  ha  sido  posible  reconocer  elementos  propios  de  la  realidad  chilena  en  la identificación de procesos de mejoramiento. Aquí resulta relevante la identificación de la labor del sostenedor como factor clave para la implementación de procesos de mejoramiento, reconociendo aspectos de gestión de recursos y sobre todo de liderazgo pedagógico. 

En  la misma  línea,  en  el  proceso  realizado  fue  claramente  relevado  el  concepto  de  liderazgo pedagógico, como componente central de conducción de los procesos de cambio en la escuela. Este factor es el único que se menciona en dos ocasiones (a nivel de sostenedor y dentro de la escuela). Junto con ello, se observó un consenso en que el liderazgo es más bien un atributo o función de las instituciones educativas y que éste descansa más allá de la figura de su director. 

51 

 

Junto con  lo anterior, se  identifica en  las políticas educativas  insumos muy  importantes para dar impulso a los procesos de mejoramiento, y se reconoce que ellos gatillan cambios, pero que no los generan por sí mismos. 

Si se revisa en detalle el conjunto de subcriterios que componen la estructura jerárquica, se observa que  los componentes de  los procesos de mejoramiento  son  fundamentalmente de dos  tipos: El primero refiere a condiciones de funcionamiento de la escuela, y apunta a la estructura que soporta los procesos de mejoramiento  (normalización en  la escuela, gestión eficiente de  los  recursos, o estructuración del trabajo, entre otros). 

Por  su  parte,  el  segundo  tipo  alude  al  desarrollo  de  competencias  individuales,  colectivas  y organizacionales (enseñanza, procesos de autoevaluación o uso de información).  

La investigación permitió constatar la importancia de contextualizar el uso de estos indicadores en la evaluación. En  la discusión de  los expertos se destacó que el conjunto de  indicadores debiera considerar el contexto social en que se encuentra  la escuela, como un  factor ponderador de  los resultados  de  la  evaluación.  Solo  así  se  podrá  incorporar  un  criterio  fundamental  para  una evaluación que además de comprensiva, sea justa.  

Si bien la Agencia de Calidad incluye visitas de evaluación relacionadas con estándares indicativos, la relevancia de  los resultados de esta evaluación no puede compararse con  la expectativa de  la ordenación de escuelas  y  su metodología para  realizar esta  tarea. Además,  solo algunos de  los criterios de mejoramiento educativo descritos en esta investigación son considerados actualmente en los estándares indicativos. Esta situación implica un amplio margen de desarrollo para incorporar los procesos de mejoramiento en la evaluación de escuelas chilenas.  

De  la  revisión  ex  post  del  diseño  de  los  indicadores  e  instrumentos,  junto  con  el  aporte  de  la académica  revisora  de  esta  investigación,  Dra.  Beatrice  Ávalos,  ha  sido  posible  identificar  un conjunto de aspectos que en la metodología diseñada no favorecen el logro completo del análisis de la presencia de procesos de mejoramiento y que debieran ser analizados con detalle para avanzar en su resolución. Estos elementos se relacionan con el levantamiento de información cualitativa que favorezca la identificación más fina de procesos involucrados en algunos de los criterios terminales que han sido diseñados.  

En  concreto,  algunos  criterios  terminales,  junto  con  los  instrumentos  diseñados  podrían  ser complementados  si  es  que  se  incluyen  elementos  adicionales  de  registro  o  sistematización  de información.  Ejemplos de  ello  corresponden  al  ámbito de uso de  resultados del  SIMCE o de  la fiscalización de la Superintendencia, por un lado, y a elementos relacionados con la instalación de determinadas prácticas dentro de las escuelas. En este tipo de criterios terminales, se ha sugerido generar información complementaria que permita una mayor comprensión de los fenómenos, más allá de la identificación de la presencia o ausencia de atributos.  

52 

 

Considerando  lo anterior, se vislumbra un área de mejoramiento para  la propuesta desarrollada, orientada a la tarea de generar instrumentos de carácter cualitativo para complementar algunos de los  indicadores. Sin embargo, es necesario señalar que antes de ello es necesario desarrollar una primera aplicación del instrumento, donde sea posible constatar esta limitación u otra. Finalmente, es útil recalcar a modo de reflexión que los instrumentos de evaluación, sobre todo de fenómenos complejos  como  el mejoramiento  educativo,  son  objetos  en  desarrollo,  que  requieren  de  una revisión permanente y colectiva, de manera de  ser periódicamente perfeccionados en base a  la evidencia empírica de su aplicación. Además, por su misma naturaleza, son construcciones en las que difícilmente se logra consenso completo y que están expuestas a la identificación de debilidades o carencias. Todos estos aspectos son importantes desafíos para el desarrollo de este mecanismo de evaluación y para otros en general. 

 

53 

 

V. Anexo 1.  

El concepto y las características del mejoramiento educativo en la discusión Educacional. Documento base utilizado para la discusión entre los expertos 

La noción de mejoramiento educativo está vinculada a la generación de cambios que vayan en la dirección de conducir de mejor forma la labor educativa al logro de sus propósitos. Por esta razón, su estudio se concentra en el análisis del proceso en que ocurren los cambios. La vinculación de los términos “cambio” y “proceso” aluden a  la  importancia del estudio de  la  implementación de  las transformaciones  educativas, preguntándose por  cuáles  son  los  elementos  en  ese proceso que ayuden a explicar cómo ocurre el mejoramiento educativo (Hallinger & Heck, 2010).  

¿Cuál es el foco del mejoramiento educativo? 

La  aproximación  que  cuenta  con  mayor  consenso  respecto  de  este  término  es  que  las transformaciones  debieran  orientarse  hacia  generar  cambios  en  el  proceso  de  enseñanza  – aprendizaje. Este espacio es identificado por Elmore (2010) con el término núcleo pedagógico. Éste está compuesto por la interacción dentro del aula entre el docente, el estudiante y los contenidos. Las dinámicas y acciones que resulten de esa interacción se relacionarán directamente con el nivel de  aprendizaje  y  la  calidad  educativa.  Considerando  esta  perspectiva,  si  lo  que  caracteriza  al mejoramiento  educativo  ocurre  en  la  sala  de  clases,  es  especialmente  relevante  el  rol  de  los profesionales de la escuela.  

Hopkins  (2008)  entrega  elementos  que  ayudan  a  complementar  las  aseveraciones  hechas  por Elmore: es una estrategia para el cambio educacional, focalizada en el aprendizaje y el rendimiento escolar, con especial énfasis en las prácticas en aula y en una gestión escolar que apoya los procesos de enseñanza‐aprendizaje (2008, p. 55).  

¿Cuáles son las características del proceso de mejoramiento educativo?  

Junto con su definición, hay un conjunto de elementos que han sido considerados como propios de los procesos de mejoramiento educativo. El primero de ellos es que es producto de una estrategia intencionada.   Al respecto, Levin (2009)  indica que el mejoramiento educativo se caracteriza por una direccionalidad orientada hacia el centro del sistema que se busca transformar, por lo que los procesos  que  se  desarrollen  debieran  orientarse  con  especial  énfasis  en  los  docentes  y  los estudiantes, buscando que  ambos  logren mejorar  su  vinculación  en  el proceso de  enseñanza  y aprendizaje.  

Considerando esto,  los procesos de mejoramiento debieran ser vistos como estrategias, o según indica Elmore (2010)‐ como teorías de acción. Estas son estrategias que se organizan en una visión y un relato que ayuda a que las personas puedan ser guiadas y mantenerse en la ruta definida, más allá de  las contingencias y surgimiento de problemas en el camino. Una teoría de acción debiera cumplir con los siguientes requisitos: 1) tiene que establecer una relación causal entre lo que cada 

54 

 

actor  hace  y  lo  que  constituye  un  buen  resultado  en  el  aula;  2)  tiene  que  ser  empíricamente refutable, es decir, que solo puede descartarse, si es que hay datos concretos que indiquen que no se están alcanzando las expectativas; 3) tiene que ser abierta, es decir, tiene que estar sujeta a una revisión permanente y un análisis cada vez más específico de las relaciones causales. 

 

Las estrategias de mejoramiento pueden provenir desde diferentes vías. Una de ellas es “desde abajo hacia arriba”, donde  los elementos que generan el cambio son factores  internos al espacio educativo y en que el cambio mismo se orienta hacia la institucionalización de las iniciativas que se han construido como solución a determinados problemas.  

Asimismo, otro tipo de estrategia para el mejoramiento educativo puede provenir desde “arriba hacia abajo”, que apunta a la instalación de transformaciones “desde afuera”, o partir de actores o instituciones externas a  la escuela. En este caso, se espera que estos cambios se  instalen de una manera sostenible a nivel de sistema.  

Por  último,  se  contempla  la  posibilidad  real  de  que  el  mejoramiento  educativo  se  genere considerando una combinación de las estrategias anteriormente señaladas.  

 

Siguiendo con la idea de estrategia, MacBeath (2011) indica que podrían identificarse tres posibles formas de enfrentar al mejoramiento educativo: como táctica, como estrategia y como desarrollo de capacidades. Para este autor, el mejoramiento solo ocurre cuando se vincula a procesos de largo plazo, invirtiendo en el desarrollo de capacidades de los actores educativos. Estas transformaciones involucran a la cultura de la escuela e incluyen transformaciones generadas “desde dentro” de la escuela, como también apoyo “desde fuera”, tarea que realizan las políticas educativas.  

 

Relevancia  del  contexto.  Adicionalmente,  con  el  transcurrir  del  análisis  de  los  procesos  de mejoramiento  educativo,  se  ha  constatado  que  es  indispensable  incorporar  en  el  análisis  los escenarios de alta  complejidad en  términos de  contexto en que  se  instala  todo  tipo de  cambio educativo, lo que genera altos márgenes de incertidumbre en la implementación de la estrategia. Guhn  (2009)  señala  que  en  contextos  reales,  todo  tipo  de  estrategias  operan  en  escenarios complejos y contextos culturalmente diferenciados. Por esta razón, el cambio educativo propuesto debiera analizarse desde una perspectiva multi‐nivel, puesto que  implica a estudiantes, padres, docentes, personal no docente, la comunidad, la administración educacional e incluso la cultura.  

 

¿Qué dimensiones del ámbito educativo están implicadas en los procesos de mejoramiento? 

55 

 

Hallinger & Heck (2010) entregan una primera demarcación gruesa a esta pregunta, señalando que el análisis del mejoramiento educativo pone énfasis en aspectos referidos al cambio organizacional y transformaciones en la cultura de las escuelas. Junto con ello, otros dos aspectos relevantes de estudio serían el liderazgo educativo y el cambio en las prácticas pedagógicas. A ellos se debe incluir la variable de tiempo, pues se comprende que estos procesos son de carácter longitudinal.  

A  estos  componentes más  típicos o  tradicionales,  los  autores mencionados  señalan que deben incorporarse el rol del contexto (por ejemplo, la composición estudiantil, el tamaño de la escuela y sus características socioeconómicas).   

Junto  con  ello,  se  ha  ido  consolidando  la  idea  que  el mejoramiento  educativo  es  un  tránsito, caracterizado por etapas. De acuerdo a Hopkins (2008) y Barber (2010), las escuelas transitan por un  camino  de mejoramiento,  que  va  desde momentos  básicos  e  iniciales,  a  incorporación  de dinámicas de mejoramiento, finalizando con la consolidación o institucionalización de la práctica de mejoramiento.  Ello  incide  en  que  las  prácticas  de  implementación  del  cambio  deben  ser diferenciadas, dependiendo de la etapa en que la escuela se encuentre.  

Claramente, una de  las dimensiones clave de  los procesos de mejoramiento educativo, es  lo que ocurre  con  los docentes de  los espacios donde ese  cambio  se  implemente. Considerando esto, Darling‐ Hammond (2010) señala que la pedagogía está altamente desafiada en la actualidad, pues los objetivos ahora buscan enseñar a niños de diferentes características, aprendizajes complejos y aplicados,  como  por  ejemplo  la  resolución  de  problemas.  Este  tipo  de  demandas  y  su contextualización requiere necesariamente que el mejoramiento educativo vaya de la mano con un desarrollo  profesional  docente  que  se  distribuya  homogéneamente,  es  decir,  que  haya  buenos profesores en todas las escuelas. Por ello, el cambio educativo debiera orientarse hacia apoyar la enseñanza de gran calidad y apuntar al aprendizaje de alto nivel.  Junto con  lo anterior, debiera existir un foco en que  lo docentes generen comunidades de aprendizaje, donde aprendan de  los otros y construyan y evalúen estrategias en conjunto (Datnow, 2011).  

¿Qué  caracteriza  al mejoramiento  educativo?  Elmore  (2010),  Hopkins  (2008)  y  Harris  (2012) señalan que el  factor movilizador de  la mejora  será el desarrollo de  capacidades, por  lo que el cambio involucra transformaciones en la cultura escolar orientadas hacia:  

• Un compromiso con el desarrollo del personal docente y el establecimiento de una comunidad de aprendizaje profesional; 

• Esfuerzos prácticos para  involucrar a  los profesores, a  los estudiantes y a  la comunidad en  las políticas y decisiones de la escuela;  

•  Enfoques  de  liderazgo  ‘transformacional’  que  estén  orientados  en  la  instrucción  así  como diseminados entre el personal de la escuela;  

• Estrategias de coordinación efectivas que aseguren  la consistencia de  las prácticas y fomenten altas expectativas a través de toda la escuela;  

56 

 

•  Una  atención  seria  a  los  beneficios  potenciales  de  la  investigación  y  reflexión  que  recoja información sobre el aprendizaje y los logros;  

• Un compromiso con la planificación conjunta para adaptar el cambio exterior a los fines internos (2012, p. 58). 

 

Siguiendo la reflexión de Hopkins, existirían 10 factores fundamentales del mejoramiento educativo: 

1.  Enseñanza  y  aprendizaje  son  consistentemente  buenos,  combinándose  una  cultura  de  altas expectativas, con buenas clases y evaluación.  

2. Currículo es equilibrado e interesante. 

3. El clima del aula promueve el orden y el disfrute.  

4. Buenas actitudes de los estudiantes hacia el aprendizaje (asistencia es alta, reconocimiento, voz)  

5. Liderazgo en la escuela, que incluya una visión clara, objetivos manejables, establecimiento de compromisos y uso de la información. 

6. Comunidades de  aprendizaje profesional, que  cuente  con  tiempo destinado  a  ello,  así  como oportunidades de desarrollo profesional permanente. 

7. Rendición interna de cuentas.  

8. Una gestión de recursos y del entorno que esté enfocada en el estudiante. 

9. Generar asociaciones y redes más allá de la escuela, involucrando a los padres y las instituciones de apoyo. 

10.  El  líder  es  el  encargado  de  organizar  estos  elementos,  orientándolos  en  una  estrategia  de desarrollo. (2008, p.103) 

Finalmente, desde una perspectiva general, Chrispeels & Harris (2006) indican que las tensiones que preocupan en la actualidad al análisis del cambio educativo son las siguientes: a) cómo buscar cerrar brechas de mejoramiento educativo, poniendo objetivos y marcos y al mismo  tiempo  inspirar a alumnos  y  profesores;  b)  qué  medidas  de  mejoramiento  muestran  tanto  los  resultados estandarizados para comparar y responden además a las expectativas de logro locales; c) cuál es el apropiado balance entre prácticas estandarizadas y diversidad local; d) cómo equilibrar la necesidad de autonomía y creatividad de  los docentes, con  la existencia, desarrollo y protagonismo de  las comunidades profesionales; e) cuál es el  rol del  liderazgo  interno y externo que otorgan mayor soporte a los procesos de mejoramiento; f) cómo hacer escalar reformas, combinando capacidades sistémicas y locales; g) cuál es el rol del contexto en el desarrollo exitoso de este proceso; f) cuál es el rol del accountability en este proceso; g) cuál es la relación y equilibrio entre la responsabilidad 

57 

 

de las escuelas por el aprendizaje de los estudiantes y el apoyo que debe entregar la sociedad en su conjunto para cerrar la brecha. 

Pauta de preguntas para la discusión. 

1.‐ Los procesos de mejoramiento educativo que usted ha vivido o estudiado, ¿En qué medida se han desarrollado, producto de una estrategia?, ¿Qué características tiene esa estrategia (¿Quién la planificó?, ¿Cómo?, ¿Por cuánto tiempo se implementó?), ¿Se trata realmente de un proceso? ¿Qué etapas pueden identificarse en él?  

2.‐ ¿Qué elementos comunes y qué diferencias han tenido estos procesos de mejoramiento, si se considera  el  contexto  en  que  se  desarrollaron?  (vulnerabilidad  social,  diferencias  culturales, regiones, ruralidad, historia del establecimiento educacional). 

3.‐  ¿Está  de  acuerdo  con  la  idea  de  que  el mejoramiento  educativo  es  un  tránsito,  y  que  sus características dependerán del estado de ese tránsito, por parte de la escuela? ¿Cuáles serían las necesidades de mejoramiento en escuelas donde ese tránsito sea inicial?, ¿Cuáles serían donde el tránsito esté más avanzado? 

4.‐ En el  texto se menciona un conjunto de elementos que han caracterizado a  los procesos de mejoramiento educativo. ¿Cuáles de ellos (u otros) han sido más relevantes en  los procesos que usted ha vivido o estudiado?  

5.‐ En el texto se puso énfasis en que la investigación se releva el desarrollo de capacidades de las instituciones  del  sistema,  como  factor  central  de  los  procesos  de  mejoramiento.  ¿De  qué capacidades estamos hablando (docentes, directivos, técnicos, asesores, política)? 

 

 

 

 

 

58 

 

VI. Referencias bibliográficas. 

Anderson, S.  (2012). Liderazgo Directivo: Claves para una Mejor Escuela. Extraído el 10‐06‐14 de www.fch.cl 

 

Barber,  M.  (2010).  How  Government,  Professions  and  Citizens  Combine  to  Drive  Successful Educational  Change.  In  A.  Hargreaves,  Lieberman,  A.,  Fullan,  M.,  Hopkins,  D.  (Ed.),  Second International Handbook of Educational Change (Vol. 1, pp. 261 ‐ 278). Dordrecht Heidelberg London New York: Springer Science+Business Media. 

 

Bellei, Osses, Valenzuela (2010) Asistencia Técnica educativa. De la intuición a la evidencia. Editorial Ocho Libros. Santiago. 

 

Bruns, B.,  Filmer, D., Patrinos, H.  (2011). Making  School work. New  Evidence on Accountability Reforms. The World Bank Washington D.C. 

 

Carrasco,  A.  (2013).  Seguimiento  de  las  herramientas  y  modelo  de  asesoría  que  apoyan  la implementación del plan de mejoramiento educativo en establecimientos que firman convenio de igualdad de oportunidades el año 2012. Ministerio de Educación. Santiago. 

 

Darling‐  Hammond,  L.  (2010).  Teaching  and  Educational  Transformation.  In  A.  Hargreaves, Lieberman, A., Fullan, M., Hopkins, D. (Ed.), Second International Handbook of Educational Change (Vol. 1, pp. 505 ‐ 520). Dordrecht Heidelberg London New York: Springer Science+Business Media. 

 

Datnow, A.  (2011). Collaboration  and  contrived  collegiality: Revisiting Hargreaves  in  the  age of accountability. Journal of Educational Change, 12, 147‐ 158. 

 

Elmore, R. (2010). Mejorando  la escuela desde  la sala de clases. (C. Santa Cruz, Trans.). Santiago: Fundación Chile, Fundación CAP. 

 

59 

 

Espínola,  V.  &  Silva, M.E.  (2009)    Competencias  del  sostenedor  para  una  efectiva  gestión  del mejoramiento educativo en el nivel  local: Una propuesta. En  foco educación, 3. Recuperado de http://www.expansiva.cl/media/en_foco_edu/documentos/11122009123954.pdf  

 

Falabella, A. (2014) The Performing School: Effects of Market & Accountability Policies. Education Policy Analysis Archives, 22(51). http://epaa.asu.edu/ojs/article/view/1315  

 

Guhn, M.  (2009).  Insights  from  successful  and  unsuccessful  implementations  of  school  reform programs. Jounal of Educational Change. Pp. 10:337–363. 

 

Hallinger, P. Heck, R. (2011): Exploring the journey of school improvement: classifying  and analyzing patterns of change in school improvement processes and learning outcomes, School Effectiveness and School Improvement: An International Journal of Research, Policy and Practice, 22:1, 1‐27. 

 

Harris,  A.  (2012).  Liderazgo  y  desarrollo  de  capacidades  en  la  escuela.  (C.  Santa  Cruz,  Trans.). Santiago: Fundación Chile, Fundación CAP. 

 

Hargreaves, A., & Fink, D. (2006). Estrategias de cambio y mejora en educación caracterizadas por su relevancia, difusión y continuidad en el tiempo. Revista de Educación, 339, 43 ‐ 58.  

 

Hopkins, D.  (2008). Hacia  una  Buena  Escuela:  Experiencias  y  Lecciones.  (C.  Santa  Cruz,  Trans.). Santiago: Fundación Chile, Fundación CAP. 

 

Leithwood, K., Day, C., Sammons, O., Harris, A. y Hopkins, D. (2006). Successful school leadership: What  it  is  and  how  it  influences  pupil  learning.    Research  Report 800.http://www.dcsf.gov.uk/research/data/uploadfiles/RR800.pdf 

 

Levin, B. (2009). Does politics help or hinder education change?. Journal of Educational Change. 10, 69‐ 72. 

 

60 

 

Mcbeath,  J.  (2011).  Liderar  el Aprendizaje  dentro  y  fuera  de  la  escuela  (C.  Santa  Cruz,  Trans.). Santiago: Fundación Chile, Fundación CAP. 

 

Muñoz, G. (2010). Planes de mejoramiento SEP: Sistematización, análisis y aprendizajes de política. Centro de Estudios de Política y Práctica en Educación. Santiago. 

 

Ng, Pak Tee.  (2012). An examination on  school accountability  from  the perspective of Singapore School Leaders. Educational Research Policy and practice. 

 

OCDE (2013). Synergies for Better Learning AN INTERNATIONAL PERSPECTIVE ON EVALUATION AND ASSESSMENT. Paris. 

 

Saaty,  T.  (1997).  Toma  de Decisiones  para  Líderes.  El  Proceso Analítico  Jerárquico,  la  toma  de Decisiones en un Mundo Complejo. RWS Publications. 

 

Shwartz, H.; Hamilton, L.; Stecher, B. ; Steele, J. (2011). Expanded measures of School Performance.  RAND Corporation. Prepared for Sandler Foundation. Extraído el 03‐11‐12 de www.rand.org  

 

Thomas,  S.  (2010).  Assessment  and  the  Evaluation  of  Institutional  Effectiveness.  International Encylopedia of Education, 3, 172‐ 180.  

 

Vasquez, J.; Darling‐Hammond, L. (2008). Accountability Texas‐Style: The Progress and Learning of Urban  Minority  Students  in  a  High‐Stakes  Testing  Context.  Educational  Evaluation  and  Policy Analysis, 30 (2) (Jun., 2008), Pp. 75‐110. 

 

Wrigley, T. (2004). School effectiveness: the problem of reductionism. British Educational Research Journal 30 (2).