PROCESOS DE ACREDITACIÓN DE PEDAGOGÍAS: UN ESTUDIO DEL QUEHACER DE LAS AGENCIAS

Informe final

Macarena Domínguez Martín Bascopé Carlos Carrillo Estebaliz Lorca Gabriel Olave

María de los Ángeles Pozo

Centro de Estudios de Políticas y Prácticas en Educación, CEPPE, UC

Un estudio financiado por el Consejo Nacional de Educación

 

1  

Contenido Resumen del proyecto: ........................................................................................................... 4 I. Introducción: ................................................................................................................... 5

La acreditación de las pedagogías en Chile ........................................................................ 5

Cobertura y resultados generales de los procesos de acreditación en Chile ....................... 6

II. ANTECEDENTES TEÓRICO-EMPÍRICOS ................................................................. 8 Aseguramiento de la calidad docente ................................................................................. 9

Funciones de los procesos de acreditación ¿fomento o accountability? ........................... 10

La acreditación de programas de pedagogía: requisitos de rigor de una evaluación para la rendición de cuentas .......................................................................................................... 11

Evidencias de validez y confiabilidad del proceso de evaluación de programas de pedagogía para su acreditación ......................................................................................... 15

III. OBJETIVOS DEL ESTUDIO ....................................................................................... 18 Objetivo General: .............................................................................................................. 18

Objetivos específicos y preguntas directrices: .................................................................. 18

IV. MARCO METODOLÓGICO ....................................................................................... 19 V. ESTUDIO 1 ................................................................................................................... 21

A. Objetivo: .................................................................................................................... 21

B. Metodología: .............................................................................................................. 21

Muestra y construcción de la base de datos .................................................................. 21

Descripción de la base de datos y primeros hallazgos descriptivos .............................. 22

Análisis de datos ........................................................................................................... 23

C. Resultados: ................................................................................................................ 24

Análisis gráfico ............................................................................................................. 24

Análisis multinivel ........................................................................................................ 25

D. Conclusiones del estudio 1 ........................................................................................ 27

VI. ESTUDIO 2 ................................................................................................................... 27 A. Objetivo: .................................................................................................................... 27

B. Metodología: .............................................................................................................. 27

2  

Muestra: ......................................................................................................................... 28

Recolección de datos: .................................................................................................... 29

Análisis de datos: .......................................................................................................... 29

C. Resultados: ................................................................................................................ 30

1. Análisis documental de la normativa para la acreditación de carreras de pedagogía 30

2. Coherencia entre los procedimientos de la normativa y de las agencias. ................. 40

3. Procedimientos no regulados por la normativa vigente ............................................ 45

D. Conclusiones del estudio 2 ........................................................................................ 52

VII.ESTUDIO 3 ................................................................................................................... 53 A. Objetivo: .................................................................................................................... 53

B. Metodología: .............................................................................................................. 53

Muestra y recolección de datos ..................................................................................... 53

Evaluación de los acuerdos: categorías utilizadas en el estudio ................................... 54

Creación de los instrumentos ........................................................................................ 56

C. Resultados: ................................................................................................................ 61

1. Respecto a la cobertura de los acuerdos .................................................................... 61

2. Coherencia interna .................................................................................................... 65

3. Análisis cualitativo de los acuerdos de acreditación ................................................. 67

D. Conclusiones del Estudio 3 ....................................................................................... 69

VIII. CONCLUSIONES Y DISCUSION FINAL ................................................................ 70 Anexos………………………………………………………………………………….78

3  

Resumen El estudio buscó analizar y comparar algunos de los procedimientos de la acreditación de carreras de pedagogía por parte de las agencias acreditadoras para avanzar hacia el aseguramiento de la calidad (QA) de los programas de formación inicial docente en Chile. La publicación de los resultados de acreditación y su obligatoriedad para las pedagogías, incorpora con fuerza el propósito de accountability y las evaluaciones utilizadas para este fin requieren, entre otros, asegurar su validez e imparcialidad, la independencia y neutralidad del evaluador y el cumplimiento de las condiciones estandarizadas de las evaluaciones.

Una revisión de la ley y de los documentos publicados por la Comisión Nacional de Acreditación (CNA), dejan entrever que existen vacíos que dejan a criterio de las agencias un amplio rango de su quehacer. Sería recomendable contar con descripciones –cuantitativas y cualitativas– de su actividad que permitieran progresar hacia la equivalencia de los procesos y resultados, cuestión que ha sido reconocida por CNA-Chile como el principal desafío de la nueva dirección.

Este análisis se enfocó en observar si existen sesgos o preferencias en la selección entre agencia-cliente, si los procedimientos concretos de los procesos de evaluación de programas son confiables o si dependen del criterio de la agencia y si los acuerdos de acreditación son documentos estandarizados (homogéneos) que informan respecto a los criterios e indicadores de evaluación de las carreras. Los resultados muestran que si bien las agencias cumplen la normativa vigente, los aspectos que están normados y que cuentan con descripciones precisas del modo de proceder adecuado por parte de la agencia son muy pocos en relación a la enorme cantidad de procedimientos y decisiones que debe llevar a cabo este organismo. Un ámbito donde esta falta de normativa es delicada es en la acreditación de carreras con múltiples sedes y en las acreditaciones conjuntas de carreras de la misma área (pedagogía básica y diferencial, etc.). En todos estos años se ha dado una cierta preferencia de determinadas agencias por determinados tipos de carreras (carreras con varias sedes, no selectivas, etc.), y esto podría verse como una suerte de “especialización” con efectos desconocidos. Los acuerdos de acreditación difieren enormemente en su forma, pero en general, describen el desempeño de la carrera en las 3 dimensiones y 9 criterios de evaluación de las agencias. Sin embargo, si se trata de describir el nivel de logro en los indicadores de esos criterios, la cobertura de los acuerdos es bastante más baja. La dimensión más incompleta en los acuerdos de acreditación redactados por la agencias es la primera, “perfil del egresado y resultados” y el criterio menos completo es el de “efectividad del proceso de enseñanza-aprendizaje”. Parece evidente que resta bastante para asegurar la confiabilidad del sistema y por ende, se hace necesario actualizar la normativa vigente.

4  

I. Introducción

La acreditación de las pedagogías en Chile

En Chile, desde el 2006 la acreditación de carreras de pregrado es obligatoria para las carreras y programas de estudio conducentes al título profesional de profesor. Desde que entró en vigencia la Ley 20.129 de Aseguramiento de la Calidad el 2006, la función de acreditación de carreras y programas de pregrado fue delegada a agencias privadas1. La Comisión Nacional de Acreditación (CNA) quedó a cargo de la autorización y supervisión de las agencias de acreditación2. Hasta la fecha 4 agencias han sido autorizadas por la CNA para acreditar programas del área educación.

El proceso chileno de acreditación de carreras y programas define tres etapas consecutivas a las que deben someterse las unidades académicas, estos son:

1) Evaluación interna: es el proceso mediante el cual una carrera reúne y analiza información sobre sí misma, a partir de criterios y patrones de evaluación definidos, con el fin de generar mecanismos de control de su calidad. Incluye información cuantitativa, cualitativa y de opinión que deben plasmarse en un informe de autoevaluación.

2) Evaluación externa: es realizada por un equipo de académicos o profesionales (pares evaluadores) que visitan la unidad académica, la observan, entrevistan a los principales actores y hacen un análisis exhaustivo del informe de autoevaluación para validarlo. La visita finaliza con un informe oral del comité de pares destinado al directivo máximo de la carrera, anticipando los aspectos centrales que posteriormente serán detallados en un informe escrito que no es vinculante. El comité de pares está compuesto de tres o más evaluadores, uno de los cuales lo preside. A este comité se agrega un profesional de la agencia, quien actúa como ministro de fe (sin funciones evaluadoras).

El comité de pares tiene como atribuciones:

1. Evaluar el grado en que la carrera o programa se ajusta a los criterios y parámetros establecidos;

2. Evaluar el grado de cumplimiento de los propósitos que la carrera o programa se ha definido; y

3. Validar el informe de autoevaluación.

3) Pronunciamiento o juicio de acreditación: el juicio de acreditación es realizado por la agencia (o la CNA) sobre la base de los criterios de evaluación, del informe de autoevaluación de la carrera, y el informe de pares evaluadores. Hay tres tipos de juicios:

                                                            1 También la acreditación de programas de magíster. 2 La CNA conduce además los procesos de acreditación institucional y de los programas de posgrado.

5  

• Acreditar la carrera por un plazo máximo de 7 años, indicando en los acuerdos correspondientes la fecha de término de la acreditación.

• No acreditar la carrera, cuando ella no alcance un adecuado nivel de cumplimiento de los criterios de evaluación y del perfil de egreso definido.

• En el caso de aquellas carreras impartidas en más de una sede, jornada o modalidad, la CNA podrá determinar que, en caso de incumplimiento de los criterios de evaluación, una de estas podrá resultar no acreditada. Respecto de aquellas sedes, jornadas o modalidades que cumplen con los criterios de evaluación, estas acreditarán por un mismo número de años (CNA Chile, “normas y procedimientos acreditación de pregrado”).

Los criterios de evaluación para carreras del área educación en régimen han sido definidos, previamente a 2006, por el Comité Técnico de Educación de la Comisión Nacional de Acreditación de Pregrado (CNAP). El documento establece tres dimensiones de evaluación, estas son: 1) Perfil de egreso y resultados, 2) Condiciones mínimas de operación y 3) Autorregulación.

Cobertura y resultados generales de los procesos de acreditación en Chile

El 2011, la situación de cobertura de la acreditación de pedagogías es la siguiente: Tabla n°1: Cantidad de carreras de pregrado acreditadas por área

Áreas del conocimiento Carreras acreditadas3

Total de carreras4 %

Administración y comercio

120 1700 7%

Arte y arquitectura 24 480 5% Ciencias 17 155 11% Ciencias sociales 49 624 8% Derecho 14 272 5% Educación 517 1160 45% Humanidades 5 144 3% Recursos naturales 27 274 10% Salud 64 871 7% Tecnología 157 2358 7% TOTAL 996 8088 12%

Como se observa en la tabla n°1 el área de educación es quien lidera la proporción de carreras acreditadas del total de carreras vigentes.

                                                            3 Se consideran carreras vigentes de instituciones autónomas, universidades, institutos profesionales, centros de formación técnica, FF. AA. de Orden y Seguridad. 4 Fuente: CNED, Índices 2011: http://www.cned.cl, http://indices.cned.cl, nov/2010

6  

Respecto a los resultados de las acreditaciones, de acuerdo a datos de la CNA, el área de educación presenta comparativamente el segundo porcentaje más alto de programas no acreditados (4.3% correspondiente a 18 carreras)5 y el con menor cantidad de años de acreditación comparada con las demás áreas. De las carreras acreditadas informadas en ese entonces por la CNA, un 62.8% tiene tres o menos años de acreditación y solo un 7% tiene seis o más años de acreditación tal como se ve en tabla n°2. Esto en comparación con otras áreas, presenta un panorama preocupante.

Tabla n.° 2. Resultado de acreditación de carreras de pregrado 2010

% de carreras acreditadas % total carreras del área 3 o menos 6 o más No acreditada En proceso Educación 62.8% 7.0% 4.3% 11.1% FF.AA y Orden 0.0% 0.0% 0.0% 0.0% Administración y comercio 20.3% 37.5% 2.8% 8.3% Derecho 9.1% 18.2% 6.7% 20.0% Tecnología 28.0% 24.8% 0.0% 12.6% Arte y arquitectura 28.6% 28.6% 0.0% 7.9% Ciencias sociales 34.5% 16.4% 0.0% 16.7% Recursos naturales 24.4% 17.8% 2.1% 2.1% Salud 31.3% 22.5% 1.1% 12.0% Ciencias 25.9% 25.9% 2.7% 24.3% Humanidades 16.7% 8.3% 0.0% 20.0%

Fuente: Comisión Nacional de Acreditación (CNA 2010), elaboración propia. El bajo índice de carreras no acreditadas (solo 18 de 517 carreras que se han sometido al proceso de acreditación) da razones para suponer que la mera acreditación no es garantía de calidad de un programa. Si se considerara la propuesta hecha recientemente por el Panel de expertos para una educación de calidad (2010) de exigir cuatro años de acreditación, la mayor parte de las carreras que hoy se hayan acreditadas no cumpliría con lo que se espera.

En la actualidad existen dudas de que el sistema esté cumpliendo con su principal cometido (Panel de expertos para una educación de calidad, 2010), cual es garantizar la calidad de un programa de formación inicial docente. Las señales en este sentido son considerables.

Desde el 2002 se ha observado un aumento explosivo de la matrícula y de la oferta de programas de FID acompañado de la disminución en su selectividad (Cox, Meckes y Bascopé 2011). Adicionalmente, expertos internacionales (OCDE, 2004) y nacionales (Comisión sobre FID 2005; Consejo Asesor Presidencial, 2006; Panel de expertos para una

                                                            5 Sin considerar a derecho que tiene un 6.7% que equivale solamente a una carrera sin acreditación, en comparación con las 18 carreras de educación.

7  

educación de calidad, 2010; Sotomayor et al., 2010; Felmer et al, 2008) han enfatizado la distancia observada entre la formación ofrecida y los requerimientos del sistema escolar. Los egresados chilenos han mostrado, además, magros resultados en el estudio comparativo sobre conocimientos disciplinarios y pedagógicos para enseñar matemática (TEDS-M) quedando ubicados en último y penúltimo lugar en el conjunto de 16 países participantes (según si se trata de profesores que enseñarán en el primero o segundo ciclo básico) (Ávalos y Matus, 2010). En consecuencia, la calidad de nuestra Formación Inicial Docente (FID) ha sido puesta en tela de juicio.

A pesar de que la CNA ha entregado una memoria de su gestión entre los años 2007 y 2010, no existe aún ningún dato acerca del quehacer de las agencias y ningún análisis de su gestión en términos comparativos. Esta falta de evidencias es especialmente crítica para un área en que la acreditación es obligatoria más aún si se cuestiona su efectividad.

Para que la acreditación sea la piedra angular de un sistema nacional de aseguramiento de la calidad de la Formación Inicial Docente (FID), se debe asegurar que el sistema sea confiable y en ese sentido, que las evaluaciones de las agencias sean comparables y consistentes entre sí, es decir, que las agencias sean imparciales y no una variable que influya en los resultados de la acreditación.

Este es un desafío reconocido por la CNA. Tal como lo ha declarado el nuevo presidente de la Comisión Nacional de Acreditación, Iñigo Díaz, “dentro de las tareas prioritarias se encuentran el desarrollo de los procesos de acreditación y el mejoramiento de los criterios y procedimientos aplicados. Asimismo, para CNA-Chile resulta indispensable fortalecer los procesos de supervisión de las agencias acreditadoras, de modo de asegurar equivalencia de criterios y procedimientos, así como la idoneidad de las decisiones de acreditación” (http://www.cnachile.cl/2011/02/conferencia/). La División de Educación Superior, del Mineduc, por su parte, anunció que el 2011 se realizará una auditoría internacional al sistema.

El presente estudio se pregunta por el grado de estandarización y confiabilidad del proceso de acreditación de carreras de pedagogía –analizando los procedimientos concretos que se llevan a cabo– para proveer evidencias que aporten a la disminución de la discrecionalidad en el quehacer de las agencias y contribuir al fortalecimiento del sistema.

II. Antecedentes teórico-empíricos La literatura especializada señala que, habitualmente, los sistemas nacionales de acreditación emergen principalmente asociados a dos factores (Mihailescu, 2004 en Scheele, 2009): (1) la emergencia de nuevas universidades –tensionando la creación de universidades independientes del Estado y la capacidad de los gobiernos de establecer regulación sobre el funcionamiento de estas– y (2) la masificación y diversificación de la

8  

educación superior. Lo anterior es concordante con el caso de Chile, pues según Zapata y Tejeda (2009), se ha transitado desde un modelo de educación superior para las élites a uno de masas y mercado, configurando un nuevo escenario y un conjunto de nuevas demandas y desafíos para la política educacional del área.

Debido a la importancia que en los últimos años ha probado tener –en el ámbito escolar– la calidad de un profesor sobre los resultados de los alumnos (Bravo, et al., 2008; León, et al., 2009; Kukla-Acevedo, 2009; Hanushek, et al 2005; Rivkin et al. 2005; Hanusheck, 2004; Barber and Mourshed; 2008), es importante que el mecanismo que puede regular la calidad de la formación de profesores en Chile sea capaz de garantizar la calidad de los programas de FID.

Aseguramiento de la calidad docente

La evidencia comparada (OCDE, 2005; Barber y Mourshed, 2008; Wang, et al., 2003) identifica como puntos estratégicos en el aseguramiento de la calidad de la preparación del cuerpo docente de un país:

• reclutar a quienes estudian para ser profesor de entre los mejores alumnos postulantes.

• monitorear y acreditar la calidad de los programas de formación de profesores, y • establecer requisitos para entrar al ejercicio profesional u obtener una

certificación definitiva como profesor.

Ingvarson y sus colegas (2011, por aparecer) analizaron las regulaciones de la FID de los 16 países participantes en TEDS-M, clasificándolos de acuerdo a su fuerza en estos tres mecanismos claves para el aseguramiento de la calidad (QA) de los futuros profesores, encontrando que mientras más débil es el sistema de aseguramiento, más bajos eran los resultados obtenidos por los egresados en las pruebas estandarizadas. En este estudio, Chile quedó clasificado en el grupo de países más desregulado y con un sistema de QA más débil, junto con Omán, Tailandia, Georgia y Filipinas.

Los países con sistemas fuertes de QA se caracterizan por estar a cargo de una agencia independiente con atribuciones para implementar enérgicas consecuencias para los programas no acreditados (cierre de los programas o suspensión de su financiamiento), estar referidos a estándares de proceso que son específicos para las pedagogías y en algunos casos también a estándares de resultados que deben ser alcanzados por los graduados (Ingvarson et al., 2011, por aparecer).

De acuerdo al estudio, países como Chile, con escasa o nula regulación, se caracterizan por:

9  

• Reclutamiento y selección: no presentan estándares mínimos que se deban alcanzar para ingresar a estudiar pedagogía (por ejemplo un puntaje que se deba superar en las pruebas de admisión) ni políticas para hacer de la profesión una carrera atractiva.

• Los procesos de acreditación son voluntarios u obligatorios, pero no existen atribuciones para cerrar los programas que no acreditan. La acreditación no se basa en estándares nacionales para los programas ni tampoco en estándares mínimos de resultados obtenidos por quienes se gradúan de ellos.

• Basta el título otorgado por la institución formadora para ejercer como profesor. No hay estándares para los graduados o si los hay, no se requiere aprobar una evaluación externa para poder acceder al ejercicio profesional. Tampoco existe un periodo de autorización provisoria con la correspondiente exigencia de aprobar una evaluación al término del periodo.

Aunque el estudio se realizó el 2008, y ha habido algunos cambios, es posible aseverar que esta caracterización del sistema de QA sigue vigente. A excepción de las iniciativas que buscan generar un mayor atractivo hacia la profesión (como mejorar las condiciones salariales de los profesores iniciales con buen rendimiento), las demás políticas recientemente implementadas, si bien se orientan en la dirección correcta, aun no representan un cambio que permita aseverar que Chile ha fortalecido su sistema de QA.

Sin duda, las nuevas iniciativas de política se han focalizado en los dos extremos del trayecto de formación –ingreso (Beca Vocación de Profesor) y egreso (Prueba Inicia)– sin prestar mayor atención a los restantes mecanismos de QA, particularmente a la acreditación de los programas de formación inicial, que será precisamente nuestro objeto de análisis.

Funciones de los procesos de acreditación ¿fomento o accountability?

Zapata y Tejeda (2009) identifican propósitos para los sistemas de acreditación en el ámbito internacional: 1) apoyo a la planificación institucional y del sistema, 2) fomento y mejoramiento continuo de la calidad, 3) información pública sobre calidad, 4) reconocimiento y rankings, 5) certificación de la calidad, 6) control y direccionamiento del financiamiento. Estos grandes objetivos pueden ser clasificados en dos grandes grupos: formativos (1 y 2) y de accountability (3 al 6). Si bien en Chile se ha enfatizado el propósito formativo de la acreditación6 entendida como el proceso central del sistema de aseguramiento de la calidad de la educación superior (que incluye acreditación institucional

                                                            6 Tal como lo expresara Eugenio Díaz, expresidente de CNA Chile, en el Seminario del Consejo Nacional de Educación, El aseguramiento de la calidad: ¿práctica ritual o efectos reales? (2010): …“el propósito del sistema es ayudar a las instituciones de la educación superior a mejorar la calidad de su gestión y de los servicios que entregan”, “el sentido del sistema [es] instalar una cultura de autorregulación de la calidad”. http://www.cned.cl/public/Secciones/SeccionSeminario/doc/69/cse_articulo941.pdf

10  

y de posgrados), sin duda la publicación de los resultados y la obligatoriedad en el caso de la acreditación de las pedagogías, incorpora con fuerza el propósito de accountability.

Sin perjuicio de los beneficios que el sistema chileno ha significado para el mejoramiento continuo de las instituciones (Scharager y Aravena, 2010), resulta interesante examinar en qué medida su diseño es consistente con una evaluación orientada a este fin, pues los procedimientos de evaluación con propósitos de rendición de cuentas (o con consecuencias), deben responder a exigencias distintas que las evaluaciones que tienen propósitos exclusivamente formativos, de mejoramiento continuo (o sin consecuencias).

Las evaluaciones utilizadas para accountability requieren, entre otras cosas, asegurar su validez e imparcialidad, contar con un referente o marco (estándares de contenido y de desempeño de aquello que se está evaluando), incluir medidas diversas o muestras de diversa complejidad, “puntos de corte” que distingan niveles de desempeño, mecanismos para eliminar o disminuir los sesgos y errores de medición, mecanismos de control del cumplimiento de las condiciones estandarizadas de las evaluaciones (Fuhrman, 2003; Ravela, et al, 2008). Estos mecanismos necesitan de un sistema diseñado para garantizar la independencia y neutralidad del evaluador y la estandarización de los procedimientos, instrumentos y criterios para asegurar la comparación de resultados. El cumplimiento de estos requisitos por parte del sistema de evaluación de programas para la acreditación en Chile es una cuestión que deberá probarse.

En última instancia, será necesaria en el futuro una metaevaluación de la evaluación de las pedagogías, entendida como aquella investigación sistemática cuyo objetivo es emitir un juicio acerca de la calidad o los méritos de una evaluación (Stufflebeam, 1995; Scriven, 1967, 1991). Este estudio pretende contribuir en ese sentido.

La acreditación de programas de pedagogía: requisitos de rigor de una evaluación para la rendición de cuentas

Como se dijo, el proceso de acreditación de carreras de educación involucra un sistema de evaluación de los programas FID que tiene consecuencias7 (como la publicación de sus resultados y la posibilidad de recibir alumnos financiados por el Estado), por lo que debe cumplir con lo que se ha planteado como exigencia para las evaluaciones tienen un propósito de rendición de cuentas.

La acreditación de las pedagogías constituye un proceso de evaluación y en ese sentido, se puede enmarcar en la tradición de la investigación evaluativa y sus aplicaciones, la evaluación de instituciones y la evaluación de programas (sociales, educativos, de salud, etc.). En este contexto, “la evaluación es el proceso de identificar, obtener y proporcionar                                                             7 Aunque para los expertos nacionales (Panel de expertos para una educación de calidad, 2010) e internacionales (Ingvarson et al., 2011, por aparecer), las consecuencias son muy débiles aun.

11  

información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de un objeto determinado con el fin de servir de guía para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados” (Stufflebeam y Schiklield, 1995, p. 183). Suchman (1967) vio la evaluación como la utilización de los métodos y técnicas de investigación científica utilizados con el propósito de evaluar. La evaluación de programas aparece como una modalidad de investigación aplicada dentro de la educación y de las ciencias sociales, donde las herramientas de la investigación social se ponen al servicio del ideal consistente en hacer más preciso y objetivo el proceso de juzgar (Correa, Puerta y Restrepo, 1996).

Según Boruch y Wortman (1979) no existe un modelo generalizado de investigación evaluativa. Al contrario, esta disciplina, a la par que la ciencia y la investigación en general, ha evolucionado de tendencias neopositivistas a corrientes constructivistas y naturalistas, categorizadas en cuatro “generaciones” por Guba y Lincoln (1989) a finales de los ochenta. Estas diferentes generaciones o corrientes difieren en 3 aspectos fundamentales: (a) la metodología empleada para establecer la verdad o basar las afirmaciones confirmatorias, (b) el papel asignado en el proceso de evaluación al evaluador en relación con el sistema, y (c) los objetivos que persiguen o su orientación básica (Borouch y Wortman, 1979).

Sin embargo, de acuerdo a Correa, Puerta y Restrepo (1996) por diferentes que sean las maneras de concebir el fin y los métodos de la evaluación, todas se refieren a la investigación y la apreciación de la eficiencia, eficacia, efectividad y relevancia social de una institución, programa o proyecto, para lo cual se requiere disponer de información sobre los insumos, los procesos y los productos o resultados. Cuanto más válidas, confiables y representativas sean estas informaciones, mayor será la posibilidad de reorganizar los fines y los medios de un programa o proyecto, de tal manera que este arroje resultados óptimos.

Stufflebeam y Shinkfield (1995) indican que cualquiera sea la intencionalidad de la evaluación esta debería enmarcarse en algunas de las normas del Joint Committee (1981);

a) Una evaluación debe ser útil (destacar las cuestiones de mayor importancia, lo bueno, lo malo, las virtudes y defectos y soluciones para mejorar, entregar informes claros de manera oportuna).

b) Debe ser factible (ser realista, prudente, práctica, emplear procedimientos que no conlleven demasiados problemas y con controles razonables).

c) Debe ser ética (asegurar la cooperación, honradez y protección de los derechos). d) Debe ser exacta (describir con claridad, libre de influencias y proporcionar

conclusiones válidas y fidedignas).

La Government Accountability Office de los Estados Unidos (2009) precisa que una evaluación confiable de los resultados requiere de experticia en investigación pero puede

12  

ser optimizada con entrenamiento y protocolos detallados y además, que la habilidad para identificar intervenciones efectivas se beneficiaría de 1) evaluaciones mejor diseñadas e implementadas, 2) reportes más detallados tanto sobre las intervenciones como sobre sus evaluaciones, y 3) más evaluaciones que comparen directamente intervenciones alternativas.

De acuerdo a Correa, Puerta y Restrepo (1996) la investigación evaluativa “establece criterios claros y específicos que garanticen el éxito del proceso, reúne sistemáticamente información, pruebas y testimonios de una muestra representativa de las audiencias que conforman el programa u objeto para evaluar, traduce dicha información a expresiones valorativas y las compara con los criterios inicialmente establecidos y finalmente saca conclusiones”.

Estos autores proponen los siguientes criterios científicos para la evaluación:

1. Validez: la evaluación debe reflejar una correspondencia inequívoca entre la información y el aspecto de la realidad que se evalúa, lo que implica que en el diseño de la evaluación:

a. Se elimine o controle la interferencia de variables extrañas (validez interna). b. Se garantice que los instrumentos de medición midan lo que se quiere medir (todo

lo que se quiere medir y solo lo que se quiere medir), es decir, hayan congruencias entre los ítems que componen el instrumento y el objeto evaluado que se mide (validez de contenido de los instrumentos).

c. Las muestras de informantes, al ser representativas de la población, seleccionadas al azar y controlando factores ambientales ajenos, permitan cierto grado de generalización de la información (validez externa).

2. Confiabilidad: la evaluación debe ser consistente. Esto es, si los instrumentos se utilizan más de una vez para evaluar la misma calidad, los resultados obtenidos deben ser muy parecidos. 3. Objetividad: la evaluación debe minimizar las apreciaciones personales en el momento de emitir juicios valorativos, empleando instrumentos que recojan hechos verificables, de modo que, si distintos evaluadores aplican el mismo instrumento, obtengan resultados similares. Existen varias maneras de abordar la validez, desde el “juicio de expertos” que juzgan el grado en que un proceso de evaluación o medición representa el dominio o propiedad que pretende representar; la capacidad de una evaluación o medición de relacionarse positivamente (de la manera esperada) con otras medidas del mismo dominio o propiedad o de los criterios que se usan para medirlo (en este caso, otras medidas de la calidad del programa); o la capacidad de la evaluación de predecir un desempeño futuro o tener consecuencias consistentes con sus resultados (Prieto y Delgado, 2010). La consulta a

13  

expertos es la vía más usual para apreciar la validez, especialmente en ámbitos educativos, aunque cada vez son más empleados los métodos cualitativos basados en la observación directa, las entrevistas o el análisis de archivos (Prieto y Delgado, 2010).

Mayor confianza se tiene en la validez de una medición, cuando sus resultados se correlacionan significativamente con un mayor número de mediciones de variables que teóricamente y de acuerdo con estudios de antecedentes están relacionadas (Cronbach y Meehl, 1955; Cronbach, 1971). Pero también, la validez puede ser comprendida como un proceso de acumulación de evidencias en torno al significado de los resultados de una medición.

Últimamente, el foco de atención, respecto a la validez, se ha desplazado hacia cuán apropiadas y adecuadas son las interpretaciones de los resultados y las implicaciones en términos de las consecuencias y usos que se hacen de ellos (Messick, 1995). En los Standards for Educational y Psychological Testing, se plantea que la validez es el grado en el que toda la evidencia acumulada respalda la interpretación prevista de los resultados para los fines pretendidos (AERA, APA, y NCME, 1999, p. 11).

La confiabilidad o fiabilidad se concibe como la consistencia o estabilidad de las medidas cuando el proceso de medición se repite. El nivel de confiabilidad de una investigación es su posibilidad de repetir la misma investigación con idénticos resultados. La confiabilidad tiene por objeto asegurarse de que un investigador, siguiendo los mismos procedimientos descritos por otro investigador anterior y conduciendo el mismo estudio, puede llegar a los mismos resultados y conclusiones (Martínez, 2006).

Una investigación con buena confiabilidad es aquella que es estable, segura, congruente, igual a sí misma en diferentes tiempos y previsible para el futuro. La confiabilidad tiene dos caras, una interna y otra externa: hay confiabilidad interna cuando varios observadores, al estudiar la misma realidad, concuerdan en sus conclusiones; hay confiabilidad externa cuando investigadores independientes, al estudiar una realidad en tiempos o situaciones diferentes, llegan a los mismos resultados (Martínez, 2006). En los estudios cualitativos, la confiabilidad está orientada hacia el nivel de concordancia interpretativa entre diferentes observadores, evaluadores o jueces del mismo fenómeno, es decir, la confiabilidad será, sobre todo interna, interjueces (op sit).

En el análisis de la confiabilidad de una medición se busca que sus resultados concuerden con los resultados de la misma medición en otra ocasión. Si esto ocurre se puede decir que hay un alto grado de confiabilidad. Asimismo, se habla de confiabilidad cuando dos o más evaluadores evalúan al mismo objeto (o sujeto) sobre el mismo asunto o atributo y se obtienen puntuaciones equivalentes. Se necesita la confiabilidad para poder hablar de resultados válidos, por eso se dice que es una condición necesaria, pero no suficiente para la validez (Prieto y Delgado, 2010).

14  

Evidencias de validez y confiabilidad del proceso de evaluación de programas de pedagogía para su acreditación

La acreditación de las pedagogías en Chile es un proceso de evaluación que busca garantizar y dar fe pública de la calidad de los programas que conducen al título de profesor calificando su calidad en una medida de 0 a 7. Para ello se han definido procedimientos, criterios y herramientas para objetivar y estandarizar el proceso. Los expertos manifiestan que se aspira a que los procesos de acreditación cumplan con exigentes requerimientos de rigor y calidad: “El proceso de evaluación de la docencia para ser efectivo, requiere disponer de información cualitativa y cuantitativa relevante… Es por esto que los instrumentos de evaluación, los criterios y los indicadores empleados, deben estar respaldados por estudios, investigaciones y experiencias pertinentes, pues la información resultante de la evaluación, en especial si se va a utilizar para toma de decisiones, debe ser confiable, válida y pertinente” (Calidad de la Docencia Universitaria en América Latina y El Caribe; CINDA; Santiago de Chile; 1990).

En términos de las evidencias que se tienen sobre la validez para el caso de la evaluación de las pedagogías para su acreditación, un panel de expertos (Panel de expertos para una educación de calidad, 2010) recientemente juzgó que el sistema no cumplía con su misión de garantizar la calidad de los programas acreditados, ha puesto en duda que el proceso esté garantizando una formación de profesores de calidad, y cuestionó la medida del sistema chileno actual, proponiendo consecuencias para todos los programas que obtuvieran menos de 4 años de acreditación.

Adicionalmente, si los resultados de la acreditación fueran válidos se esperaría que estos se correlacionaran con alguna otra medida de calidad de las carreras de FID. En una investigación paralela, este equipo ha estudiado la relación entre los resultados de los egresados en la prueba INICIA y los años de acreditación de los programas en que estudiaron (Bascopé, San Martín, Domínguez, Meckes, 2011, en prensa), encontrándose que la correlación es extremadamente débil, que dependiendo de la agencia que acreditó las relaciones entre resultados INICIA y acreditación pueden ser incluso en el sentido contrario al esperado, y que aun cuando se controla por las habilidades académicas de entrada (medidas por la PSU) la medida de calidad de la acreditación no predice los resultados de los egresados.

Se encontró, además, que la métrica de la acreditación provoca problemas en su validez, por cuanto, dependiendo de la agencia, no se encuentran diferencias en los resultados en INICIA entre carreras no acreditadas y las acreditadas por 2 años, y al contrario cuando hay diferencias son el sentido opuesto al esperado (Bascopé, San Martín, Domínguez, Meckes, en prensa, 2011).

Todo proceso de evaluación necesita de referentes, criterios o indicadores. Esparza y Blum (2009), tomando como referencia a Barbier (1993) y Carmena et al. (2005) señalan que los

15  

indicadores o criterios usados en evaluación de programas de educación superior pueden clasificarse en indicadores sobre el funcionamiento del proceso e indicadores de resultados. Los indicadores sobre el proceso hacen referencia a la información que se obtiene de las acciones que se realizaron en la institución para lograr los avances de los participantes del programa (información cuantitativa o cualitativa). Por su parte, los indicadores de resultados son aquellos que tienen relación con el perfil de egreso de los estudiantes, que se manifiestan en las capacidades y habilidades que estos deberían haber obtenido, para esto se utilizan los datos como rendimiento académico de los estudiantes, el desempeño laboral que se vincula a la formación, entre otros.

El análisis de los criterios y los formularios usados por el sistema chileno, muestra que ellos guardan una débil relación entre sí, poca relación con las características específicas de los programas de formación de profesores que la evidencia empírica muestra como relevantes (Darling-Hammond y Bransford, 2005; Darling-Hammond, 2006; Levine,2006; National Research Council, 2010; Teacher Development Agency, TDA 2006 y 2008; Varas et al, 2008; Sotomayor et al, 2010; entre muchos otros) y una escasa relación con los criterios de evaluación y de acreditación de pedagogías en otros países (Domínguez y Meckes, 211; NCATE, 2008; Quality Assurance Agency, QAA, 2007; Teacher Education Accreditation Council, TEAC, 2009). Es decir, se puede cuestionar que los procedimientos e instrumentos de la acreditación de pedagogías en Chile sea capaces de reflejar con especificidad la calidad de un programa FID.

Para avanzar en la evaluación de la validez del proceso hacen falta muchas más iniciativas de observación, análisis y comparación de él con otros, sin embargo antes, debe contarse con una mejor descripción de cómo se lleva a cabo el procedimiento en concreto. Este estudio pretende colaborar con esta tarea.

Con respecto a la confiabilidad del sistema, el proceso de evaluación de programas sería confiable si los criterios y procedimientos que implica son entendidos del mismo modo por aquellos que los emplean (los pares y las agencias). La confiabilidad del proceso implicaría que las agencias acreditadoras efectuaran la acreditación basadas en criterios y procedimientos que no dependan del arbitrio de cada una sino que se entiendan y apliquen de igual modo por todas.

Uno de los factores que afectan la confiabilidad es la objetividad del proceso de asignar puntuaciones, mientras más objetivo es el proceso para determinar las puntuaciones, mayor es la confiabilidad. La objetividad del proceso de asignar puntuaciones dependerá, en el proceso de acreditación, de la claridad y ajuste de los instrumentos con que cuenten los jueces para hacerlo (criterios, guías, rúbricas y formularios) y de la estandarización de los procedimientos de aplicación de dichos instrumentos, es decir, que se apliquen siempre en las mismas condiciones.

16  

Considerando lo anterior, es posible revisar los instrumentos y mecanismos con que se cuenta en Chile para asegurar estas condiciones. Desde la entrada en vigencia de la ley 20.129, la CNA ha publicado un conjunto de documentos orientadores de los procesos de acreditación, que son los siguientes:

− “Normas y procedimientos acreditación institucional” − “Términos de referencia para las áreas contempladas en el proceso de acreditación

institucional” − “Normas y procedimientos acreditación de pregrado” − “Criterios generales de evaluación para carreras profesionales” − “Criterios de evaluación de carreras de educación” − “Operacionalización criterios de evaluación en procesos de acreditación”. − “Guía para la evaluación externa con fines de acreditación carreras y programas de

pregrado” − “Manual para el desarrollo de procesos de autoevaluación. Carreras y programas de

pregrado” − “Manual de pares evaluadores” − “Reglamento agencias; resolución exenta 165-3” − “Sistema de supervisión y seguimiento agencias”, − “Términos de referencia concurso público pares evaluadores”, − “Guías de formularios (A, B y C)” y las circulares 1 a la 15. − “Acuerdos de acreditación” redactados por cada agencia, o por la CNA.

De una lectura de la ley y del análisis de dichos documentos se puede concluir que:

El procedimiento de convocatoria y contratación de pares evaluadores por parte de las agencias no está normado. Aun cuando se estipula que deben cumplir con los mismos requisitos que exige la CNA a sus pares (exigencias que corresponden a las acreditaciones institucionales o de niveles de educación: técnica, profesional, posgrado), no es muy clara la relación entre ellos y los requisitos para los evaluadores en educación8. Tampoco es claro si la participación de un par evaluador extranjero es un requisito uniforme.

• La capacitación de dichos pares evaluadores depende de cada agencia y no es estandarizada.

• No existen normas claras acerca de la acreditación de programas que se imparten en diferentes modalidades, jornadas (diurno, vespertino, etc.) o sedes. Se puede suponer de los formularios, que un programa que se presenta para ser acreditado debe evaluar todas sus modalidades, jornadas o sedes, mas no está normado.

• No está normado el estándar de la visita del Comité: su duración (se sugieren 3 días), meticulosidad, y exhaustividad con relación a visitar y revisar todas las jornadas, sedes y modalidades.

                                                            8La CNA tiene una nómina de pares evaluadores y algunos pares de las agencias aparecen en esta lista, otros no.

17  

• No existe ninguna orientación a los pares ni a las agencias acerca de cómo establecer los años de acreditación en el caso de sedes y modalidades que son disparejas.

• No es explícito ni transparente el procedimiento para avanzar desde el informe del comité de pares al juicio de acreditación por parte de la agencia.

• No existen parámetros comunes para la redacción de los acuerdos de acreditación9 (único documento público disponible del proceso).

En consecuencia, surgen serias dudas de si el proceso de acreditación cuenta con los mecanismos e instrumentos para asegurar las condiciones que debería tener un sistema de evaluación obligatorio, con resultados públicos y con consecuencias. Este estudio pretende avanzar hacia la recolección de información que permita asegurar dichas condiciones. Revisar estos aspectos para asegurar su comparabilidad es sinónimo de avanzar hacia aumentar la confiabilidad del sistema.

III. Objetivos del estudio

Objetivo general:

Evaluar y comparar algunos procedimientos de los procesos de acreditación obligatoria de carreras de pedagogía por parte de las agencias acreditadoras.

Objetivos específicos y preguntas directrices:

1. Evaluar la existencia de sesgos en la selección de agencia por parte de la carrera (Estudio 1).

• Las carreras acreditadas por cada agencia ¿A qué tipo de institución de educación superior pertenecen? ¿Cuántos alumnos tienen? ¿Cuántas sedes, jornadas y/o modalidades?

• ¿Existen patrones en el tipo de carrera que acredita cada agencia? ¿Existen agencias especializadas en algún tipo de carreras?

• ¿Son similares los promedios de años de acreditación otorgados por las agencias? ¿Son similares las dispersiones de los años otorgados por las agencias?

2. Describir y comparar los procedimientos y normas seguidas en los procesos de evaluación de carreras de pedagogía para su acreditación por parte de las diferentes agencias acreditadoras (Estudio 2).

• ¿Los pares evaluadores son capacitados cada vez que se inicia un proceso de acreditación? ¿Cuánto dura la capacitación? ¿En qué consiste?

                                                            9 Por ejemplo, la longitud de dichos acuerdos varía entre 4 y 8 páginas, algunos se refieren a todos los criterios, otros no.

18  

• ¿Qué documentos e instrumentos utilizan los pares evaluadores para evaluar un programa?

• ¿Cuánto dura la visita a una carrera? ¿Se visitan y revisan todas las sedes, jornadas y modalidades de la carrera?

• ¿Cómo se decide cuántos años de acreditación se otorga a las carreras? • ¿La evaluación –y su respectivo informe– se centra en la validación del informe de

autoevaluación de la carrera o en la comparación de la carrera con los criterios de evaluación?

• Después de la visita de pares, en la agencia ¿quiénes leen y evalúan el informe de autoevaluación, el informe del comité de pares y luego determinan los años de acreditación? ¿Cómo lo hacen?

• Todos estos procedimientos ¿son homogéneos o heterogéneos en las diferentes agencias?

3. Evaluar los acuerdos de acreditación redactados por las agencias acreditadoras, en términos de su capacidad de explicitar el desempeño de la carrera en la totalidad de criterios e indicadores obligatorios (cobertura) y su capacidad de respaldar los años de acreditación otorgados en una descripción de la calidad de la carrera (coherencia interna) (Estudio 3) y evaluar si los acuerdos de las diferentes agencias son homogéneos o diferentes respecto a estos criterios.

• Los acuerdos de acreditación redactados por la agencias ¿qué extensión tienen y cómo están estructurados o formulados? ¿Son exhaustivos? ¿Describen el desempeño de la carrera en las 3 dimensiones y 9 criterios estipulados por la CNA para evaluar carreras de educación? ¿Son homogéneos o difieren en estos aspectos?

• ¿Existe en los acuerdos de acreditación coherencia interna entre la descripción del desempeño la carrera en los criterios e indicadores y los años de acreditación otorgados?

IV. Marco metodológico Esta investigación se desarrolla usando una metodología mixta, que combina métodos (y datos) cualitativos y cuantitativos (Creswell, 2009) de manera concurrente y secuencial, para lograr diferentes objetivos. Los objetivos, sus estrategias metodológicas y sus resultados se han organizado en 3 estudios.

En términos generales, se puede describir el marco muestral que se ha usado en los tres estudios. En el apartado de cada estudio, se detallará la metodología usada en cada uno.

19  

Muestra

a) Agencias: las agencias analizadas son todas aquellas que están autorizadas para acreditar carreras del área educación, es decir, Qualitas S. A.; Akredita QA; Acreditacción, Acreditadora de Chile AyC.

b) Programas: los tipos de programas en educación que deben acreditarse son tan numerosos como diversos10: En consecuencia, se decidió hacer algunas especificaciones con respecto a las carreras que serían consideradas para el estudio. La muestra de carreras de educación que son consideradas para comparar a las 4 agencias anteriores tiene dos niveles de acuerdo a los objetivos del proyecto:

• Para evaluar la existencia de sesgos en la selección de agencia por parte de la carrera (estudio 1) se consideró el universo de carreras de educación conducentes a un título profesional que debiendo cumplir con la obligatoriedad de la acreditación han pasado por el proceso.

• Para comparar los acuerdos de acreditación (Estudio 3), se consideró solo a las carreras de educación general básica o pedagogía básica para disminuir la complejidad de los programas cuyos procesos y acuerdos serán comparados (N=47).

Para evaluar los procedimientos y normas de la acreditación de pedagogías (Estudio 2), no se tomaron en cuenta los tipos de programas de pedagogía acreditados sino que se consideraron las 4 agencias autorizadas para el área educación.

Para resguardar el tratamiento confidencial de los datos, se decidió enumerar el total de agencias que históricamente han acreditado carreras de pedagogía de 1 a 6 (incluyendo la CNAP y la CNA en el periodo previo a la autorización de las agencias privadas) e identificarlas por este número.

                                                            10 En Chile existen: licenciaturas en educación básica o media con o sin mención, educación parvularia y básica inicial, pedagogía en una disciplina (biología, historia, inglés, educación física, religión, etc.), pedagogía en dos disciplinas, pedagogía con mención en enseñanza básica, en primer ciclo, en segundo ciclo o en enseñanza media con o sin mención en una o más disciplinas. Además, en la formación de profesores para educación media existen dos modalidades, los programas simultáneos y los consecutivos (programas de pedagogía para licenciados) (Eurydice, 2002).

20  

V. Estudio 1

A. Objetivo

Evaluar la existencia de sesgos en la selección de agencia por parte de la carrera.

B. Metodología

Muestra y construcción de la base de datos Para el análisis que busca indagar en la existencia de sesgos en la elección entre agencias y programas, en el sentido de una preferencia por un determinado tipo de programa o de agencia o de especialización de las agencias en un determinado “perfil de cliente” (tipo de institución y tipo de programa) se utilizaron 2 fuentes de datos, el conjunto de acuerdos de acreditación disponibles en las bases públicas de la CNA y la base de datos histórica construida por el Consejo Nacional de Educación (CNED). Con la primera fuente de datos se construyó una base de datos histórica con todos los acuerdos de acreditación de carreras de pedagogía, para esto se utilizó la base con la información de todos los acuerdos disponibles en la página web de la CNA (www.cnachile.cl), tanto los vigentes como aquellos históricos, recopilando un total de 529 acuerdos con información sobre la agencia acreditadora, la cantidad de años de acreditación, la carrera, la institución y la vigencia del acuerdo. A esta base de datos se le agregó información sobre las carreras del área de educación desde el año 2003 hasta el 2010, a partir de la base estadística histórica ÍNDICES del CNED. Se obtuvo de aquí el puntaje PSU promedio, matrícula, clasificación CRUCH, el número de sedes y el área de la carrera en el sector de educación (párvulo, básica, media o especial). Para estos efectos, se agregó la información de todas las sedes acreditadas como una misma carrera, debido a que la información de la base del CNED desagrega en sedes, a diferencia de la base de la CNA que agrupa a todas las sedes acreditadas en una carrera.

Hubo 27 acuerdos de los cuales no se pudo obtener información acerca de la carrera11. La mayoría de estos debido a que son programas nuevos que aún no cuentan con información en la base histórica del CNED. Sin embargo, se pudo agregar información acerca de la institución a la que pertenecen y datos agregados sobre el conjunto de carreras de educación de esta.

En resumen, se consideró el universo de carreras de educación conducentes a un título profesional que debiendo cumplir con la obligatoriedad de la acreditación han pasado por el proceso, incluso más de una vez, habiendo sido acreditadas por una de las agencias que históricamente han estado facultadas para hacerlo: CNAP, CNA, Qualitas S. A.; Akredita QA; Acreditacción, Acreditadora de Chile AyC.

                                                            11 Algunas informaciones acerca de estas carreras se pudieron obtener a partir de los datos disponibles en las páginas web oficiales, sin embargo no fue posible completar toda la información.

21  

Descripción de la base de datos y primeros hallazgos descriptivos La base de datos cuenta con acuerdos de acreditación desde el año 2003 hasta junio del 2011, no obstante, un 14% de los acuerdos vigentes (52) no se encuentran disponibles en internet, aun cuando se muestra la información sobre la cantidad de años de acreditación y la agencia acreditadora. Esto quiere decir que no se cuenta con el acuerdo de respaldo para observar en detalle la decisión de acreditación para el 14% de los acuerdos vigentes.

Tabla n.º 3. Acuerdos vigentes por agencia Total de

acuerdos vigentes

N.° de acuerdos sin respaldo

% de los acuerdos de la agencia sin respaldo

% del total de acuerdos sin respaldo en el país

Agencia AcreditAcción 155 13 8% 25% Acreditadora de Chile AyC 15 0 0% 0% Agencia Akredita QA 102 32 31% 62% Agencia Qualitas 79 6 8% 12% CNA-Chile 15 0 0% 0% CNAP 7 1 14% 2%

Se tiene información también, sobre los acuerdos reconsiderados luego de apelar por una mayor cantidad de años, que corresponden al 8% de los acuerdos vigentes (30) que son reconsideraciones aceptadas y según la información que brinda la CNA se distribuyen por agencia como muestra la tabla nº 4.

Tabla n.º 4. Porcentaje de reconsideraciones en los acuerdos de acreditación por agencia Total de

acuerdos vigentes

N° de reconsideraciones aceptadas

% del total de acuerdos de la agencia que son reconsideraciones

% del total de reconsideraciones en el país

Agencia AcreditAcción 155 21 14% 70% Acreditadora de Chile AyC 15 0 0% 0% Agencia Akredita QA 102 6 6% 20% Agencia Qualitas 79 2 3% 7% CNA-Chile 15 0 0% 0% CNAP 7 1 14% 3%

La fecha en la que se firma la reconsideración define nuevamente el periodo de tiempo por el cual se acreditará la institución, por lo que si esta se acepta 6 meses después, el periodo de acreditación se prolonga por la cantidad de años aceptada en la reconsideración más la cantidad de meses que hayan pasado en el intertanto de apelación. Esto genera que existan carreras acreditadas por periodos que no terminan en años exactos.

Se pensó observar también los cambios de agencia por parte de las carreras que pasaban por su segundo proceso de acreditación obligatoria, es decir, si hubo cambio de agencia de acreditación de las carreras a partir del año 2008. Debido a que cerca del 60% de los

22  

acuerdos vigentes se firmaron el 2010, todavía ninguna carrera se ha acreditado dos veces con una agencia privada en el área de educación. Por esto, no es posible todavía analizar estas conductas, ni tampoco se podrá observar claramente el tiempo que transcurre entre el vencimiento del acuerdo de acreditación y la renovación ya que estas situaciones aún no se presentan desde que la acreditación es obligatoria. Se espera que el año 2012 y 2013 sean años en los que se pueda observar esto por primera vez debido a la alta cantidad de carreras acreditadas por 2 o 3 años en los años 2009 y 2010.

Se encontraron también algunos errores en la base de datos de CNA-Chile en donde no coincide lo que aparece en el acuerdo y lo que se reporta, no se puede definir si es por la existencia de otro acuerdo de reconsideración o por mero error. También, se encuentran acuerdos de acreditación de una carrera en el casillero de otra, incluso existe el caso de un acuerdo de acreditación que dictamina 2 años, pero define la fecha de término un año después.

Análisis de datos Primero se realizó un análisis gráfico descriptivo que contiene todas las características de las carreras recopiladas y su relación con las agencias acreditadoras a partir de un análisis de correspondencia múltiple (Gowery Hand, 1996; Greenacre, 2006). Este análisis se basa en un método de reducción de complejidad de una tabla de frecuencias que contiene un conjunto de variables categóricas generando un número de vectores que son capaces de resumir gran parte de la variación de la tabla. Estos vectores con información para cada categoría de análisis pueden ser representados en un gráfico de dos dimensiones y cada eje representa un porcentaje determinado de la varianza de la tabla. Este método se asemeja a métodos de reducción de información como componentes principales, análisis de correlación canónica de tablas de contingencia, dual scaling, entre otros.

Esta metodología permite resumir la información de un conjunto de variables categóricas ejes de inercia, a partir de la información obtenida de tablas de contingencia, agrupando aquellas categorías más relacionadas para plasmarlas en un gráfico en donde las distancias entre los puntos indicarán la relación entre agencias acreditadoras y las características de las carreras que estas acreditan. Por lo tanto, la clave para leer los gráficos es la cercanía de los puntos (características de las carreras-agencias acreditadoras), puesto que a mayor cercanía mayor es la relación entre estos. Otra clave para la lectura de los datos es analizar cuáles son las categorías más relacionadas con cada uno de los ejes del gráfico, de esta forma dependiendo de la posición de las agencias en el gráfico, las características de las carreras que acreditan.

El gran aporte de esta metodología es que no distingue a priori variables dependientes que luego podrían explicar diferentes variables independientes; en lugar de esto presenta un razonamiento inductivo desde una tabla general que resume la información relevante y la

23  

expresa en una nube de puntos que contiene categorías y cuyos ejes deben ser interpretados para dar un panorama de cómo se sitúa el objeto de estudio dentro de un campo complejo.

Luego del análisis descriptivo se realizó un análisis multivariado de varianza (MANOVA), para probar si existen diferencias entre las agencias según las características de las carreras que acreditan. Este consiste en corroborar si es que la agencia acreditadora es capaz de explicar la varianza de un conjunto de características de las carreras a las que acreditaron, a partir de un método de regresión lineal. Demuestra mediante el cálculo de un conjunto de estadísticos si las agencias acreditadoras se diferencian entre ellas en explicar la varianza de este grupo de variables dependientes (característica de las carreras). Para este caso, se calcularon cuatro estadísticos: Lambda de Wilk, trazo de Pillai, de Lawley-Hotelling y raíz de Roy (Anderson, 2003; Morrison, 2005). Luego se revisó en detalle las regresiones lineales subyacentes al modelo para especificar cuáles son las características de las carreras que definen los distintos perfiles de carrera en los que se especializa cada agencia acreditadora12.

C. Resultados

Análisis gráfico Para este análisis se crearon 2 ejes que en conjunto explican el 55% de la inercia principal del modelo, por lo que los gráficos construidos a partir de estos ejes dan una buena aproximación a la relación entre las categorías de las variables observadas. El análisis de correspondencia se expresa en el gráfico n.º1, que incluye ambos ejes de inercia y se grafican todas las categorías que se recopilaron.

Para el análisis se asoció a las agencias acreditadoras con las categorías más cercanas en el área graficada. Para simplificar la lectura del gráfico se relacionan los ejes con las categorías más correlacionadas con estos indicándolo con una flecha. De este modo, aquellas agencias acreditadoras que se ubiquen en esa dirección guardan mayor relación con dichas categorías.

Hacia la derecha del gráfico se ubican las agencias que acreditan a instituciones menos selectivas y con mayor cantidad de sedes, hacia la izquierda se ubican las agencias que otorgan mayor cantidad de años de acreditación y hacia arriba aquellas agencias que se especializan en carreras que pertenecen a facultades con menor matrícula. Se puede observar que el área a la que pertenezcan las carreras (básica, media, párvulo o especial), no

                                                            12 Las regresiones subyacentes al modelo son regresiones lineales cuyas variables dependientes son todas las características de las carreras consideradas en este análisis en función de variables dicotómicas por agencia que indican si la carrera fue acreditada por esa agencia. Para no mostrar resultados sesgados una de las agencias fue omitida (Agencia 3) ya que este se expresa en el intercepto.

24  

guardan mayor correlación con los ejes y no permiten distinguir con claridad entre agencias.

Para complementar este análisis, a continuación se exponen los resultados del análisis multinivel, se confirma en detalle la situación antes graficada para cada agencia y se exponen los principales hallazgos.

Gráfico 1: Análisis de correspondencia entre agencias acreditadoras y las características de las carreras de pedagogía que acreditaron.

Análisis multinivel Para el análisis MANOVA tal como se explicó, se realizaron 4 test distintos y todos indican que existen diferencias significativas entre las agencias contemplando las características de las carreras que acreditan a más de un 1% de significancia, tal como se observa en la tabla nº 5. Si se observa la tabla nº 6 que expone las regresiones subyacentes al análisis MANOVA, se puede distinguir que las principales diferencias entre agencias tienen que ver con la cantidad de años que otorgan, la selectividad de las carreras a las que acreditan, si estas pertenecen al CRUCH o si son privadas, el tamaño de la facultad en la que se ubica la carrera y la cantidad de sedes que tenga.

Tabla n.º 5: Resultados MANOVA Estadístico Grados

de libertad

F(df1, df2) F Prob.

Agencia acreditadora

Lambda de Wilks 0.4923 5 50 2174.3 7.31 0 Trazo de Pillai 0.6273 50 2400 6.89 0 Trazo de Lawley-Hotelling 0.8069 50 2372 7.66 0 Raíz de Roy 0.3872 10 480 18.59 0

Residuo 485 Total 490

25  

Tabla n.º 6: Regresiones subyacentes del modelo MANOVA (1) (2) (3) (4) (5) (6) (7) (8) (9) (10)

Años acreditación

Universidad selectiva

CRUCH U. privada Matrícula carrera

Matrícula facultad

N° de sedes

Básica Media Párvulos

Agencia 1

0.0604 0.194*** 0.426*** -0.391*** 44.65 1051*** -0.587**

-0.0512

-0.0261

0.0457

(0.175) (0.0576) (0.0596) (0.0594) (33.50) (191.3) (0.253) (0.0467)

(0.0617)

(0.0439)

Agencia 2

0.138 0.455*** 0.376*** -0.341*** -32.34 432.9 -0.748 -0.0234

-0.121 0.0902

(0.318) (0.105) (0.108) (0.108) (60.88) (347.5) (0.459) (0.0848)

(0.112) (0.0798)

Agencia 4

-0.199 -0.0425 0.0213 -0.0334 23.35 -46.03 0.642***

-0.0145

0.00238

0.0210

(0.166) (0.0546) (0.0564) (0.0562) (31.70) (181.0) (0.239) (0.0442)

(0.0584)

(0.0416)

Agencia 5

0.233 0.519*** 0.0725 -0.0727 6.665 415.2** -0.379 -0.0339

-0.0542

0.0297

(0.178) (0.0585) (0.0605) (0.0603) (34.01) (194.2) (0.257) (0.0474)

(0.0627)

(0.0446)

Agencia 6

3.705*** 0.705*** 0.526*** -0.491*** -48.87 -547.2 -0.731 -0.107 0.196 -0.0432

(0.362) (0.119) (0.123) (0.123) (69.38) (396.1) (0.523) (0.0967)

(0.128) (0.0909)

Constante**

3.162*** 0.295*** 0.474*** 0.491*** 211.0*** 1951*** 1.798***

0.173***

0.671***

0.110***

(0.102) (0.0337) (0.0348) (0.0348) (19.60) (111.9) (0.148) (0.0273)

(0.0361)

(0.0257)

N* 491 491 491 491 491 491 491 491 491 491

R cuadrado

0.191 0.216 0.135 0.115 0.00710 0.0793 0.0531 0.00460

0.0100 0.00530

*Se utilizan solo 491 acuerdos, debido a que los acuerdos tabulados como en proceso de acreditación no fueron utilizados para el cálculo. Los resultados se mantienen al eliminar la variable años de acreditación y utilizar todos los acuerdos recopilados. Además, el modelo MANOVA realiza regresiones lineales utilizando variables dependientes dicotómicas, cuando en estos casos es más adecuado utilizar modelos Logit. Se calcularon estos y los niveles de significancia y la dirección de los efectos se mantiene en todas las variables que se ven en este modelo. **El coeficiente de la constante representa a la categoría omitida que en este caso es la Agencia 3

En primer lugar se puede observar que la Agencia 5, junto con la 1 y la 2, se especializan en acreditar carreras más selectivas que las otras tres agencias, además las primeras dos tienden a acreditar carreras pertenecientes a facultades más grandes en matrícula. Por otro lado, la agencia 6 ha acreditado mayoritariamente a carreras de pedagogía media y ha otorgado por lo general más años de acreditación a sus carreras. Sin embargo, esta agencia solamente había acreditado a carreras pertenecientes a una universidad a la fecha, por lo que no se puede hablar de especialización en tipos de carreras o universidades directamente, por la falta de variación.

Sobresale también el caso de la Agencia 4, la cual por lo general ha otorgado menos años de acreditación por carrera que el resto de las agencias. Además, junto con la Agencia 3, se especializan en carreras con alto número de sedes, con baja matrícula y baja o nula selectividad.

Por último, cabe destacar que no existen mayores diferencias entre agencias según el área de la carrera, es decir, no existen agencias especializadas en pedagogía básica, media,

26  

educación de párvulos o especial. Esto podría estar generándose debido a la falta de criterios de acreditación que contemplen los contenidos específicos de cada carrera, por lo que los procesos de acreditación de carreras de distintas áreas temáticas pueden ser muy similares o incluso iguales. Inclusive, como se verá en el estudio 2, estas carreras se pueden acreditar simultáneamente, en lo que se conoce como acreditación conjunta.

D. Conclusiones del Estudio 1 Cómo se puede observar, los resultados demuestran que las agencias acreditadoras pueden relacionarse con perfiles de carreras a las cuales son más asiduas a acreditar, dependiendo de la masividad de la institución, su selectividad y la pertenencia o no al Consejo de Rectores, entre otros. Precisar en el perfil de carreras que cada agencia tiende a acreditar permite focalizar con mayor claridad futuras investigaciones y proyectos de política enfocados a mejorar la calidad de este proceso. Por ejemplo, cabe destacar la complejidad de realizar procesos de acreditación en carreras con gran cantidad de sedes, las agencias 3 y 4 se especializan en realizar procesos de acreditación a carreras de este tipo, más del 50% de los procesos de acreditación realizados por la segunda agencia fueron hechos a carreras con 4 sedes o más. Es preciso mirar en profundidad estos procesos e indagar si las capacidades de las agencias acreditadoras son suficientes para realizar procesos de acreditación de agencias multisede e indagar qué consideraciones especiales o condiciones mínimas deben tomarse en cuenta al momento de acreditar a este tipo de carreras. Como se confirmará más adelante, los casos multisede son casos especialmente complejos, debido a que están poco definidos por la ley, según se contempla, la decisión de acreditación debe ser por la misma cantidad de años para todas las sedes o bien no acreditar a una de las sedes, pero todas aquellas que resultan acreditadas deben estarlo por el mismo período de tiempo. La ley no define criterios claros para la asignación de la cantidad de años, en los casos multisede, por lo que la ponderación e importancia de los criterios por sede queda al arbitrio de cada agencia acreditadora.

VI. Estudio 2 A. Objetivo

Describir y comparar los procedimientos y normas seguidas en los procesos de evaluación de carreras de pedagogía para su acreditación por parte de las diferentes agencias acreditadoras.

B. Metodología Para describir los procedimientos seguidos por las agencias y por sus pares evaluadores, se usó una metodología cualitativa para estudiar los siguientes elementos: a) Documentos y normas: La ley 20.129, las normativas y los documentos que norman u orientan la acreditación de las pedagogías se analizaron para saber cómo las agencias deberían realizar el proceso de acreditación desde el punto de vista de la normativa vigente.

27  

Particularmente, se buscó conocer dichos documentos normativos de la acreditación, considerando la claridad y precisión de las procedimientos que aparecen en ellos, para analizar si dejan espacio a la libre interpretación de las agencias acreditadoras.

b) Prácticas de las agencias: Los procedimientos concretos que aplica cada agencia y sus pares, la forma exacta en que las actividades de evaluación y acreditación se realizan. Concretamente, este trabajo observó el comité de pares evaluadores como componente fundamental dentro de los procedimientos de las agencias, esto por la función que realiza en el proceso de acreditación: la evaluación externa de las carreras de pedagogía y la validación del informe de autoevaluación (elaborado por las carreras), entre otros. Específicamente, se investigó el proceso de selección de pares, el análisis del informe de autoevaluación y la visita y evaluación en terreno de la carrera (CNA, 2008).

Muestra El estudio revisó toda la normativa de la acreditación de carreras de pedagogía y analizó su puesta en práctica en el universo de agencias acreditadoras de carreras de pedagogía. Estas son todas aquellas agencias privadas vigentes autorizadas para acreditar carreras del área educación: Agencia Qualitas S. A.; Agencia Akredita QA; Agencia Acreditacción, Agencia Acreditadora de Chile AyC.

Para conocer el marco normativo de las agencias acreditadoras se realizó un análisis documental de las leyes y las normativas que regulan la acreditación. Los documentos analizados fueron: 1) Ley 20.129 (2006); 2) Normas y procedimientos acreditación de pregrado (2010); 3) Criterios de evaluación de carreras de educación (2009); 4) Resolución exenta 165-3 (2007); 5) Operacionalización criterios de evaluación en procesos de acreditación (2010); 6) Sistema de supervisión y seguimiento agencias (2010); 7) Términos de referencia concurso público pares evaluadores (s.f.); 8) Manual de pares evaluadores (2008); 9) Manual para el desarrollo de procesos de autoevaluación Carreras y programas de pregrado (2008); 10) Criterios generales de evaluación para carreras profesionales (s.f.).

La información sobre cómo las agencias realizan la acreditación (sus procedimientos concretos), se recolectó a partir de entrevistas a: (a) Un profesional de alto cargo técnico de cada una de las agencias acreditadoras del área educación, que fueron seleccionados según su disponibilidad, partiendo desde el director ejecutivo hacia abajo en el organigrama. Ellos fueron 3 directores ejecutivos y 1 coordinador de procesos; (b) Pares evaluadores, cuya responsabilidad es doble: están a cargo de la evaluación externa de las carreras y deben validar el informe de autoevaluación que previamente ha realizado cada carrera. Considerando que un comité se constituye de un mínimo de 3 pares evaluadores, se seleccionaron de modo aleatorio 4 de cada agencia entre los que viven en Santiago, con excepción de una de ellas en la que se entrevistaron 3. El listado de ellos se obtuvo de las bases de datos disponibles en las páginas web de cada una de las agencias. En total se realizaron 15 entrevistas a pares y 4 a profesionales de alto cargo técnico.

28  

La muestra de informantes clave, en consecuencia, quedó constituida como se observa en la tabla nº 7.

Tabla n.º 7. Muestra de las entrevistas del estudio 213 Agencia / cargo Profesional Par evaluador

Agencia 3 1 4 Agencia 4 1 4 Agencia 5 1 3 Agencia 6 1 4 Total 4 15

Recolección de datos Para conocer el marco normativo, se descargaron los documentos mencionados del sitio web de la Comisión Nacional de Acreditación (CNA-Chile).

En el plano de las agencias acreditadoras el estudio realizó entrevistas semiestructuradas, cuyos protocolos se hallan en el anexo nº 1. El trabajo de campo se realizó en Santiago entre mayo y junio de 2011. Este consistió en entrevistas a profesionales de las agencias en cuestión, los que fueron contactados vía telefónica o mediante correo electrónico, y en caso de no obtener respuesta mediante estos medios, se intentó contactarlos personalmente en sus lugares de trabajo. Estas tuvieron una duración aproximada de 50 minutos y registradas digitalmente, previo acuerdo sobre el resguardo del tratamiento confidencial de los datos.

Análisis de datos Para reconstruir cómo debe ser la acreditación, el análisis cualitativo se realizó sobre el marco normativo del proceso de acreditación, analizando los documentos pertinentes. El análisis documental, siguiendo a Sandoval (1996) consiste de cinco etapas. Las tres primeras están relacionadas con la búsqueda y selección de documentos. Luego, se efectúa una lectura en profundidad de dichos documentos, y se seleccionan los componentes a analizar (memos) que “registren los patrones, tendencias, convergencias y contradicciones que se vayan descubriendo” (Sandoval, 1996, p. 138). Por último, “se realiza una lectura cruzada y comparativa de los documentos en cuestión, ya no sobre la totalidad del contenido de cada uno, sino sobre los hallazgos previamente realizados, de modo que sea posible construir una síntesis comprensiva total.” (Sandoval, 1996, p. 138). Para esta investigación, este análisis consistió en reconstruir un proceso de acreditación de una carrera de pedagogía desde el contacto formal de la carrera o unidad con la agencia hasta la decisión de acreditación final, tal cual lo establece la normativa, poniendo especial énfasis en detectar conflictos (coherencia) o vacíos (imprecisiones) entre los documentos.

                                                            13 Los estudios resguardan la confidencialidad de los datos y el anonimato de las agencias, por eso aparecen denominadas con números.

29  

La información sobre cómo las agencias realizan la acreditación, se recolectó a partir de entrevistas. Estas fueron analizadas siguiendo los procedimientos estipulados por la Grounded Theory (Corbin y Strauss, 1990; Strauss y Corbin, 2002), particularmente, lo que los autores llaman análisis descriptivo. Este (codificación abierta) es un proceso que consiste en construir categorías generales a partir de datos particulares. Por medio de este análisis, se representa el abanico de contenidos o significados implicados en el objeto de estudio. Asimismo, este análisis permite identificar los principales componentes y organizar los contenidos jerárquicamente (Strauss y Corbin, 2002). La codificación contempla la fragmentación, conceptualización y luego articulación analítica de los datos. Los conceptos y categorías generados mediante la codificación, operan como hipótesis que son contrastadas en momentos posteriores del análisis, resultando en nuevos conceptos (Strauss y Corbin, 2002).

También, se incorporó al análisis un aspecto del método de la matriz de vaciado, que consiste en ir situando las respuestas de las entrevistas en distintas categorías previamente definidas, las que en este caso, se extrajeron de las etapas que se deben realizar en un proceso de acreditación de acuerdo a la normativa. Por último, se compararon todas las categorías entre las agencias, aquellas definidas por la normativa, así como las emergentes.

C. Resultados

Primero se presenta el análisis documental de los documentos que norman la acreditación, luego la comparación entre la normativa vigente y los procedimientos de las agencias, y por último, la comparación de los procedimientos no regulados entre agencias.

1. Análisis documental de la normativa para la acreditación de carreras de pedagogía El análisis documental se realizó para reconstruir cómo se efectúa el proceso de acreditación de las carreras de pedagogía según las leyes y normativas vigentes. El análisis se centró en los procedimientos que las agencias deben seguir, antes que en los criterios de evaluación que deben utilizar; sin embargo, se describen estos últimos pues son parte fundamental del proceso de acreditación. En esta descripción, se buscó analizar la coherencia14 entre los contenidos de los documentos y la precisión15 de estos con respecto a cómo se desarrolla el proceso de acreditación y se toman decisiones en él.

                                                           

Una primera conclusión es que casi todos los documentos revisados se basan exclusivamente en los criterios y procedimientos con los que trabaja la CNA, habiendo pocos documentos que normen explícitamente el funcionamiento de las agencias. Para estas

 14 Por coherencia se entiende la no contradicción entre los contenidos establecidos en los documentos. 15 Por precisión se entiende la definición de los procedimientos a realizar y el cómo realizarlos, evitando la libre interpretación de los miembros responsables de realizar este proceso. Por tanto, la imprecisión es la ausencia de cualquiera de estos dos elementos.  

30  

últimas, los criterios y procedimientos de evaluación y funcionamiento deben ser “equivalentes” a los de la CNA.

A continuación, se describe el marco general para la acreditación de carreras de pedagogía, para luego referirse a las tres etapas fundamentales de los procesos de acreditación de las carreras y programas de pedagogía: autoevaluación interna, evaluación externa y decisión de acreditación.

1.1. Marco general para la acreditación de carreras de pedagogía El propósito general de la acreditación de pedagogías es garantizar la calidad de estas. Asimismo, busca dar garantía pública de que quienes están acreditados ofrecen un servicio de calidad.

Los procesos de acreditación de carreras y programas de pregrado, incluidas las carreras de educación parvularia, diferencial, básica y media, son realizados por agencias de acreditación. Para el caso de estas últimas, la acreditación es obligatoria, de lo contrario se les niega el acceso a recursos entregados por el Estado, o con su garantía, para el financiamiento de los estudios de sus alumnos. Por esto, deben presentarse a este proceso desde su primer año de funcionamiento.

Las agencias que acreditan carreras y programas de pedagogía, deben estar acreditadas por la CNA en el área de pedagogía16. Para lograr dicha autorización las agencias deben a) definir sus objetivos de funcionamiento b) el aseguramiento de la calidad debe ser una actividad central, c) estar compuestas por un consejo de acreditación por cada área a la que postulen y d) con mecanismos que aseguren su independencia de juicios de acreditación. Asimismo, e) presentar una lista de, al menos, 15 pares evaluadores por área a acreditar; f) tener idoneidad de recursos tanto humanos como financieros; g) indicar el monto de sus aranceles, los que deben ser públicamente conocidos, h) al igual que las decisiones de acreditación de las carreras y los criterios con los que se realiza la acreditación, los que deben ser, en lo substancial, equivalentes a los de la CNA. Además, i) la acreditación debe constar de, al menos, una instancia de autoevaluación y otra de evaluación externa, las que deben ser replicables y verificables. Por último, las agencias j) deben indicar sus mecanismos de publicidad y transparencia en páginas web actualizadas periódicamente, k) sus métodos de revisión periódica de funcionamiento, e l) indicar los mecanismos de colaboración con las otras agencias.

La acreditación de las carreras se realiza por medio de una evaluación interna y externa. La primera corresponde a una autoevaluación de la carrera respecto de los criterios públicos de evaluación. La segunda, consiste en una evaluación externa por parte de la agencia que

                                                            16 Las otras áreas en las que se pueden acreditar las agencias son: agropecuaria, artes, arquitectura, ciencias, ciencias sociales, derecho, humanidades, tecnología, salud, administración y comercio.

31  

dirige el proceso de acreditación, en la que se pone especial atención en las fortalezas y debilidades detectadas por la misma carrera, y en los procesos de acreditación anterior para quienes se presenten a una reacreditación.

La evaluación externa se realiza por pares evaluadores, que son académicos o profesionales reconocidos en el área de pedagogía. Cada agencia tiene la facultad de escoger sus propios pares, siempre y cuando estos cumplan al menos los mismos criterios que establece la CNA para sus pares: a) Tener título profesional y grado académico. b) Tener 10 años de experiencia profesional o académica en el área a acreditar. c) Ser reconocidos en el área, para lo que se considerarán los premios/reconocimiento, cargos desempeñados y sus responsabilidades, publicaciones y proyectos. d) Tener un posgrado en el área de especialidad. e) Estar adscrito a una institución de educación superior o bien a centros u organismos vinculados a la educación superior. Una vez aceptado en una agencia acreditadora, todo par es inscrito en un registro público de pares evaluadores de cada agencia y debe estar dispuesto a participar de todas las instancias de capacitación que fueran necesarias, antes de ejercer como tal. La agencia, por su parte, debe ofrecer dichas instancias para los pares que las necesiten. Si bien no se especifican explícitamente los contenidos de dicha capacitación, se puede inferir que los pares deben conocer los procedimientos y criterios con los que funciona la agencia.

Así, todo par debe conocer las dimensiones con las que son evaluadas las carreras y programas, estos son el perfil de egreso, las condiciones de operación y la capacidad de autorregulación. Cada una de estas se componen de los siguientes criterios respectivamente: estructura curricular, efectividad del proceso enseñanza-aprendizaje, resultados del proceso de formación y vinculación con el medio; estructura organizacional, administrativa y financiera, recursos humanos, e infraestructura, apoyo técnico y recursos para la enseñanza; y propósitos e integridad.

Figura 1. Dimensiones y criterios de evaluación para la acreditación de instituciones y carreras

32  

 Dimensión 

    Criterio 

Fuente: elaboración propia con datos de la CNA. 

En el orden en que se presentan en los documentos, los criterios se definen de la siguiente manera: por propósitos se entiende la declaración explícita de los mismos, así como su concordancia con la misión de la institución a la cual pertenece. La integridad consiste en demostrar condiciones para avanzar responsablemente al cumplimiento de sus propósitos. En la estructura organizacional, administrativa y financiera, la unidad debe demostrar que dispone de un adecuado sistema de gobierno que le permita evaluar el grado de cumplimiento de sus metas y objetivos. La estructura curricular corresponde en presentar un currículo que esté estructurado en función de su perfil de egreso previamente definido. Los recursos humanos consisten en la idoneidad académica de los docentes en busca de lograr sus propósitos. La efectividad del proceso de E-A es considerar la situación de ingreso de los alumnos, así como demostrar que sus métodos de evaluación son pertinentes para comprobar el logro de sus propósitos. La unidad también debe dar cuenta de los resultados del proceso de formación mediante el seguimiento de sus egresados. Además, por medio de la infraestructura, apoyo técnico y recursos para la enseñanza, la unidad debe proporcionar instalaciones apropiadas, acordes al número de alumnos y demostrar su uso efectivo. Por último, en vinculación con el medio, la carrera debe demostrar vínculos con el ámbito disciplinario y profesional, mediante los cuales sus profesores y alumnos se relacionen con especialistas externos.

El primer paso para iniciar el proceso de acreditación es la solicitud de incorporación de la carrera interesada al proceso de acreditación de una agencia.

1.2. Autoevaluación de las carreras de pedagogía17 Una vez ingresada la solicitud al proceso de acreditación por parte de la agencia, las carreras que desean acreditarse comienzan su proceso de autoevaluación. No obstante, se permite que se presenten al proceso con el informe ya avanzado o finalizado. Este proceso significa que las unidades de pedagogía reúnen y analizan información basadas en sus propósitos declarados y en referencia a criterios definidos y aceptados previamente. Estos criterios de evaluación, mencionados más arriba, son los mismos con los que las agencias acreditadoras realizarán la evaluación externa.

Las carreras recolectan tres tipos de información: a) Cualitativa, asociada a insumos, procesos y resultados que los actores que constituyen la unidad estimen relevantes. b) Cuantitativa, que corresponde a magnitudes relacionadas con el funcionamiento de la unidad (ej. matrícula, notas de los estudiantes, número de profesores y número de libros) c) De opinión, que son los juicios emitidos por los distintos actores de la unidad respecto al desempeño y calidad de la carrera. Con esta se elabora un informe de autoevaluación, el

                                                            17 Se analizó esta parte del proceso de acreditación más someramente que las otras, ya que depende de las instituciones que buscan acreditarse, y no de las agencias acreditadoras, y por tanto, escapa a los objetivos de la investigación. Sin embargo, se considera como antecedente para la realización de la evaluación externa, la cual sí depende de las agencias acreditadoras.

33  

cual recoge los aspectos más relevantes, identifica fortalezas y debilidades de la unidad en cuanto a los criterios de evaluación, y en suma, emite un juicio global con respecto a la calidad de la carrera o programa impartido. Asimismo, se entrega información adicional correspondiente a las guías de formularios A, B y C, las que contienen información cualitativa (ej. áreas de investigación y/o desarrollo académico, política de desarrollo de recurso educacionales, y sistema de selección y admisión de alumnos), de opinión (de estudiantes, egresados, empleadores, académicos y directivos) y cuantitativa (ej. número de libros en biblioteca, número de salas de clases y puntajes de ingresos de los estudiantes) de la carrera, respectivamente, y que complementan el informe de autoevaluación.

Además, la CNA ha elaborado un formato sugerido del informe de autoevaluación para facilitar la lectura y comprensión de este, que consta de las siguientes partes: marco de referencia, evaluación de la calidad de la formación entregada, conclusiones y plan de mejoramiento, y anexos.

Una vez que la carrera culmina con el informe de autoevaluación se lo entrega a la agencia acreditadora para que lo valide.

1.3. Evaluación externa de las carreras de pedagogía Cuando la agencia recibe el informe de autoevaluación, esta conforma un comité de pares evaluadores, que debe constar al menos de 3 pares de especialistas en el área a acreditar. Además, la agencia debe enviar un secretario técnico, que cumple la función de ser el ministro de fe de la visita, y resolver problemas en la aplicación de procesos e interpretación de criterios.

El comité de pares debe ser aceptado por la carrera que desea acreditarse, de lo contrario la agencia debe ofrecer otro comité. La carrera en cuestión tiene la facultad de vetar los comités propuestos hasta en tres oportunidades sin expresión de causa.

Una vez que el comité de pares evaluadores está conformado y aceptado por la carrera a acreditar, la agencia elige un presidente el cual, se recomienda, sea aquel con más experiencia en el área a acreditar y en procesos de acreditación. Este tiene la tarea de organizar el trabajo del comité, ser su representante, cautelar el cumplimiento de los objetivos de este, y redactar y hacer entrega a la agencia del informe de comité de pares.

La primera tarea que los pares deben realizar es revisar y analizar individualmente el informe de autoevaluación y todos los antecedentes que la unidad a acreditar entregó a la agencia. Los pares evaluadores deben analizar si la información presente en el informe de autoevaluación es coherente y suficiente. De este análisis, determinan qué dimensiones presentan debilidades, según el informe de autoevaluación, y/o falta de información, para poner más atención en ella durante la visita a la unidad correspondiente. Además, en el caso de pedagogías en proceso de reacreditación, los pares evaluadores deberían leer el informe

34  

de autoevaluación del proceso anterior, para entender la evolución que la carrera ha tenido desde la última acreditación.

Luego que los pares han realizado esta revisión de antecedentes, se reúnen previamente a la visita, para aunar criterios sobre los resultados que han encontrado en el análisis, conocer a los otros pares y elaborar los cuestionarios para aplicar en la visita. Estas reuniones preparatorias deben ser tantas como fuesen necesarias para llegar a los acuerdos requeridos, y si fuese necesario pueden ser virtuales. Para efectuar el trabajo anterior, la revisión de antecedentes y las reuniones previas, los pares evaluadores tienen un plazo de 30 días.

La visita a la unidad debe durar por lo menos tres días. Esta consiste en validar el informe de autoevaluación, viendo si hay coherencia entre lo dicho por la unidad y lo que observan los pares evaluadores durante ella, y recolectar información para elaborar un informe de evaluación. La CNA ha dispuesto un programa de visita tipo, en donde se señala lo siguiente: a) En el primer día, los pares evaluadores deben entrevistar al director de carrera, a los académicos, los estudiantes, los empleadores, y a otros actores relevantes de la carrera. Los pares pueden dividirse las entrevistas y reuniones, y también pueden realizar reuniones paralelas para aprovechar mejor el tiempo de visita. b) En el segundo día, los pares evaluadores recorren en conjunto las distintas instalaciones de la carrera, en especial bibliotecas, talleres, terrenos de prácticas, etc. c) En el último día, los pares evaluadores sostienen una reunión con los egresados y con los representantes del medio externo. Se recomienda que cada día los miembros del comité se reúnan para comentar lo que han visto, compartir las conclusiones, etc. Al momento de concluir la visita, los pares evaluadores elaboran un informe de salida, que es oral y que contiene los principales puntos que el comité desea informar a la carrera, con respecto a las fortalezas y debilidades de la carrera que ellos han identificado en su observación. Se recomienda que los pares enfoquen este informe de manera positiva y constructiva. Este informe es importante como una retroalimentación para la carrera. El comité debe dejar en claro que este informe es preliminar y que, por tanto, las conclusiones de este pueden modificarse levemente al elaborar el informe escrito.

Posteriormente, los pares evaluadores realizan el informe escrito de evaluación, para lo cual tienen un plazo de 30 días. Para su elaboración los pares evaluadores se reúnen, discuten y llegan a un consenso, para tener una visión única de la realidad de la carrera. Cuando se llega a este consenso, el presidente del comité de pares evaluadores redacta el informe escrito, con los aportes de los demás pares. Este informe debe tener los siguientes puntos principales: a) Evaluación formal acerca de cumplimiento de los criterios, organizando la redacción según las tres dimensiones fundamentales en las que los criterios están agrupados (perfil de egreso, condiciones de operación y autoevaluación). En este punto, se debe evaluar tanto los criterios como cada una de las dimensiones. b) Análisis del proceso de autoevaluación realizado, considerando su capacidad para identificar fortalezas y debilidades y definir acciones concretas de mejoramiento. c) Recomendaciones acerca de

35  

las acciones de mejoramiento esenciales que deben ser realizadas por la carrera, ya sea para obtener la acreditación o para mejorar su labor. Además, la CNA ha elaborado un formato sugerido del informe del comité de pares para facilitar la lectura y comprensión de este (sin desmedro del estilo propio de cada comité de pares), que consta de las siguientes partes: breve contexto de la institución, descripción de la visita, evaluación por criterios y síntesis de fortalezas y debilidades de la carrera.

1.4. Decisión de acreditación Una vez elaborado el informe de evaluación, el comité de pares lo hace llegar a la agencia para que esta tome la decisión de acreditación. Esto último significa decidir si la pedagogía se acredita o no, y por cuántos años. Específicamente, aquel organismo de la agencia que se encarga de esta tarea es el Consejo de Educación, el cual debe tener a lo menos cinco miembros. Este consejo “deberá contar con idoneidad académica, representatividad e independencia de juicio, tanto respecto de la institución acreditada como de las instancias directivas de las agencias” (Resolución exenta Nº: 165-3, 2007, art. 4).

Para tomar la decisión de acreditación, el Consejo de Educación debe basarse en los siguientes antecedentes, que han sido recolectados por la agencia en las dos etapas precedentes: Las conclusiones del informe de autoevaluación, las conclusiones del comité de pares evaluadores con relación al cumplimiento de los criterios de evaluación, la opinión de estos acerca del proceso de autoevaluación llevado a cabo por la carrera a acreditar y el resultado de otros procesos de acreditación a los que la carrera de pedagogía se haya sometido18. A su vez, el Consejo de Educación debe apoyarse en los documentos en donde se explicitan los criterios y normas de evaluación tanto generales como específicos para las carreras de pedagogía, elaborados por la CNA o por la agencia en función de los criterios definidos por la CNA19.

Para tomar la determinación del tiempo de acreditación, la CNA ha elaborado el documento Operacionalización criterios de evaluación en procesos de acreditación, en el que se definen los tramos de asignación de años de acreditación. Estos son: a) Primer tramo, donde el máximo son tres años de acreditación, b) Segundo tramo, donde el máximo son cinco años de acreditación y c) Tercer tramo, donde el máximo son siete años de acreditación. Esto último podría constituir un elemento que podría dar generar confusión en la definición de los años de acreditación, pues en el Manual de pares evaluadores (2008) se establece que el tiempo de acreditación mínimo que una carrera puede tener es de 2 años, mientras que en

                                                            18 Cabe destacar que estos elementos se han concluido a partir de la lectura del “Manual de pares evaluadores”, elaborado por la CNA el año 2008, pero que están referidos al trabajo que realiza la CNA, no el de las agencias, y por tanto, se tuvo que asumir que también se aplican al trabajo de éstas. No se ha encontrado ningún documento que precise esta información para las agencias. 19 Estos criterios y normas de evaluación, así como los documentos en los cuales se encuentran, se describen en el apartado de los aspectos generales del análisis documental.

36  

los documentos Operacionalización criterios de evaluación en procesos de educación (2010) y Normas y procedimientos acreditación de pregrado (2010) se determina que el primer tramo de acreditación es hasta 3 años, periodo de tiempo que incluye la posibilidad de acreditar por 1 año una carrera. Si bien los últimos 2 documentos son más reciente, el Manual de pares evaluadores está plenamente vigente.

El Consejo de Educación decide el tramo de años de acreditación en función de la siguiente escala con la que se evalúa cada uno de los 9 criterios: a) Insuficiente, cuando un criterio o conjunto de criterios no cubren la amplitud requerida para asegurar la viabilidad y sustentabilidad de la carrera programa o no se orienta al cumplimiento de sus propósitos, lo que significa que no acredita. b) Aceptable, cuando un criterio o conjunto de criterios cubren parcialmente la amplitud requerida para asegurar la viabilidad y sustentabilidad de la carrera programa. Los aspectos cubiertos están orientados al cumplimiento de los propósitos de la carrera o programa, por lo que se ubica en el primer tramo de años de acreditación. c) Adecuado, cuando un criterio o conjunto de criterios cubren los aspectos fundamentales para asegurar la viabilidad y sustentabilidad de la carrera o programa, los cuales están orientados al cumplimiento de sus propósitos, por lo que se ubica en el segundo tramo de años de acreditación. d) Óptimo, cuando un criterio o conjunto de criterios cubren la totalidad de los aspectos requeridos para asegurar la viabilidad y sustentabilidad de la carrera o programa, los cuales están orientados al cumplimiento de sus propósitos, por lo que se ubica en el tercer tramo de años de acreditación20.

Luego de analizar los antecedentes, el Consejo de Educación emite el acuerdo de acreditación del programa o carrera, el que contiene la decisión final de acreditación y finaliza el proceso.

                                                            20 Para efectuar este análisis, la agencia se apoya en el esquema de operacionalización que la CNA sugiere. Esta investigación no estudió profundamente este esquema, ya que implica el análisis de los criterios de evaluación, en el siguiente estudio se entra con mayor detalle a temas relacionados con la operacionalización en el contexto de las carreras de básica.

37  

Figura n.° 2. Resumen del proceso de acreditación como lo indica la normativa vigente

Fuente: elaboración propia con datos de la CNA

1.5 Observaciones a la coherencia y precisión de los documentos Sobre la coherencia de los documentos, se pudo observar que prácticamente no existen incoherencias entre los documentos con respecto a las etapas del proceso. Todos los documentos mencionan las mismas dimensiones y criterios de evaluación de carreras; la cantidad mínima de integrantes del comité de pares, así como los días de visita a la carrera, coinciden en todos los documentos; la forma de preparación de las visitas a las instalaciones de la carrera es la misma; los documentos tampoco tienen contradicciones respecto del contenido de los informes de salida y del comité de pares, así como de la conformación del Consejo de Educación y la revisión de antecedentes para la decisión de acreditación.

Sin embargo, como se mencionó más arriba, se observó una contradicción respecto de la cantidad mínima de años de acreditación, pues existen 2 documentos vigentes que dan lugar a una acreditación mínima de 1 año, mientras que otro documento, también vigente, menciona que la acreditación se entrega por un mínimo de 2 años. Si bien es solo una contradicción, se podría decir que es grave, pues todo el sistema de acreditación chilena está orientado a decidir la acreditación mediante una cantidad de años concreta. Por otro lado, la observación del análisis anterior, permite observar que existen acreditaciones vigentes por 1 año, lo que permite afirmar que es una resolución válida.

Sobre la precisión de los documentos, se encontró lo siguiente:

38  

Si bien existe un manual de funcionamiento exclusivo para las agencias (Resolución exenta 165-3), este deja aspectos del proceso de acreditación de carreras de pedagogía no regulados. A continuación se mencionan algunas de las imprecisiones observadas en la documentación revisada:

a) Se establecen capacitaciones obligatorias, pero no se menciona explícitamente su contenido ni su frecuencia. Las agencias deben capacitar a todos sus pares evaluadores antes de inscribirlos dentro de un proceso de acreditación, sin embargo la normativa vigente no indica la frecuencia con que deben realizarse, si antes de cada visita, una vez al año, al semestre, etc., así como tampoco se hace referencia a cuál debe ser el contenido de dichas capacitaciones, si orientarse a que los pares conozcan los procedimientos, los criterios, los aspectos de buen trato con los entrevistados, u otros.

b) Faltan orientaciones sobre cómo conformar el comité de pares evaluadores en el caso de las agencias. Se exige representatividad en el listado de pares evaluadores de las agencias, pero no para la conformación del comité de pares. Por otro lado, tampoco se establece una definición operativa del criterio de representatividad. Además, en la normativa vigente existe una orientación para la conformación de este, pero que se refiere a la CNA21, y por tanto, no hay documentos que establezcan un procedimiento para el caso de las agencias o una orientación sobre el procedimiento de conformación del comité para una acreditación determinada, en especial en los casos de veto.

c) No existe claridad acerca de lo que pasa cuando una carrera ya ha vetado tres veces el comité de pares evaluadores que ha propuesto la agencia: ¿se debe apelar a la CNA, al Consejo Nacional de Educación, a la División de Educación Superior del Ministerio de Educación o a alguna otra institución, para la definición del comité de pares definitivo? El proceso que se conoce es válido para el caso de la CNA, en cuyo caso se debe consultar al CNED, pero para el caso de las agencias no hay ningún proceso explícito sobre esto.

d) No aparece información acerca de cómo realizar la visita a la unidad en el caso que haya distintas sedes o distintas jornadas. ¿Los pares evaluadores deben ir juntos o se separan para ir a cada una de las sedes en las que se imparte la carrera? Tampoco hay indicaciones respecto de cuáles o cuántas sedes visitar.

e) Falta una explicación más detallada acerca de lo que significa idoneidad académica y representatividad en la conformación del Consejo de Educación. Esto daría problemas para establecer un criterio general de selección del Consejo, ya que cada agencia puede entender la idoneidad académica y la representatividad de distinta forma.

                                                            21 Este procedimiento consiste en proponer un comité de pares evaluadores y un ministro de fe de la CNA, a la institución en proceso de acreditación. Esta última tiene la capacidad de vetar el comité propuesto, sin expresión de causa, hasta por tres veces. Después de esto, el CNED impone un comité final.

39  

f) No existe una explicación acerca de cómo el Consejo de Educación debe considerar los antecedentes (informe de autoevaluación, Informe del comité de pares y los criterios de evaluación para programas de pedagogía). Si estos últimos deben ser utilizados por el Consejo para entender la situación de las unidades a acreditar, o si deben ser empleados explícitamente como fundamentos en los que basan su decisión de acreditación. Tampoco se indica cuál de ellos son más importantes o si todos tienen la misma relevancia.

g) El documento Operacionalización criterios de evaluación en procesos de acreditación solo define unos tramos de años de acreditación para una carrera, pero si bien constituye una guía para la asignación de los tramos años de acreditación que debe hacer el Consejo de Educación, no orienta la decisión final de años de acreditación. Por ejemplo, gracias a este documento se puede establecer que una pedagogía estará en el segundo tramo de años de acreditación (es decir tendrá más de 3 años de acreditación, pero menos de 5 años), pero no permite definir si dicha pedagogía estará acreditada por 4 o 5 años, y esto es lo fundamental en el contexto de la acreditación en Chile, donde el tiempo de acreditación de una carrera es lo que importa y no el tramo donde se ubicaría.

h) No existe ningún documento que permita valorar o ponderar cuál de las dimensiones o criterios de evaluación tiene un mayor peso en la decisión de acreditación. Así, no queda claro si, al momento de tomar la decisión de acreditación, hay alguna dimensión o criterio que sea más o menos importante que el resto, o si todos son igualmente importantes.

i) La normativa no precisa sobre los mecanismos de colaboración entre las agencias. No hay un pronunciamiento, ni sugerencias, sobre la forma en que las agencias deben colaborar entre sí, por ejemplo, con seminarios sobre acreditación o información sobre el trabajo de sus pares. Tampoco se menciona una frecuencia mínima sobre estas.

2. Coherencia entre los procedimientos de la normativa y de las agencias22. Aquí se presentan los resultados que emanan del análisis de contenido de las entrevistas con pares y ejecutivos de las 4 agencias estudiadas.

2.1. Marco general de la acreditación Para la evaluación de las carreras de pedagogía, todas las agencias consideran las 3 dimensiones y los 9 criterios de evaluación dispuestos en la normativa.

Respecto de los requisitos en la selección de pares evaluadores, todas las agencias cumplen lo establecido en la normativa vigente, superando largamente el mínimo establecido. Incluso, se menciona que la experiencia en gestión y en otros procesos de acreditación, así como el compromiso con la búsqueda de calidad de las pedagogías, es valorada al momento de seleccionar pares.                                                             22 Para más detalles revise anexo n.º 4.

40  

Por otro lado, todas las agencias realizan capacitaciones a sus pares antes de incorporarlos a un proceso formal de acreditación. Sin embargo, hay divergencias entre ellas en la forma que estas se realizan. La Agencia 3 realiza jornadas de capacitación previa a cada visita del comité, en la que se les remarca a los pares que deben ir sin una actitud de superioridad, deben evitar los juicios de valor y que deben “aplicar el estándar con criterio” (E.1), es decir, contextualizar la evaluación a la realidad propia de la carrera. La agencia 4, en cambio, ofrece a sus pares 2 o 3 jornadas de capacitación separadas entre sí por 3 meses. En estas se les indica qué es la acreditación, qué hacen los pares evaluadores y qué se espera de ellos como pares. Además, se les señala que deben evaluar en función de los propósitos de la carrera, y no considerar su visión de cómo debería ser esta. Por su parte, la agencia 5 realizó una capacitación masiva cuando comenzó a funcionar, en la que se les instruyó a los pares sobre qué es la acreditación, qué significa ser par evaluador y qué se espera de su trabajo. Asimismo, se han realizado talleres previos a las visitas en los que se les recuerda a los pares evaluadores los elementos ya mencionados. No obstante lo anterior, uno de los pares entrevistados en esta agencia mencionó que participó de un proceso de acreditación sin haber sido capacitado. Por último, el profesional de la agencia 6 declara haber realizado 10 capacitaciones a pares, en las que se revisa la normativa, las dimensiones y criterios de evaluación, y se les repite “hasta el cansancio que tienen que ser tipos simpáticos” (E. 15).

2.2. Evaluación externa de la carrera de pedagogía Los comités de pares en todas las agencias son conformados por 3 pares evaluadores, uno de los cuales oficia de presidente del comité. Usualmente es designado por la agencia y es aquel par con más experiencia. En el caso de la agencia 6 se menciona que el presidente también ha sido seleccionado por el propio comité de pares. El presidente está encargado de la redacción y de entregar a la agencia el informe del comité de pares. Asimismo, todas las agencias envían un secretario técnico de visita que acompaña al comité en su visita, coordina la misma y vela porque se cumplan los procedimientos dispuestos por la agencia, tal como lo señala la normativa vigente. En este punto se presentan algunas diferencias: mientras que en la agencia 5 se menciona que los secretarios no necesariamente son personas estables de la agencia, sino que pueden ser profesionales jóvenes, a los que la agencia entrena en los criterios, y acompañan a los pares según su disponibilidad, en la agencia 6 se señala que son personas con experiencia que trabajan de manera estable en la agencia. Además, las 4 agencias señalan que los secretarios evalúan, de uno u otro modo, el trabajo de los pares. Mientras las agencias 3 y 4 indican que tienen un listado de pares con el rendimiento de estos pero no indican cómo obtienen dicha información, las agencias 5 y 6 declaran abiertamente que los secretarios evalúan el trabajo de los pares durante la visita, que son sus “espías” (E. 15). Por último, un par de la agencia 4 menciona que sus visitas, especialmente a regiones, son acompañadas por un coordinador general; el que se encarga de organizar la visita, juntar a los pares, presentarlos frente a las autoridades de la carrera, entregarles la documentación y hacerles las sugerencias del proceso.

41  

Respecto del veto del comité de pares, todas las agencias señalan que los comités propuestos pueden ser vetados hasta en 3 ocasiones sin expresión de causa por parte de la carrera, tal como lo indica la normativa. No obstante, cada agencia tiene sus métodos de selección del comité que reducen los vetos, los que serán descritos más adelante.

Por otro lado, tampoco hay diferencias significativas entre lo dispuesto en la normativa y lo realizado por la agencias durante la preparación de la visita. En general, se disponen entre 15 y 30 días para que los pares lean los antecedentes y realicen las reuniones preparatorias. No obstante, la agencia 3 presenta dos diferencias: primero, que los pares deben revisar un formulario de preparación de visita de la agencia, el que contiene posibles preguntas a realizar durante la visita, mientras que en el resto de agencias estas preguntas se elaboran entre los pares durante las reuniones de coordinación o se preparan mediante correo electrónico. Segundo, que las reuniones de preparación no son obligatorias, dado que “en educación los pares están bien preparados” (E.1). Mientras, en la agencia 4 sostienen que en estas reuniones se pueden repartir los énfasis en la revisión de criterios, por ejemplo, que cada par tome nota solo de una dimensión o criterio, o que todos tomen nota de todas las dimensiones. A pesar de lo anterior, todas las agencias realizan reuniones de coordinación.

Con respecto a la realización de la visita, en todas las agencias se cumple este paso tal como está dispuesto en la normativa vigente, en términos del tiempo de la visita, el horario de cada día, las reuniones con los actores principales de la carrera, los recorridos por las instalaciones y las reuniones del comité de pares al final de cada día de visita. Además, los pares evaluadores de las 4 agencias establecieron que los documentos dispuestos por la CNA para este paso son útiles y suficientes. Sin embargo, un par evaluador de la agencia 6 señala que estos documentos no son útiles para la reacreditación de las carreras. En relación con las percepciones de los entrevistados en torno a esta fase, los pares de la agencia 3 afirman que el tiempo de visita a las carreras no es suficiente. En la misma lógica, los pares evaluadores de la agencia 5 dicen que las reuniones no dejan mucho tiempo para interactuar con las personas de la unidad ni con los otros pares. Por otro lado, el profesional de la agencia 6 sostiene que las reuniones con los distintos actores no son muy confiables, ya que las carreras pueden seleccionar a las personas que más les convenga, y por eso en esta agencia les dicen a los pares que no consideren con mucha seriedad estas reuniones. Este entrevistado resume lo anterior diciendo que “estas son las mentiras que tiene este proceso” (E.15).

Por otro parte, la elaboración del informe de salida se efectúa en las 4 agencias tal como se encuentra establecido en los documentos: es un informe oral, que se realiza al final de la visita, lo lee el presidente del comité, y consiste en informarle a la carrera las fortalezas y las debilidades que el comité de pares encontró en la visita, respecto a los criterios de evaluación. La profesional de alto cargo técnico de la agencia 6 caracteriza este paso con las siguientes palabras: “En el fondo es como un feedback que se le da a la carrera" (E.11). Los pares evaluadores de esta agencia consideran que este paso es incómodo, ya que no

42  

existe ningún tipo de interacción con los actores de la unidad, simplemente se lee el informe y no hay preguntas de estos actores. Además, un par de la agencia 4 señala que la carrera debería poder tomar registro del informe de salida.

Con relación a la elaboración del informe del comité de pares, existe concordancia entre la normativa y lo hecho por las agencias acreditadoras, en términos del contenido y del formato. Sin embargo, en dos agencias hay divergencias con la normativa en aspectos específicos: En la agencia 3, el presidente del comité de pares redacta el informe, recibiendo los aportes de todos los pares, pero no siempre se exige que los demás integrantes aprueben este informe. Como indica un par: “en estricto rigor, el presidente o presidenta del comité debe enviarle a los pares evaluadores ese informe con el objeto de que uno diga si está de acuerdo. Eso no siempre ocurre. Hay informes en donde yo nunca supe lo que termino siendo el informe” (E. 4). Esto contrasta con la normativa vigente, ya que esta establece que es necesaria una discusión entre los pares evaluadores y que estos lleguen a un consenso para la redacción de este informe. En la agencia 5, algunos pares establecen que se pueden hacer recomendaciones tanto en la cantidad de años a acreditar como en el plan de mejoramiento de la carrera, y esto se aleja de la normativa, la que establece que los pares solo pueden hacer recomendaciones con respecto al plan de mejoramiento.

2.3. Decisión de acreditación Respecto a la conformación del Consejo de Educación, en todas las agencias se sigue lo dispuesto por la normativa: son 5 miembros, los cuales se caracterizan por tener idoneidad académica y representatividad. Ahora bien, los profesionales técnicos de alto cargo de las agencias hacen precisiones que permiten entender los criterios anteriores, los cuales no son definidos por la normativa vigente: Primero, la idoneidad académica se relaciona con que los consejeros deben ser profesionales de reconocida trayectoria. Este aspecto es muy relevante, ya que, como afirma el profesional de la agencia 3 “son profesionales de reconocida trayectoria, y por eso no tenemos más que descansar en su buen juicio (para tomar la decisión de acreditación)” (E.1). Además, en la agencia 5, se considera que los consejeros tengan experiencia en el sistema antiguo de acreditación (CNAP), o que sean recomendados por consejeros anteriores. Segundo, la representatividad se entiende de distintas formas en las agencias. Por ejemplo, en la agencia 4, es importante que haya personas con experiencia en administración, en investigación, y además los miembros deben representar las distintas especialidades de las pedagogías (educación diferencial, parvularia, básica, entre otras). Pero en la agencia 5 también es importante que los consejeros representen al tipo de instituciones que hay en la educación superior (privada, pública, laica, católica, regional). Se puede ver que no existe regularidad en la interpretación de los criterios para seleccionar consejeros.

43  

Por otra parte, en relación con los antecedentes relevantes para la decisión de acreditación, tres de las agencias investigadas cumplen con lo definido por la normativa para este paso. Pero en la agencia 6 se menciona solo uno de los documentos que la normativa establece: el informe escrito del comité de pares. Además, en la agencia 5 se entrega información adicional a los consejeros, la cual se refiere al contexto de la carrera, y que elabora el organismo técnico de la agencia a partir de bases públicas: ÍNDICES, SIES, la página web de la CNA. En esta información de contexto, se sitúa la carrera que se está evaluando en función de las carreras similares en el país, sobre la base del puntaje PSU, a la matrícula que tiene, y a cómo está la carrera con respecto a su estado de acreditación, respecto a carreras similares.

Por último, sobre la decisión de años de acreditación, en 3 de las agencias se utiliza el documento Operacionalización criterios de evaluación en procesos de acreditación para definir los tramos de años, y luego de seleccionado este, los consejeros establecen los años de acreditación en función de su juicio. No obstante, el profesional de la agencia 4 afirma que el documento anterior no es suficiente, ya que hay elementos que no son considerados y se limita el juicio experimentado de los consejeros. El profesional de la agencia 6 también indica que este documento no es óptimo, porque no permite diferenciar, por ejemplo entre 5 y 6 años de acreditación. En la agencia 5, no se ocupa la rúbrica definida por la CNA, ya que, como afirma la profesional de esta agencia, "Existe una rúbrica que la CNA realizó hace un tiempo atrás y que está en su página web, pero si se fijan la rúbrica no es un muy buen ejemplo, al menos la que construyeron ellos, porque el máximo de años es lo mínimo que se le puede exigir a una institución" (E.11). Por su parte, los pares evaluadores de esta agencia afirman que la cantidad de años de acreditación depende de la rigurosidad de cada agencia en la aplicación de los procedimientos y de los criterios, y un par evaluador dice que dos años de acreditación es como no acreditarse, ya que el proceso de preparación para la acreditación demora un año a lo menos. Vale agregar que sobre el mínimo de años de acreditación, en las agencias 3, 5 y 6 no permiten acreditar por menos de dos años. En cambio, la agencia 4 si ha acreditado pedagogías por un año.

Tabla n° 8. Resumen de comparación entre la normativa y el funcionamiento de las agencias

Criterios Agencia 3 Agencia 4 Agencia 5 Agencia 6

1.1. Aplicación de los criterios de evaluación Cumple Cumple Cumple Cumple

1.2. Requisitos para la selección de los pares evaluadores Cumple Cumple Cumple Cumple

1.3. Capacitación de los pares Cumple Cumple Cumple Cumple

Sobre la utilización del documento Operacionalización criterios de evaluación en procesos de acreditación para orientar la decisión de años de acreditación, 3 agencias los usan, aunque el entrevistado de una de ellas no lo considera suficiente. La agencia que no lo usa porque la consideran poco exigente. En palabras de un alto ejecutivo de esta agencia: el máximo de años es lo mínimo que se le puede exigir a una institución" (E. 11)

44  

evaluadores 2.1. Integrantes del comité de pares Cumple Cumple Cumple Cumple

2.2. Veto del comité Cumple Cumple Cumple Cumple

2.3. Preparación de la visita Cumple parcialmente Cumple Cumple Cumple

2.4. Realización de la visita Cumple Cumple Cumple Cumple

2.5. Elaboración del informe de salida Cumple Cumple Cumple Cumple

2.6. Elaboración del informe del comité de pares

Cumple parcialmente Cumple Cumple

parcialmente Cumple

3.1. Conformación del Consejo de educación Cumple Cumple Cumple Cumple

3.2. Antecedentes relevantes para la decisión de acreditación Cumple Cumple Cumple Cumple

parcialmente

3.3. Años de acreditación Cumple Cumple Cumple Cumple

Fuente: elaboración propia.

Dicho esto, se puede sostener que, en general, las agencias cumplen la normativa vigente. No obstante, en la aplicación de los criterios de evaluación, la capacitación a los pares evaluadores, la conformación del consejo de educación y en la decisión de años de acreditación, la normativa es flexible como para que cada agencia la cumpla de la forma que considere más pertinente.

3. Procedimientos no regulados por la normativa vigente23

3.1 Marco general para la acreditación de carreras de pedagogía Respecto del método de selección de los pares evaluadores, las agencias 3 y 5 utilizan el registro público de los pares evaluadores de instituciones que tiene la CNA, ya que con esto se aseguran que cumplan con los requisitos mínimos solicitados por la CNA. Además, en las agencias 4, 5 y 6 los pares llegan a las agencias por recomendación de otro par que trabajaba en estas. Como establece una par de la agencia 6, “un profesor de música me invitó a participar, o sea, dio mi nombre digamos (…) él ya estaba en la agencia” (E.16). Por otro lado, en las agencias 5 y 6, se han reclutado pares por haber participado en procesos de autoevaluación de sus carreras, que han sido evaluadas por estas agencias.

A su vez, la agencia 5 tiene otros modos de contacto y selección que ninguna otra agencia señala: primero, preguntar al consejo de acreditación, cuando es un área a acreditar donde no se tiene una cantidad adecuada de pares, para que este recomiende académicos o profesionales que puedan ser pares evaluadores y que cumplan con los requisitos dispuestos                                                             23 Para más detalle de los procedimientos no regulados de cada agencia, véase anexo nº 4

45  

por la normativa. Segundo, consultar las páginas web de instituciones reconocidas, para invitar a los directivos de esas unidades. Tercero, mediante la interacción de la agencias con los pares por otras actividades académicas: “Sucede que yo he trabajado con una de las directoras de la agencia en otros proyectos dentro de la universidad, entonces conocíamos nuestro trabajo, entonces me dijo yo creo que tú me podrías servir por tus antecedentes para que participes como par evaluador” (E.14).

Por su parte, el profesional de la agencia 6 señala que un criterio de selección es que los pares evaluadores tengan un modo de pensar afín a la agencia, que en este caso se refiere a darle prioridad a los contenidos de las especialidades en pedagogía, y restarle

importancia a los métodos pedagógicos24.

“La mayoría de nuestros pares no es pedagogicista, si uno elige a la gente que quiere (…) uno tiene una agencia que tiene una manera de pensar y una línea” (E.15). Agencia 6. 

Con relación a los mecanismos de colaboración entre agencias, en las agencias 3, 4 y 6, se afirma que no existe una relación formal entre agencias, sino que más bien hay relaciones informales e irregulares. Con respecto a esto, el profesional de la agencia 4 indica que tienen buenas relaciones profesionales y personales con otra agencia, y que sus contactos son para intercambiar información, en especial de pares evaluadores. Por otra parte, el profesional de la agencia 6 señala que se han juntado con otra agencia a discutir sobre la ética de su trabajo. Es notable que el profesional de la agencia 3 señale que “no existe una agrupación de agencias, una confederación de agencias, ni tampoco instancias regulares de comunicación de agencias (…) no hay una vinculación muy constante” (E.1). Como el mismo profesional afirma, esto puede tener relación con que la acreditación es un mercado. La agencia 5 no entregó información al respecto.

Por otra parte, en las agencias 3 y 4, se revisan los antecedentes (informe de autoevaluación y anexos) que ha enviado la carrera. Al respecto, se afirma que el organismo técnico observa que en estos antecedentes esté la autoevaluación de todos los criterios de evaluación. En caso contrario, se le devuelven estos a la carrera para que complete lo que falta. El profesional de la agencia 3 indica que este paso es una revisión acerca de la forma del informe, no sobre el contenido. El profesional técnico de la agencia 4 agrega que hacen un seguimiento del proceso de autoevaluación de la carrera, para ver si el informe de autoevaluación responde a la totalidad de las opiniones de la carrera y si constituye realmente un plan de mejoramiento. No le gusta la visión de que la universidad hace un informe y la agencia responde con otro. En las agencias 5 y 6 no se menciona este paso.

3.2. Evaluación externa de las carreras de pedagogía

                                                            24 Esta definición de no pedagogicista la da el propio profesional. 

46  

Cada agencia pone énfasis en diferentes criterios. La agencia 3, en general, centra su

ayoritariamente que todas las

specto a la conformación del comité de pares evaluadores, las agencias 3 y 5 indican

o de itación, viendo si el par revisó todo el

s comités de pares.

evaluación en el perfil de egreso. El profesional señala: “Si tú me preguntas ¿de las tres dimensiones, cuál es la que tiene mayor peso? la uno, lejos” (E.1). En la agencia 4 encontramos diversas opiniones entre los entrevistados. Por un lado se señala que el énfasis está en el perfil de egreso y la estructura curricular, por otro, se observa con mayor detención los recursos humanos, en especial la calidad de los docentes. Incluso un par señala que todos los criterios son igualmente importantes y están interrelacionados. En la agencia 5, tanto el profesional como los pares indican mdimensiones y criterios son igualmente importantes y están mutuamente relacionadas. En la agencia 6, el profesional señala que la atención se dirige al plan de mejoramiento señalado en el informe de autoevaluación, sin embargo, los pares indican que lo más relevante a observar es el perfil de egreso, puesto que todas las demás dimensiones y criterios apuntan a él.

Con re

“Si tú me preguntas ¿qué es lo determinante en la acreditación? Es lo que la propia carrera ha

a

señalado como debilidades (…) los consejeros sevan al área de remedios que la propia carrera hincluido en el informe para superar esas debilidades” (E. 15). Agencia 6.

que le solicitan a la carrera un perfil de par evaluador que esta considere como el más adecuado considerando su realidad, y según este perfil las agencias le proponen un comité.

Además, la Agencia 5 evalúa el desempeñ

“Yo siempre hago la siguiente comparación (…) ustedes están haciendo su tesis (…) ustedes saben cómo les va a ir, o muy bien, o muy mal. No están con incertidumbre, porque efectivamente ustedes han hecho un trabajo de la tesis con su profesor guía” (E. 6). Agencia 4.

los pares evaluadores en los procesos de acredmaterial, se ajustó a los criterios de evaluación y respetó la cultura de la institución. Los pares que tuvieron un desempeño óptimo son llamados de nuevo para ser parte de un comité, pero los que tuvieron un mal rendimiento, no se les invita otra vez, aunque permanezcan en el registro de pares de esta agencia. En el mismo sentido, la Agencia 4 conforma los comités de pares basada en un listado propio de pares evaluadores, en donde se los cataloga según su rendimiento en el análisis del informe de autoevaluación, comprensión de los criterios de evaluación, y capacidad de redactar informes de pares que concuerden con los criterios de evaluación. Lo anterior significa tener un grupo estable de pares para cada área de acreditación. En la Agencia 6, se propone una lista de pares a la carrera, y cuando es rechazada tres veces, la agencia le pide a la carrera una nómina de 5 personas, para luego de estudiar sus antecedentes, elegir 3.

En las agencias 4, 5 y 6, es importante que haya heterogeneidad en loComo afirma el profesional de la Agencia 4:“Nosotros siempre tratamos de tener un poquito de diversidad (…) que los curriculum sean diversos” (E. 6), es decir, pares con experiencia transversal (administración, recursos humanos), curricular y en investigación. En la Agencia 5, buscan lograr esta diversidad, determinando que siempre irá un par que

47  

sea de la carrera a acreditar, pero también habrá pares externos a ella. Además, se intenta que vayan pares evaluadores que trabajen en colegios. Por otro lado, para las agencias 4 y 6 es relevante considerar la diversidad de instituciones de educación superior. Al respecto, los pares de la Agencia 6 señalan que en el comité hay personas de instituciones privadas, públicas y de regiones. No se obtuvo información sobre este punto para la Agencia 3.

En todas las agencias, es fundamental que se considere la realidad de los institutos

agencias 3 y 4 se asiste, a lo

. armente, en la Agencia 5, dentro

siempre acompañados del secretario técn

profesionales al acreditar las carreras de pedagogía que estos ofrecen. En las agencias 3, 5 y 6, se menciona que el comité debe estar integrado por, al menos, un par de un instituto profesional. Mientras que en la Agencia 4, se señala que al menos un par debe tener experiencia con “estudiantes con déficits de entrada”.

En el caso de la visita a carreras con múltiples sedes, en lasmenos, a la mitad de las sedes. En la Agencia 3 se selecciona siempre una de las sedes más grandes en términos de alumnos, y se busca abarcar todas las zonas geográficas donde haya sedes. Además se incorpora a la selección alguna sede con características distintas al resto, si es que las hay. En las agencias 4 y 5, se elijen las sedes aleatoriamentede las sedes seleccionadas, se visita una que esté en óptimas condiciones, en condiciones regulares y en malas condiciones según el informe de autoevaluación. Esta agencia observa con mayor detención la sede en peores condiciones, lo que justifican indicando que las carreras entregan el mismo título para todas las sedes. Además, según lo que se observa en esta sede, se decide si la carrera se acredita o no, y por cuantos años. En la Agencia 6, se va a 3 sedes que estén separadas unas de otras en términos de distancia. Se fijan en que las sedes sean similares en calidad y que haya una interacción entre estas.

Sobre los aspectos prácticos de la visita a

“Bueno, la acreditación es una sola. Nos fijamos que sean más o menos de la misma calidad (…) que sean parecidas, que haya un intercambio, un control, pero que no sea un gallinero una y un palacete otra” (E. 15). Agencia 6

Particul

distintas sedes, en la Agencia 3 se afirma que la duración de esta depende de cómo se pongan de acuerdo con la carrera y de la cantidad de sedes (en un caso fueron un total de 9 días a lo largo de 3 semanas). A su vez, se da la opción de que los pares realicen la visita por separado, aunque

ico de la agencia, y deben reunirse al final de la visita para evaluar en conjunto. En la Agencia 4 se establece que la visita dura en total entre 3 y 4 días. Los pares están juntos al visitar la sede más grande, pero el último día se dividen para ir a las otras sedes. Precisan, también, que en todas las sedes que se visitan, se efectúan las mismas actividades contempladas por la normativa. En las agencias 5 y 6 se señala que los pares deben estar todos juntos en la visita. La Agencia 5 establece que esto es para

“A veces vas a acreditar, pasa mucho en

s y

educación (…) en el caso de pedagogía básica, educación parvularia u otras, que tienen algunas unidades que son comuneotras que son propias de la carrera (…) vas con un equipo de una carrera, otro equipo de otra, y una figura que es denominada el par transversal” (E. 12) Agencia 5 

48  

controlar el posible sesgo de los pares. En la Agencia 6, se indica que la visita no puede durar más de 4 días en total.

Por otro lado, en todas las agencias se menciona la opción de la acreditación conjunta que consiste en acreditar simultáneamente un conjunto de carreras (o especialidades o menciones) distintas pero relacionadas. Por ejemplo, en el caso del área de educación se puede solicitar la acreditación conjunta de las carreras de educación básica, educación de párvulos y educación diferencial, o las diferentes menciones de una carrera común25. Para esto, a cada carrera se le asigna un comité de pares conformado por 2 o 3 integrantes y cada comité tiene un presidente. Asimismo, en las agencias 3 y 4 agregan que los distintos comités van acompañados por secretarios técnicos, pero no uno por comité, sino uno para todos los comités (para todo el grupo de carreras a acreditar). Estos participan siempre de las reuniones que se realizan en las diferentes menciones o carreras. Además, en algunos casos, existe una persona que cumple un rol denominado par transversal que, según la Agencia 3, es el presidente de todos los comités y debe leer el informe de salida y velar para que se realicen las preguntas que son comunes entre las distintas carreras o menciones. En la Agencia 5 establecen que el par transversal realiza la “metaevaluación” de todo el proceso general. Por otra parte, en las agencias 4 y 6 se menciona que los comités de pares se reúnen primero con las autoridades máximas de la institución, y luego se separan por carrera o mención, para entrevistarse con autoridades, profesores y alumnos de cada una.

Por último, en la Agencia 4 no se señala la presencia de un par transversal, sino que hay un coordinador general, que se encarga de organizar la visita, juntar a los pares, darlos a conocer a la carrera, hacerles las sugerencias del proceso y entregar documentos.

Respecto de la visita a jornadas distintas, en las agencias 3 y 4 se establece que deben coordinar el horario de visita con la carrera, de manera que el comité alcance a entrevistarse con alumnos, profesores y autoridades de jornadas vespertinas. Sin embargo, lo anterior no

representa una dificultad para las dos agencias, ya que los pares evaluadores realizan su trabajo hasta tarde cada día, y alcanzan, sin mayores problemas, a entrevistarse con los actores de los horarios

vespertinos. No existen especificaciones respecto a este punto para las agencias 5 y 6.

“La CNA tenía su material...un material con un tratamiento latero atroz. Nosotros hemos pescado ese material y lo hemos transformado en algo digerible” (E. 15). Agencia 6. 

Por otro lado, entrevistados de todas las agencias afirman que elaboran rúbricas propias para la evaluación en terreno de las pedagogías, que se entregan a los pares para que las usen en la visita y puedan comparar más fácilmente el contenido del informe de autoevaluación con lo que observan en la unidad. Sin embargo, según informan los

                                                            25 En el contexto chileno, las menciones (mención en lenguaje y comunicación o mención en matemática, o mención en segundo ciclo básico), también constituyen una carrera y por tanto objeto de acreditación.

49  

entrevistados, estas rúbricas deben seguir los estándares de la CNA, y se diferencian en términos de formato y de precisión.

Respecto a la elaboración del informe de salida y del informe del comité de pares, esta tiene sus particularidades cuando se trata de acreditaciones conjuntas. En el caso de la Agencia 3 se menciona que se elabora un informe de salida entre todos los comités, el que se prepara a partir de los aportes de todos los comités, y su exposición depende del par transversal. Respecto del informe del comité de pares, esta agencia indica que cada comité de pares envía su propio informe, y para su redacción el par transversal hace llegar su mirada global entre las carreras a los presidentes de cada comité, para que luego el presidente de cada comité elabore un informe de su carrera. Por otro lado, en la Agencia 4, que no presenta la figura del par transversal, se menciona que para la elaboración del informe del comité de pares, cada comité elabora su informe a partir de lo que observó. En el resto de las agencias no se tienen referencias a este respecto.

Con excepción de la Agencia 4, se observa que todas las agencias realizan una revisión del informe del comité de pares antes de enviárselo a la carrera, para que esta haga las observaciones que considere necesarias, y al consejo de educación de la agencia, para que tome la decisión de acreditación. Esta revisión consiste en observar si todas las dimensiones y criterios de evaluación están mencionados y con sus respectivas observaciones, de lo contrario, se envía este informe de vuelta al comité para que lo complete. Un profesional menciona que “no (es una revisión) en el contenido del informe, sino si se pronuncian sobre todos los criterios de evaluación y si entregan evidencia que justifique el juicio que están haciendo” (E.11). Además, la Agencia 6 realiza observaciones respecto de la redacción y ortografía del informe. En definitiva, es una revisión de la forma y no del contenido del informe.

3.3 Decisión de acreditación Respecto de quienes participan en las reuniones para tomar la decisión de acreditación, además del Consejo de Educación, las Agencias 5 y 6 incluyen otros actores relevantes. La primera incluye a la directora ejecutiva, que modera la reunión, y al coordinador a cargo del proceso. A su vez, ambos pueden aportar información nueva si es que fuera necesaria, sin embargo no tienen derecho a voto en la decisión final. La Agencia 6, por su parte, invita al presidente del comité de pares para complementar los contenidos del informe del comité; y al decano de la unidad o director de carrera durante 20 minutos para describir el contexto de esta.

"Los consejos de acreditación son, de cierta forma, tribunales de consciencia, entonces bajo su consciencia, bajo su experiencia ellos terminan evaluando. Cuando a ti te dicen "usted tiene que catalogar y dar puntaje a estos criterios y a esta área bajo esta escala", tu estas eliminando eso. No estoy diciendo que sea malo, pero convengamos que por el bien de homogenizar, tu estas eliminando, muchas veces, los criterios de los consejeros, que pueden tener mucha experiencia" (E. 6). Agencia 4. 

50  

Para el análisis de los antecedentes, las agencias evalúan la carrera en torno a rúbricas de evaluación. Las Agencias 3, 4 y 6 utilizan el documento de la CNA “Operacionalización criterios de evaluación en procesos de acreditación”. Si bien estas agencias consideran, por distintas razones, que este no es un documento perfecto, de todas formas lo utilizan. La Agencia 3 menciona que el documento ayuda a encauzar la decisión de acreditación, pero no es de tanta ayuda para determinar una cantidad exacta de años dentro de un tramo seleccionado. Por esto, la determinación de la cantidad de años dentro de un tramo, se realiza sobre la base de “juicio, buen criterio y experiencia” (E.1) de los consejeros. Sin embargo, el profesional de la agencia no considera que esto último sea una característica completamente negativa, pues sostiene que la acreditación es un proceso cualitativo. Por otro lado, la Agencia 4, también declara utilizar la rúbrica de la CNA, y decidir de acuerdo al juicio del consejo los años de acreditación. Sin embargo, son más críticos respecto del uso de este documento, pues opinan que limita las observaciones a la carrera que el consejo pudiera realizar. La Agencia 6, por su parte, usa la rúbrica de la CNA, pero no se mencionan mayores detalles de su utilización. Ahora bien, el énfasis en el análisis se efectúa en torno a la investigación que produce la carrera, la cantidad de profesores con jornada completa, “ese tipo de cosas que son más de verdad” (E.15).

“Entonces nosotros hemos elaborado algunas rúbricas para tomar la decisión (de acreditación), que las usamos sobre todo al principio, (…) para orientar la decisión. (…) Entonces, una carrera que se acredita por 2 años es porque cumple con el estándar básico, con lo mínimo para acreditarse y cuenta con un apoyo institucional que le permita sustentarse y poder realizar las mejora (…). Ahora, si nos encontramos con una carrera que cumple con lo mínimo, pero que está en una institución que no tiene ningún apoyo, y la pobre carrera, en verdad, no tiene cómo hacerse cargo de su plan de mejora, lo más probable es que la carrera no se acredite”. (E. 11). A i 5

A diferencia del resto de las agencias, la Agencia 5 ha elaborado rúbricas propias para tomar la decisión de acreditación. Sin embargo se menciona que los Consejos de Educación y Ciencias Sociales no necesitan de estas rúbricas, porque, dada su experiencia, pueden reconocer sin su ayuda la cantidad de años a acreditar. Esta agencia no utiliza la rúbrica de la CNA porque considera que los niveles de exigencia asociados a la asignación de años son muy bajos, de modo que la que elaboraron establece requisitos más altos. En definitiva, la rúbrica permite hacer un análisis de cómo está la carrera, cómo se ajusta a los criterios de acreditación y cuál es el apoyo institucional que tiene para llevar a cabo el plan de mejora que ellos mismos se han propuesto. “Es un análisis que es bien multidimensional, en el fondo no es lineal” (E.11). Además se menciona que en los casos de reacreditación, también se observa si la unidad ha sido capaz de hacerse cargo de las debilidades

detectadas, y cómo las ha superado. “Hay una enorme deuda por parte de la CNA respecto de los institutos profesionales y centros de formación técnica en términos de los criterios. Porque los criterios efectivamente, y sobre todo los de educación, están pensados para universidades, incluso para un tipo de universidades (…) por ejemplo piden investigación” (E. 1). Agencia 3.  

Para tomar la decisión de acreditación en el caso de las carreras de pedagogía ofrecidas por institutos profesionales, todas las agencias concuerdan en que no hay criterios específicos para la

51  

evaluación de los mismos. De modo que para reconocer la realidad de los institutos profesionales, todas mencionan que la investigación no es tan importante para tomar la decisión de acreditación, en este sentido, consideran más relevante revisar cómo se articulan los propósitos de cada carrera con la forma en que se llevan a cabo. Incluso la Agencia 4 menciona que observa con mayor detención el perfil de egreso y la Agencia 5 que no se castiga la ausencia de investigación.

Por último, la Agencia 5 menciona que el acuerdo de acreditación es redactado por el coordinador del proceso en cuestión, a partir de sus anotaciones realizadas durante la sesión del Consejo de Educación, en las que recoge los principales argumentos para fundar la decisión de acreditación. Luego, el encargado revisa el informe en conjunto con el director ejecutivo de la agencia. En el resto de las agencias no se hace referencia a este punto.

D. Conclusiones del estudio 2

Respecto al nivel de precisión de la ley, las normativas y los documentos que norman la acreditación, la primera conclusión obvia que se puede extraer del análisis de estos datos es que la normativa no regula de forma adecuada procedimientos importantes del proceso de acreditación, tales como la aplicación de los criterios de evaluación, la conformación del Consejo de Educación, entre otros. Además, deja sin normar una gran cantidad de procedimientos relacionados con el trabajo de las agencias, como por ejemplo la visita a distintas sedes y la acreditación conjunta.

A pesar que las agencias acreditadoras de pedagogía funcionan desde el 2007, el proceso de acreditación sigue estando orientado por el trabajo de acreditación de carreras que realizaba la CNA, antes de la existencia de agencias acreditadoras. Esto explica, por ejemplo, la falta de documentos específicos que precisen el trabajo de las agencias, y que algunos documentos esenciales para el desarrollo de la acreditación (el manual de pares evaluadores, términos de referencia concurso público pares evaluadores, entre otros) no hagan ninguna referencia sobre estos procedimientos en el caso de las agencias. Esto obliga a suponer que las normas seguidas en el caso de la CNA son válidas también para las agencias. Esto es incorrecto en la medida en que las agencias son organismos que, si bien cumplen una función de acreditación de carreras similar a la que cumplía la CNA, tienen características distintas (por ejemplo, la CNA es un organismo público, las agencias son privadas).

La normativa y los documentos entregan una orientación acerca de cómo realizar la acreditación que se puede aplicar a un caso prototípico, este es aquel en que la carrera de pedagogía es impartida en una sola sede, y tiene una sola jornada (diurna) y se solicita la acreditación de una sola carrera con una mención específica (por ejemplo, pedagogía en arte), pero no se refiere a todos aquellos casos –que no son una minoría– en que estos supuestos no se cumplen. Esto se puede observar toda vez que no se menciona cómo se debe llevar a cabo la visita de pares si existieran más sedes (si deben viajar los pares todos

52  

juntos a todas las sedes, o si se separan por sedes, o si tienen más tiempo para la visita, considerando la pérdida del tiempo de viaje, etc.) o si la carrera tuviera una jornada vespertina (si la visita comienza en el horario vespertino, o tiene el mismo horario que una visita a una pedagogía diurna, etc.); y no se establece cómo debe conformarse el comité de pares y de qué modo se efectúa la visita en el caso que una facultad de educación quiera acreditar todas sus carreras o especialidades.

En consecuencia, se puede decir que de todos los procedimientos concretos seguidos por las agencias para el proceso de evaluación de una carrera de educación y posterior acreditación, la proporción de ellos que se encuentra normada o prescrita es relativamente baja. Esto se puede graficar así:

Proceso de acreditación 

Normativa

Respecto a la coherencia de los procedimientos con lo que establece la ley y la normativa, en general, todas las agencias realizan los procedimientos del proceso de acreditación de las carreras y programas de pedagogías, tal como la normativa vigente lo señala, en los aspectos que esta regula. Sin embargo, los aspectos no prescriptivos difieren bastante y los documentos cuyo uso no es imperativo (por ejemplo, “Operacionalización…”) no se usan siempre, ni del mismo modo o con el mismo sentido.

VII. Estudio 3 A. Objetivo:

Evaluar los acuerdos de acreditación redactados por las agencias acreditadoras, en términos de su capacidad de explicitar el desempeño de la carrera en la totalidad de criterios e indicadores obligatorios (cobertura) y su capacidad de respaldar los años de acreditación otorgados en una descripción de la calidad de la carrera (coherencia interna) (Estudio 3) y evaluar si los acuerdos de las diferentes agencias son homogéneos o diferentes respecto a estos criterios.

B. Metodología: Muestra y recolección de datos La unidad de análisis del Estudio 3 son los acuerdos de acreditación. Estos son documentos generados por las agencias acreditadoras y revisados por la Comisión Nacional de Acreditación, los cuales se encuentran publicados en la página web de las agencias acreditadoras y la CNA.

53  

Los datos usados para el Estudio 3 corresponden a una submuestra de la base de datos del Estudio 1. Se trabajó con los acuerdos de acreditación de las carreras de pedagogía básica vigentes con el fin de acotar la muestra del universo de carreras de educación y aumentar la comparabilidad de los casos. Identificada la submuestra, se obtuvieron 47 carreras de pedagogía básica, que habían pasado por el proceso de acreditación, sin embargo, solo se encontraron 39 acuerdos de acreditación publicados y disponibles en internet, por lo que estos 39 constituyen la muestra definitiva.

Las agencias acreditadoras que han evaluado históricamente las carreras de pedagogía básica en Chile son: CNAP, CNA, Qualitas S. A.; Akredita QA; Acreditacción.

Evaluación de los acuerdos: categorías utilizadas en el estudio Para evaluar los acuerdos de acreditación se construyeron dos instrumentos que se describirán a continuación, previamente es necesario hacer una pequeña introducción sobre las categorías que pueden distinguirse de los criterios establecidos por la Comisión Nacional de Acreditación.

La CNA establece en el documento de “Criterios de evaluación de carreras de educación” (2009), a través de los criterios e indicadores, las expectativas que deben satisfacer las carreras. Estas expectativas se pueden separar en dos:

«En cada uno de ellos [criterios e indicadores] se utiliza la expresión debe, para aquellos aspectos cuyo cumplimiento es indispensable de cumplir para la acreditación del programa, y la expresión debiera para aquellos cuyo cumplimiento es recomendable» (CNA, 2009)

La cita define por un lado, los criterios e indicadores que son una obligación que debe cumplir el programa (deben estar presentes), mientras que por otro lado están los criterios e indicadores que son solo una sugerencia (deberían estar presentes). Para comparar los acuerdos se decidió, sobre la base de lo que la CNA establece, considerar solo aquellos criterios e indicadores que deben estar presentes, ya que todos los acuerdos deberían referirse a ellos, y esto permitiría juzgar si un acuerdo está más completo que otro.

A continuación se mostrarán y definirán cada una de las categorías que establece la Comisión Nacional de Acreditación.

La CNA establece 3 dimensiones, 11 criterios y 57 indicadores obligatorios para la acreditación de las carreras de pedagogía básica. Las dimensiones se presentan en la siguiente tabla.

54  

Tabla n.º 9. Dimensiones establecidas por la CNA Dimensión 1. Perfil del egresado y resultados Agrupa a la definición del perfil de egreso y los criterios

relacionados con el ámbito académico y la docencia.

2. Condiciones de operación Considera los criterios referidos a los soportes organizacionales, financieros y de gestión de la unidad.

3. Capacidad de autorregulación Capacidad de la unidad de definirse metas y propósitos, así como de evaluar y medir sus niveles de logro.

Fuente: CNA, 2009.

Para cada una de estas dimensiones hay una determinada cantidad de criterios que se le asocian. La primera dimensión “perfil del egresado y resultados” tiene 5 criterios. La segunda dimensión de “condiciones de operación” tiene 3 criterios. Por último, la tercera dimensión de “capacidad de autorregulación”, también tiene 3 criterios (ver tabla nº 10).

Tabla n.º 10. Criterios establecidos por la CNA

Criterio Definición del criterio

Crit

erio

s de

la d

imen

sión

Pe

rfil

del e

gres

ado

y re

sulta

dos

1.1 Perfil profesional del educador

Definición del perfil profesional, que considera los propósitos y orientaciones generales como la definición y el perfil establecido (5 indicadores).

1.2 Estructura curricular

Estructura del currículo basada en los estándares que se derivan del perfil profesional del educador (8 indicadores).

1.3 Resultados del proceso de formación

Seguimiento y realización de cambios en los procesos académicos (3 indicadores).

1.4 Efectividad del proceso de enseñanza aprendizaje

Criterios de admisión definidos, proceso de enseñanza que contenga competencias mínimas de la profesión y mecanismos de evaluación de objetivos (5 indicadores).

1.5 Vinculación con el medio

Vinculación con el medio en el ámbito disciplinario, interdisciplinario y profesional para que la formación de profesores sea pertinente y actual (1 indicador).

Crit

erio

s de

la d

imen

sión

C

ondi

cion

es d

e op

erac

ión

2.1 Estructura organizacional, administrativa y financiera

Sistema de gobierno que permita una eficaz gestión institucional, administrativa y financiera (11 indicadores).

2.2 Recursos humanos

Mecanismos para asegurar una dotación académica adecuada en número, dedicación y calificaciones, y posesión de criterios claros y conocidos para la selección, contratación, perfeccionamiento y evaluación de su personal académico y administrativo (7 indicadores).

2.3 Infraestruc-

Instalaciones y recursos necesarios para la enseñanza, apropiados en número, actualizados y usados adecuadamente (2 indicadores).

55  

tura y recursos para el aprendizaje

Crit

erio

s de

la

dim

ensi

ón

Cap

acid

ad d

e au

torr

egul

ació

n 3.1 Propósitos

Declaración explícita de propósitos, concordante con la misión y propósitos de la universidad a la cual pertenece. Clara definición de sus fines y objetivos. Existencia de mecanismos que permitan evaluar el logro de los propósitos definidos (4 indicadores).

3.2 Integridad

Cumplimiento de los propósitos institucionales e información completa, clara y realista a miembros y usuarios (5 indicadores).

3.3 Autoevalua-ción

Proceso de autoevaluación y capacidad de autorregulación (6 indicadores).

Fuente: CNA, 2009.

Por último hay que mencionar que cada criterio posee cierta cantidad de indicadores. El listado de indicadores por criterio se encuentra en el anexo nº 2 (tabla 2 “Cobertura de indicadores”).

Entonces, a modo de resumen, tenemos 3 dimensiones, 11 criterios y 57 indicadores obligatorios, que son los que se utilizaron en el estudio.

Creación de los instrumentos Los instrumentos tienen como función evaluar los acuerdos de acreditación en 2 aspectos:

a. En primer lugar, se consideró la cobertura del acuerdo de acreditación en términos de la cantidad de criterios e indicadores obligatorios que menciona.

b. En segundo lugar, se evaluó la coherencia interna que hay entre los años de acreditación obtenidos por la carrera y la calidad de la carrera descrita en el acuerdo de acreditación.

Estos aspectos se explican a continuación.

a. Cobertura La Cobertura se entiende como la presencia de todos los criterios e indicadores definidos como obligatorios por la CNA, para cada dimensión en los acuerdos de acreditación, independiente de si su evaluación fue positiva o negativa. Esto quiere decir que lo importante es que el criterio o indicador este presente. Por ejemplo, en estos dos extractos de distintos acuerdos de acreditación:

“La infraestructura, instalaciones y equipamiento son en general de buena calidad y responden de forma adecuada a las necesidades de las labores docentes y al cumplimiento de los propósitos educacionales de las carreras” (Acuerdo 51, Agencia 3). “Las sedes no cuentan con infraestructura adecuada (…) Las salas son de un tamaño insuficiente y no cuentan con los recursos necesarios de apoyo a la docencia” (Acuerdo 88, Agencia 5).

56  

…los párrafos hacen referencia al indicador relacionado con la infraestructura de las sedes de las carreras evaluadas. En la primera cita se hace un juicio positivo sobre la infraestructura, en cambio en la segunda, se hace un juicio negativo. Independiente de la valoración, en ambos acuerdos el indicador de infraestructura está presente.

La evaluación de la cobertura de los acuerdos, se hizo en 2 niveles: criterios e indicadores.

• Cobertura de criterios Esta primera etapa consistió en evaluar cuán completo son los acuerdos de acreditación de las carreras de pedagogía básica, comparando el número de criterios mencionados en el acuerdo, con el número de criterios establecidos por la CNA (11). Mientras más criterios se encuentren presentes en los documentos, más completos estarán. La primera sección del instrumento que evalúa la cobertura de los acuerdos posee un formulario llamado “Cobertura de criterios” (ver anexo nº 2), el que se aplicó a cada uno de los 39 acuerdos de acreditación de carreras de pedagogía básica. Esta primera fase consistió en observar la “presencia” o “ausencia” de cada uno de los 11 criterios, en cada acuerdo de acreditación.

• Cobertura de indicadores La segunda sección del instrumento permite revisar, que tan completo está el acuerdo de acreditación por medio de la comparación entre el número de indicadores mencionados en el acuerdo y el número de indicadores establecidos por la CNA (57). Mientras más indicadores se encuentren presentes en los documentos, más completo estará el acuerdo de acreditación. Esta sección se pone de manifiesto en un segundo formulario llamado “Cobertura de indicadores” y se aplicó a cada uno de los 39 acuerdos de acreditación considerados en el estudio (ver anexo nº 2), observando la “presencia” o “ausencia” de cada uno de los 57 indicadores para cada uno de los acuerdos de acreditación.

A continuación se presenta un ejemplo:

Dimensión n.° 3: Capacidad de autorregulación

“La carrera de pedagogía en educación general básica cuenta con una declaración explícita de sus propósitos y es concordante con la misión institucional (…). Por otra parte, la unidad cuenta con una reglamentación conocida, la que define los deberes y derechos de la comunidad académica. Además, se observa que la publicidad entregada por la institución respecto de sus carreras es clara y verídica”. (Acuerdo N° 94, Agencia 3).

El proceso de identificación de indicadores consistió en leer y codificar cada párrafo, y determinar qué indicadores aparecían. En este extracto de un acuerdo de la Agencia 3, se pueden identificar tres indicadores: el primero de ellos es el indicador 44 que hace

57  

referencia a que debe existir una definición de propósitos clara (línea 2), también se observa el indicador 49 que dice que debe existir un reglamento claro y difundido (línea 3) y, por último, se encuentra presente el indicador 51 que plantea que debe existir publicidad clara y realista (líneas 4 y 5). Es así como se evaluó cada uno de los 39 acuerdos de acreditación de acuerdo a los 57 indicadores.

Para aumentar la confiabilidad de los juicios y la neutralidad de los jueces de la cobertura de los acuerdos se implementó una doble codificación de la totalidad de acuerdos, es decir, dos investigadoras aplicaron el instrumento de forma separada a los 39 acuerdos para luego discutir los resultados y llegar a un consenso en los casos en que existieron diferencias; este se consideró como el resultado final.

Una vez que se aplicó esta parte del instrumento, se creó una pequeña base de datos para procesar la información y obtener los resultados cuantitativos que describen este rasgo.

b. Coherencia interna Se entenderá por Coherencia interna, la equivalencia entre los años de acreditación otorgados por la agencia acreditadora y la calidad de la carrera descrita en el documento. Es importante subrayar que no se trata de una apreciación de la validez del acuerdo, en el sentido de cuán bien refleja la calidad real del programa, sino es un juicio de consistencia interna, en el sentido que busca apreciar en qué medida la descripción de una carrera explicitada en el acuerdo es coherente con los años de acreditación otorgados. Para poder comparar estos dos aspectos es importante saber en qué se basan las agencias de acreditación para determinar cuántos años de acreditación se le otorga a cada carrera. Como el Estudio 3 fue llevado a cabo simultáneamente con el Estudio 2, no se tenía información respecto a las prácticas no normadas de las agencias, entre ellas la importancia relativa de los criterios de acreditación o el uso de rúbricas propias. Por lo tanto, este análisis se sustenta en una simplificación del proceso que toma como referencia el único documento publicado por CNA el año 2010 que describe niveles de desempeño. Se trata del documento “Operacionalización criterios de evaluación en procesos de acreditación”, donde se fija, para cada criterio de evaluación, 4 tramos que especifican el nivel de calidad del desempeño de la carrera en ese criterio, que son los siguientes:

o Insuficiente (corresponde al primer tramo “no acredita”): se aplica a un conjunto de criterios que no cubren la amplitud requerida para asegurar la viabilidad y sustentabilidad de la carrera programa o no se orienta al cumplimiento de sus propósitos.

o Aceptable (corresponde al segundo tramo “acredita hasta 3 años”): se aplica a un conjunto de criterios que cubren parcialmente la amplitud requerida para asegurar la viabilidad y sustentabilidad de la carrera o programa. Los aspectos cubiertos están orientados al cumplimiento de los propósitos de la carrera o programa.

58  

o Adecuado (corresponde al segundo tramo “acredita hasta 5 años”): se aplica a un conjunto de criterios que cubren los aspectos fundamentales, para asegurar la viabilidad y sustentabilidad de la carrera o programa, los cuales están orientados al cumplimiento de sus propósitos.

o Óptimo (corresponde al segundo tramo “acredita hasta 7 años”): se aplica a un conjunto de criterios que cubren la totalidad de los aspectos requeridos para asegurar la viabilidad y sustentabilidad de la carrera o programa, los cuales están orientados al cumplimiento de sus propósitos.

Esta clasificación por tramos, va acompañada de un detalle para cada criterio de evaluación (anexo nº 3) en donde se explica qué características debe tener un programa para que sea clasificado como insuficiente, aceptable, adecuado u óptimo en ese criterio. A continuación, a modo de ejemplo, se presenta un extracto del detalle entregado por la CNA, para la dimensión de Capacidad de autorregulación:

Tabla n.º 11. Síntesis de criterios para la dimensión capacidad de autorregulación Criterio

Dimensión 3: Capacidad de autorregulación Primer tramo (Insuficiente)

Segundo tramo (Aceptable)

Tercer tramo (Adecuado)

Cuarto tramo (Óptimo)

3.1 Propósitos Capacidad insuficiente de definir metas, objetivos y propósitos y de avanzar al logro de perfil de egreso.

Capacidad aceptable de definir metas, objetivos y propósitos y de avanzar al logro de perfil de egreso.

Capacidad adecuada de definir metas, objetivos y propósitos y de avanzar al logro de perfil de egreso.

Capacidad óptima de definir metas, objetivos y propósitos y de avanzar al logro de perfil de egreso.

No considera (o lo hace ocasionalmente y de modo poco efectivo) la evaluación de propósitos en su gestión.

Considera la evaluación de propósitos en su gestión.

Considera sistemáticamente la evaluación de propósitos en su gestión.

Considera sistemáticamente la evaluación de propósitos en su gestión, con resultados positivos.

Fuente: CNA, 2010.

En la tabla anterior, en el criterio “Propósitos” que pertenece a la dimensión de “Capacidad de autorregulación”, se distingue, por ejemplo, lo que será un propósito insuficiente (primer tramo) de un propósito aceptable (segundo tramo).

Cada uno de los criterios de las dimensiones que comprende el acuerdo de acreditación fueron evaluados comparándolos con el documento de la CNA (anexoº 3). De acuerdo a la coherencia interna de los tramos del documento con la descripción que el acuerdo contiene del criterio, se le asignó un puntaje va de 1 a 4, donde 1 corresponde al primer tramo (insuficiente) y 4 corresponde al cuarto tramo (óptimo).

Ante la falta de orientaciones de la CNA respecto a cómo se debe traducir la valoración de cada criterio en una valoración total para el programa y la falta de información respecto a si las agencias asignan ponderaciones, pesos o importancias diferentes a los distintos criterios

59  

para la acreditación, se optó por sacar un promedio simple de los criterios por dimensión y posterior a esto, un promedio simple de las 3 dimensiones, obteniéndose un valor entre 1 y 4, el que se ubica en el siguiente rango de años de acreditación, definidos por la CNA (2010:2).

Tabla n º 12. Coherencia interna entre puntaje y años de acreditación 1 2 3 4 No acreditada 1 a 3 años de

acreditación 4 y 5 años de acreditación

6 y 7 años de acreditación

Fuente: CNA, 2010.

Este procedimiento puede considerarse una sobre simplificación, pero no se contaba con datos que sustentaran otro tipo de análisis de coherencia interna con los 39 acuerdos disponibles.

Al tener el tramo de los años de acreditación de cada acuerdo, se procedió a hacer la comparación con los años de acreditación otorgados por la agencia acreditadora asignándole un puntaje de coherencia interna. La coherencia interna se vio por medio de la brecha que existe entre ambas medidas, lo que se puede ver en la siguiente tabla:

Tabla n.º 13. Brecha entre los años de acreditación otorgados por la agencia y los años que arroja el instrumento del estudio

Existe diferencia de 3 tramos

Existe diferencia de 2 tramos

Existe diferencia de 1 tramo

No existe diferencia en el tramo

1 2 3 4 Fuente: elaboración propia.

Para aumentar la confiabilidad de los juicios y la neutralidad de los jueces de la coherencia interna, primero se calibró el juicio de las investigadoras por medio de la comparación de sus resultados con los de una experta. Para realizar esto se contactó a una experta en formación inicial docente quien revisó 3 acuerdos de acreditación, que previamente las investigadoras habían evaluado. El resultado fue el siguiente: en 2 documentos se obtuvo un 77,8% de acuerdo y en el otro, 72,2% de acuerdo y la máxima diferencia entre los puntajes que se obtuvo fue de un punto de distancia. Una vez que fueron evaluados todos los acuerdos, y para validar el proceso en general, el 10% de los documentos fueron revisados por la misma experta. Los resultados que se obtuvieron fueron satisfactorios ya que hubo un 100% de acuerdo en el tramo de Coherencia interna.

c. Comparación de los acuerdos entre agencias acreditadoras en términos de su cobertura y coherencia interna

Basado en los resultados obtenidos en la aplicación de los instrumentos creados y de ambos procesos descritos, se realizó un análisis cuantitativo descriptivo para cada agencia que mostró el comportamiento de cada una respecto a la cobertura de los acuerdos de

60  

acreditación y además permitió ver el grado general de coherencia interna que hay por agencia.

d. Análisis cualitativo de características de los acuerdos Paralelamente a este análisis de cobertura y coherencia interna de las descripciones presentes en los acuerdos, se hizo un análisis de las características de los textos que constituyen los acuerdos, por ejemplo, su estructura y redacción.

C. Resultados: Para comenzar, es importante conocer la distribución de los 39 acuerdos de acreditación de las carreras de pedagogía básica, en las cinco agencias que históricamente han acreditado a estas carreras (ver gráfico 2). La agencia que presenta un mayor número de acuerdos es la Agencia 3 con 16 acuerdos; luego la Agencia 5 presenta 10 acuerdos; la Agencia 4 con 6 acuerdos, seguida de la Agencia 1 con 4 acuerdos, y por último, la que posee menos acuerdos de acreditación es la Agencia 2, con 3 acuerdos.

Gráfico n.° 2. Número de acuerdos por agencia acreditadora

Fuente: Elaboración propia. N= 39 acuerdos de acreditación.

1. Respecto a la cobertura de los acuerdos La cobertura se entendió como la presencia total de criterios (11) e indicadores (57) definidos por la CNA (2009) en los acuerdos de acreditación de las carreras de Pedagogía Básica, independiente si la evaluación fue positiva o negativa.

En primer lugar, se observó la cobertura a nivel general, es decir, la presencia total de criterios e indicadores en los 39 acuerdos de acreditación. Respecto de criterios, como se muestra en la tabla 5, el promedio de estos para el total de los acuerdos fue de 8 criterios, lo que representa el 73,4% de un ideal de 11 criterios. El máximo obtenido fue de 10 criterios equivalente a un 90% de presencia de ellos, encontrándose esto en 5 acuerdos de acreditación, por último, el mínimo fue de 5 criterios, es decir, un 45,5% de presencia,

61  

observados en 2 acuerdos de acreditación. Por otro lado, el promedio fue de 20 indicadores, correspondiente a un 35,1% de un ideal de 57 indicadores. El máximo alcanzado fue de 28 indicadores (49,1%) en un acuerdo, y el mínimo fue de 13 indicadores (22,8%), también en un acuerdo de acreditación. La cobertura de los acuerdos de acreditación en cuanto a criterios es bastante mayor que de la de indicadores ya que ningún acuerdo alcanza el 50% de indicadores presentes.

Tabla n.° 14. Promedio, máximo y mínimo de criterios e indicadores Criterios Indicadores

Promedio 8 criterios 73,4% 20 indicadores 35,1%

Máximo 10 criterios 90% 5 acuerdos 28 indicadores 49,1% 1 acuerdo

Mínimo 5 criterios 45,5% 2 acuerdos 13 indicadores 22,8% 1 acuerdo

N 11 criterios 100% 57 indicadores 100%

Fuente: elaboración propia. N= 39 acuerdos de acreditación.

En segundo lugar, y haciendo un análisis más específico, se observaron los resultados de cobertura dentro de las tres dimensiones establecidas por la CNA. En general, y en concordancia a los resultados presentados anteriormente, se observó que el porcentaje de cobertura de criterios es mayor al porcentaje de indicadores presentes en las tres dimensiones (ver gráfico 3).

La segunda dimensión de “Condiciones de operación” es la más completa respecto de criterios e indicadores, ya que posee los mayores porcentajes de presencia de ellos (93,2% y 38,2% respectivamente); esto lo atribuimos a que esta dimensión reúne aspectos de fácil medición u observación, es decir, posee criterios más concretos y más fáciles de describir. Por otro lado, la dimensión más incompleta es la primera, “Perfil del egresado y resultados”, que obtiene un 64,6% de presencia de criterios y un 31,2% de presencia de indicadores.

Gráfico n.° 3. Porcentaje de presencia de criterios e indicadores por dimensión

Fuente: elaboración propia. N= 39 acuerdos de acreditación.

62  

En tercer lugar, haciendo un análisis más exhaustivo, se examinó la presencia de indicadores por criterio. Examinando el gráfico 4, los tres criterios más completos son: “Vinculación con el medio”, con un 76,9% de indicadores presentes, “Recursos humanos”, con 53,8% de indicadores presentes y por último, “Infraestructura y recursos para el aprendizaje”, con 52,6% de indicadores presentes.

Por otro lado, los tres criterios menos completos en los 39 acuerdos de acreditación fueron: “Perfil profesional del educador”, con un 19,0% de indicadores presentes, luego “Integridad”, con 17,9% de indicadores presentes, y el menos completo es el criterio de “Efectividad del proceso de enseñanza-aprendizaje” el cual posee un 16,9% de indicadores presentes.

Como dijimos anteriormente, los criterios más completos respecto de indicadores presentes, son aquellos que hacen referencia a aspectos más fáciles de medir o describir, como la infraestructura, que son áreas de simple observación para los pares evaluadores. En cambio, los criterios más incompletos respecto de indicadores son aspectos más difíciles de evaluar.

Gráfico n.° 4. Porcentaje de presencia de indicadores por criterio

Fuente: elaboración propia. N= 39 acuerdos de acreditación. Siguiendo con los resultados de Cobertura, a continuación se identifican los criterios e indicadores más y menos presentes en los 39 acuerdos de acreditación.

En la tabla n.° 15 se muestran los criterios e indicadores más presentes:

63  

Tabla n.° 15. Criterios e indicadores más presentes en los acuerdos de acreditación CRITERIO INDICADOR

1.1 Perfil profesional del educador (97,4%).

34/criterio 2.2 La unidad debe tener un cuerpo académico calificado, con experiencia académica y profesional. El cuerpo académico debe ser suficiente en número y dedicación para cumplir sus funciones y tareas (94,9%).

2.2 Recursos humanos (97,4%). 35/criterio 2.2 La idoneidad del personal académico debe establecerse en términos de títulos y grados pertinentes y por su producción en el campo científico, profesional o educativo, considerando las funciones que asume… (89,7%)

2.3 Infraestructura y recursos para el aprendizaje (97,4%)

41/criterio 2.3 La unidad debe contar con:

a) Infraestructura e instalaciones adecuadas, proporcionales al tamaño y las actividades de la unidad y de fácil acceso… (97,4%).

Fuente: elaboración propia. N= 39 acuerdos de acreditación.

Podemos decir, que los 3 criterios más presentes, se encuentran en el 97,4% de los acuerdos de acreditación de las carreras de pedagogía básica y respecto a los indicadores más presentes destaca el de infraestructura (indicador 41) con un 97,4% de presencia en los acuerdos de acreditación.

Por otro lado, a continuación se exponen los criterios e indicadores menos presentes en los acuerdos (tabla n.° 16):

Tabla n.° 16. Criterios e indicadores menos presentes en los acuerdos de acreditación CRITERIO INDICADOR

1.3 Resultados del proceso de formación (66,7%)

2/criterio 1.1 El profesor debe ser capaz de generar un ambiente propicio para los educandos (0%).

1.4 Efectividad del proceso de enseñanza-aprendizaje (7,7%).

27/criterio 2.1 La dirección de la unidad debe estar integrada por personas cuyos intereses personales no interfieran con la operación de la unidad (0%).

3.2 Integridad (43,6%). 48/criterio 3.2 La unidad debe cuidar que exista un adecuado equilibrio entre el número de educandos que ingresa a cada curso y el total de recursos del programa. (0%).

Fuente: elaboración propia. N= 39 acuerdos de acreditación. De los 3 criterios que están menos presentes, el de “Efectividad del proceso de enseñanza-aprendizaje” está en el 7,7% de los acuerdos de acreditación, valor considerablemente más bajo que los demás criterios. Por otro lado, se destaca que los 3 indicadores menos presentes no se encuentran en ningún acuerdo de acreditación.

64  

Para finalizar, se comparó la cobertura de los acuerdos de acreditación de las carreras de pedagogía básica entre las 5 agencias acreditadoras.

En la tabla n.° 17 se presenta el promedio de presencia de criterios e indicadores por agencia acreditadora. Respecto de criterios, la agencia que obtuvo los resultados más altos fue la agencia 2, con un promedio de 84,8% de presencia de criterios. Sin embargo, las diferencias entre esta agencia y las demás, no son estadísticamente significativas a un 95% de confianza, por lo que se concluyó que las 5 agencias acreditadoras presentan un comportamiento similar en cuanto a presencia de criterios (oscilando entre 70,9% y 84,8%).

Tabla n.° 17. Promedio de presencia de criterios e indicadores por agencia acreditadora Agencia 1 Agencia 2 Agencia 3 Agencia 4 Agencia 5

Promedio de presencia de criterios (11)

72,7% (41,5%-100%)*

84,8% (71,8%-97,9%)

72,1% (65,2%-79,1%)

75,7% (70,8%-80,7%)

70,9% (64,2%-77,6%)

Promedio de presencia de indicadores (57)

32,0% (22,0%-42,1%)

32,7% (26,1%-39,4)

35,9% (32,0%-39,7%)

43,6% (39,1%-48,0%)

30,9% (27,6%-34,2%)

N 4 3 16 6 10

Fuente: elaboración propia. N= 39 acuerdos de acreditación. *Intervalos a un 95% de confianza.

Con respecto a los indicadores presentes en los acuerdos de cada agencia acreditadora, se puede concluir que existen diferencias estadísticamente significativas a un 95% de confianza entre las agencias 4 y 5, siendo la agencia 4 la que presenta un 43,6% de presencia de indicadores versus la agencia 5, con un 30,9% de presencia de indicadores, que posee el porcentaje más bajo de éstos.

2. Coherencia interna La coherencia interna se entendió como la equivalencia entre los años de acreditación otorgados por la agencia acreditadora y la calidad de la carrera descrita en el documento. Observando el gráfico 5, podemos decir que la mayoría de los acuerdos de acreditación se concentran en el puntaje 3 y 4. El 56,4% de los acuerdos de acreditación fue evaluado como totalmente coherente, esto significa que la descripción y los años coinciden. Por el contrario, en el 41,0% de los acuerdos la descripción de la carrera y los años de acreditación difieren en un tramo del documento “Operacionalización…”. En el 2,6% de los acuerdos la diferencia fue de 2 tramos.

65  

Gráfico n.° 5. Porcentaje de acuerdos por puntaje

Fuente: elaboración propia. N= 39 acuerdos de acreditación

Analizando la frecuencia de los acuerdos por puntaje para cada agencia acreditadora se aprecian los siguientes resultados:

Tabla n.° 18. Frecuencia de acuerdos de acreditación por puntaje de coherencia interna para cada agencia

Tramos de Diferencia

Agencia 1 Agencia 2 Agencia 3 Agencia 4 Agencia 5

Ptje. 1 3 0 0 0 0 0

Ptje. 2 2 1 0 0 0 0

Ptje. 3 1 1 1 8 0 6

Ptje. 4 0 2 2 8 6 4

N 4 3 16 6 10

Fuente: elaboración propia. N= 39 acuerdos de acreditación.

En la tabla anterior, por ejemplo, la agencia 1 no posee acuerdos con puntaje 1, 1 acuerdo con puntaje 2, otro con puntaje 3 y 2 acuerdos con puntaje 4. Por lo tanto, y en concordancia al gráfico 5 y a los resultados presentados anteriormente, se observó que los acuerdos de acreditación se concentran mayoritariamente en el puntaje 3 y 4. Se aprecia que ninguna agencia obtuvo puntaje 1, es decir, 3 tramos de diferencia. Destaca la agencia 4, que muestra plena Coherencia interna en sus 6 acuerdos.

Por último, se presentan los puntajes promedio de Coherencia interna por agencia acreditadora. Observando la tabla 19, se puede concluir que no existen diferencias estadísticamente significativas a un 95% de confianza entre las agencia 1, 2, 3 y 5. Mientras

66  

que si existen diferencias significativas entre la agencia 4 y la agencia 3, y la agencia 4 con la agencia 5.

Tabla n.° 19. Puntajes de coherencia interna por agencia de acreditación Agencia 1 Agencia 2 Agencia 3 Agencia 4 Agencia 5

Ptje. promedio 3,3 (1,7-4)*

3,7 (2,2-4)

3,5 (3,2-3,8)

4** 3,4 (3,0-3,8)

N 4 3 16 6 10

Fuente: elaboración propia. N= 39 acuerdos de acreditación. *Intervalos a un 95% de confianza. ** Intervalo de confianza desestimado (puntaje constante).

3. Análisis cualitativo de los acuerdos de acreditación Este apartado contiene los resultados de carácter cualitativo del proceso de análisis de documentos que se realizó. Estas observaciones son relevantes para la elaboración de los acuerdos de acreditación e influyen directamente en la calidad del documento.

Se identificaron 3 aspectos: el primero de ellos hace referencia a un análisis de la estructura de los acuerdos de acreditación; los otros dos, al contenido de dichos documentos, destacando por un lado, la calidad de la redacción, y por otro, las temáticas emergentes.

3.1. Estructura de los acuerdos de acreditación Los acuerdos de acreditación se estructuran de dos formas, según agencia de acreditación:

a) Presentación de resultados por dimensión: Agencia 1, 2, 3 y 5. b) Presentación de resultados identificando fortalezas y debilidades: Agencia 1 y 4.

La primera forma de presentación de resultados, considera la división establecida por la CNA (2009) en tres dimensiones: “Perfil del egresado y resultados”, “Capacidad de operación” y “Capacidad de autorregulación”. La agencia acreditadora presenta las fortalezas y debilidades de cada universidad o instituto en función de las tres dimensiones.

La segunda forma de estructurar el contenido de los acuerdos identifica fortalezas y debilidades, es decir, agrupa la evaluación en los aspectos positivos y negativos, evitando toda referencia a las dimensiones.

Se consideró que la presentación de los resultados por dimensión es la mejor forma de explicar el contenido de un acuerdo, ya que de este modo el lector del documento puede primero, tener una visión general de la estructura que establece la CNA para evaluar una institución, y segundo, se comprende de manera más clara la información. En cambio, al presentar los resultados por fortalezas y debilidades no existe un hilo conductor de ideas, ya

67  

que más bien se presenta una clasificación de los aspectos positivos y negativos sin un orden claro, haciendo más difícil la comprensión de parte del lector, el cual debe clasificar y organizar la información. Además, este sistema no deja entrever las áreas de evaluación definidas por la CNA, especialmente para personas que no poseen conocimientos del tema.

3. 2. Claridad del contenido de los acuerdos de acreditación Para que un documento sea comprensible se deben presentar las ideas de manera clara y precisa, es decir, debe existir una buena redacción que le permita al lector entender a cabalidad la información presentada, más aún si son de carácter público. Sin embargo, se pudo comprobar que no siempre el contenido de los acuerdos de acreditación estaba bien redactado. A continuación se presenta un párrafo como ejemplo de deficiencia en la redacción:

“El nivel de los alumnos, su entusiasmo, y cohesión grupal y su identificación con la carrera” (Agencia 1, Acuerdo Nº 164).

Este párrafo no se comprende muy bien. Podemos notar que es una sola frase que no tiene verbo, por lo tanto, no existe una enunciación clara, solo se presentan antecedentes, sin precisar si lo que se expone es una fortaleza o una debilidad.

Por otro lado, dentro de la misma agencia, pero en otro acuerdo de acreditación, existe un ejemplo de buena redacción:

“El perfil de egreso se encuentra claramente definido, y responde a los criterios definidos por la CNAP. La estructura curricular y los métodos pedagógicos son consistentes con el perfil de egreso. Sin perjuicio de lo anterior, la organización del currículo respalda solo parcialmente la formación conducente al grado de licenciado, y no contempla adecuadamente la formación asociada a los objetivos transversales, uno de los fundamentos de la reforma curricular de la educación básica en el país” (Agencia 1, Acuerdo Nº 256).

Se puede apreciar que en este párrafo existe un hilo conductor y una clara exposición de las ideas, lo que permite identificar con éxito las fortalezas y debilidades de este criterio, ya que están bien fundamentadas.

3. 3. Temáticas emergentes de los acuerdos de acreditación Por último, en cuanto a contenido, los acuerdos de acreditación contemplan temáticas que no son consideradas en la lista de indicadores definidos por la CNA (2009) y que, sin embargo, son mencionadas en los documentos revisados. Se identificaron tres áreas: la primera de ellas hace referencia a los aspectos valorativos, es decir, considera las apreciaciones subjetivas de los actores relevantes en el sistema de educación superior (alumnos, administrativos, docentes, etc.), la segunda refiere a aspectos organizacionales, y

68  

la tercera, a aspectos pedagógicos, la cual considera elementos curriculares, metodologías pedagógicas y procesos de enseñanza.

Algunos de los indicadores emergentes sistematizados por aspecto son los siguientes:

Aspectos valorativos: • Valoración del alumnado de la calidad e idoneidad del cuerpo académico, y de su

calidad humana. • Compromiso de estudiantes y docentes con la carrera, y de los docentes con los

estudiantes. • Satisfacción con la educación recibida, de parte de los alumnos y empleadores.

Aspectos de la organización:

• Comunicación expedita con administrativos y docentes.

Aspectos pedagógicos: • Adecuación del número de asignaturas. • Innovación de los métodos pedagógicos utilizados.

D. Conclusiones del Estudio 3

La cobertura de los acuerdos de acreditación de carreras de pedagogía básica disponibles, varía según como se mida. Poniendo acento en los criterios, se observó un promedio de 73,4% de criterios presentes, lo que muestra que los documentos son más completos respecto a los criterios que respecto a los indicadores, sin embargo, los criterios son de carácter más bien general. Al hacer un análisis más exhaustivo de indicadores, se observó una disminución considerable de su cobertura, ya que ningún acuerdo alcanzó el 50% de presencia de indicadores. A pesar de que los acuerdos de todas las agencias cubren pocos indicadores, existen diferencias estadísticamente significativas entre algunas de ellas. Por otro lado, el análisis de la coherencia interna de los acuerdos, arroja que en un poco más de la mitad de los acuerdos de acreditación (56,4%) coincide la cantidad de años otorgados por la agencia con la calidad de la carrera descrita en el documento. En el resto de los acuerdos los años de acreditación y la descripción difiere en, al menos, un tramo (dos años aproximadamente).

Aunque no se encontraron diferencias significativas en coherencia interna entre los acuerdos de todas las agencias (sí entre algunas), se encontró que los acuerdos difieren entre agencias en su organización y contenidos. Adicionalmente, la evidencia muestra que los aspectos de los programas asociados al currículo y a la docencia son los menos descritos en los acuerdos.

La dimensión menos explícita en los acuerdos es “Perfil del egresado y resultados” que contiene la definición del perfil de egreso y los criterios relacionados con el ámbito académico y la docencia. Los indicadores menos presentes son “Perfil profesional del educador”, con un 19,0% de indicadores presentes, “Integridad”, con 17,9% de indicadores

69  

presentes, y el menos completo es el criterio de “Efectividad del proceso de enseñanza-aprendizaje” el cual posee un 16,9% de indicadores presentes. Los criterios más completos de indicadores presentes son aquellos que hacen referencia a aspectos más fáciles de objetivar o describir, como la infraestructura o la cantidad de recursos humanos, que son áreas de simple observación para los pares evaluadores. En cambio, los criterios más incompletos de indicadores son aspectos más difíciles de evaluar, por ejemplo la docencia.

Finalmente, según la ley 20.129 de Aseguramiento de la Calidad de la Educación Superior, se establece en el artículo 51, la obligatoriedad de publicar los acuerdos de acreditación. No obstante se pudo comprobar que dicha información no está en su totalidad al alcance de los usuarios ya que el 17% de ellos no están disponibles.

VIII. Conclusiones y discusión final El proceso de acreditación de pedagogías en tanto es obligatorio y tiene consecuencias, requiere que se sostenga en un proceso de evaluación de programas que asegure su validez y confiabilidad. Se necesitan evidencias de la imparcialidad, independencia y neutralidad de los evaluadores (pares y agencias acreditadoras), y del cumplimiento de condiciones estandarizadas de las evaluaciones. Esto supone que las agencias acreditadoras lleven a cabo este proceso sobre la base de criterios y procedimientos que no dependan del arbitrio de cada una sino que se entiendan y apliquen de igual modo por todas. Este estudio pretende avanzar hacia la reunión de evidencias en ese sentido, evaluando y comparando el quehacer de dichas agencias.

En primer lugar, se puede concluir que sí existe un patrón de elección entre el tipo de programa y la agencia, patrón que puede ser entendido como una suerte de especialización de la agencia en determinado perfil de carrera. Tres agencias tienden a acreditar carreras más selectivas, dos tienden a acreditar carreras pertenecientes a facultades más grandes en matrícula, una agencia ha acreditado solo carreras de pedagogía media de la misma universidad, dos agencias tienden a acreditar más carreras con alto número de sedes, con baja matrícula y baja o nula selectividad. No obstante, excluyendo la agencia que solo ha acreditado todos los programas de pedagogía en educación media de una universidad, no se aprecia mayor diferencia entre agencias según el área de la carrera, es decir, no existen agencias especializadas en pedagogía básica, media, educación de párvulos o especial (o diferencial). Si las agencias indistintamente han acreditado a carreras de todas las áreas, esto se puede relacionar con la falta de foco en la dimensión curricular de los programas.

Los contenidos mínimos que deben enseñarse y las metodologías pedagógicas que deben usarse en las carreras formadoras de profesores de distintas áreas no son un asunto central de la evaluación, muy por el contrario, si observamos los acuerdos de acreditación son de los aspectos menos mencionados en la descripción de las carreras.

70  

Las implicancias de esta especialización de las agencias o este sesgo de elección entre carreras y agencias son desconocidas. No serían un hallazgo digno de preocupación, si no se hubiera hecho a la par que una descripción del quehacer evaluativo de las agencias.

Con respecto a la enorme sucesión de actividades, procedimientos y decisiones que involucra el proceso de acreditación se puede afirmar que la evidencia apunta en contra de la confiabilidad del proceso.

En aquellos procedimientos que están normados por la CNA de modo lo suficientemente preciso, hay documentos que indican qué hacer y cómo cumplir dicha acción, las agencias acreditadoras realizan procedimientos similares que no varían mayormente entre ellos y cumplen con la ley y la normativa. Por ejemplo, todas las agencias seleccionan y capacitan a los integrantes del comité de pares, realizan las visitas de acreditación a carreras de 1 sede y realizan los informes de salida de la visita, de modo similar. El problema radica en que la cantidad de ellos que está normado por la ley u orientado con documentos y procedimientos suficientemente específicos es mínima.

En aquellos aspectos que están normados pero las normas no son lo bastante precisas, indican qué hacer pero no cómo hacerlo, como por ejemplo; la aplicación de los criterios de evaluación, la capacitación de los pares evaluadores, la conformación del consejo de educación de cada agencia y la decisión de años de acreditación por parte de este consejo, las agencias cumplen dichos procedimientos pero de modo diferente.

En gran parte de aquello que no está normado por ley, es decir donde la normativa vigente no se pronuncia respecto de qué hacer ni cómo realizarlo, cada agencia efectúa procedimientos que son necesarios para la acreditación bajo su propio criterio. En consecuencia, la mayoría del quehacer concreto de las agencias está abierto a interpretación, a discernimiento, incluso a arbitrariedad. Los aspectos en que esto, quizás, es más grave son las acreditaciones conjuntas, las acreditaciones con múltiples sedes y la acreditación de carreras de pedagogía de institutos profesionales, pues los efectos de que estas acreditaciones afectan a una gran cantidad de estudiantes. Asimismo, se permite que algunas agencias realicen procedimientos que nadie más hace y no están estipulados, como el seguimiento de la elaboración del informe de autoevaluación.

Los acuerdos de acreditación redactados por todas las agencias acreditadoras son relativamente exhaustivos para referirse a los 9 criterios de evaluación de las carreras de educación, haciendo mención a más del 70 % de ellos, pero si se juzgan en relación a los 57 indicadores de los criterios, los acuerdos dicen muy poco, pues menos de la mitad de ellos se haya mencionado. En esto no difieren mayormente las agencias acreditadoras. La dimensión menos explícita es “Perfil del egresado y resultados” que contiene la definición del perfil de egreso y los criterios relacionados con el ámbito académico y la docencia. Los indicadores menos presentes son “Perfil profesional del educador”, con un 19,0% de

71  

indicadores presentes, “Integridad”, con 17,9% de indicadores presentes, y el menos completo es el criterio de “Efectividad del proceso de enseñanza-aprendizaje” el cual posee un 16,9% de indicadores presentes.

A pesar de que se encontró consistencia interna en poco más de la mitad de los acuerdos de acreditación de todas las agencias, en el sentido que describen un nivel de desempeño acorde con los años de acreditación que otorgan, en más de 40% de ellos estas medidas difieren en al menos dos años y además, estos difieren entre agencias en su estructura y contenidos.

Los resultados de esta investigación indican que resta bastante para llegar a tener un sistema de acreditación estandarizado, confiable y válido y que, en consecuencia, de garantía de calidad de los programas de formación inicial docente. +Estas conclusiones llevan a pensar en la necesidad de actualizar y mejorar la normativa, los instrumentos y documentos orientadores de la acreditación, adecuándolos a la realidad y contemplando la enorme diversidad de situaciones que se presentan con las acreditaciones: carreras masivas, con múltiples sedes, muy distantes entre sí, pedagogías dictadas por institutos profesionales, por universidades muy selectivas, sin selectividad, con larga tradición, con ninguna, y la lista continúa y continúa…

Si lo que se espera es contar con un sistema estandarizado de evaluación que no permita la divergencia en la aplicación de los criterios y la consecuente decisión de acreditación, los criterios y el procedimiento de decisión de años de acreditación debiera estar mejor definido y más focalizado en características específicas de los programas de pedagogía. La evidencia muestra que los aspectos de los programas asociados al currículo y a la docencia son los menos descritos, aunque no necesariamente menos valorados. La reciente publicación de los estándares para la formación inicial docente, permite la posibilidad de adoptar nuevas formas de evaluación relacionadas con contenidos mínimos de enseñanza en cada área, lo cual presenta la posibilidad de evaluar un ámbito que hasta el momento se ha mantenido ausente o poco claro en los procesos de acreditación de las carreras de pedagogía y que podría enriquecer este proceso. Sería recomendable asimismo, que existieran estándares para las carreras de pedagogía, tanto asociados a los procesos como a los resultados de la formación.

Referencias bibliográficas American Psychological Association, American Educational Research Association y National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, DC: American Psychological Association.

72  

Anderson, T. 2003. An Introduction to Multivariate Statistical Analysis. 3rd ed. New York: Wiley.

Ávalos, B. y Matus, C. (2010) La Formación Inicial Docente en Chile desde una Óptica Internacional. Informe Nacional del Estudio IEA TEDS-M. Santiago: Ministerio de Educación.

Barbier, J. (1993). La evaluación en los procesos de formación, Barcelona, Paidós.

Barber, M. y Mourshed, M. (2008). Cómo hicieron los sistemas educativos con mejor desempeño para alcanzar sus objetivos. PREAL.

Bascopé, M. San Martín, E., Domínguez, M., Meckes, L. (2011) Correlación de la acreditación con exámenes de egreso (INICIA), en prensa.

Bills, L.; Briggs, M.; Browne, A. y col., (2008). Perspectives on quality in initial teacher education. An exploratory review of selected international documentation on statutory requirements and quality assurance. EPPI-Centre, Social Science Research Unit. Institute of Education, University of London.

Borouch, R. y Wortman, P. (1979). Implications of educational evaluation for evaluation policy. En D. C. Berliner (1979), Review of Research in Education, 7. pp. 309-361.

Bravo, D.; Falco, D., González, R.; Manzi, J., y Peirano, C. (2008). La relación entre la evaluación docente y el rendimiento de los alumnos: Evidencia para el caso de Chile, Centro de Microdatos y MIDE UC, Santiago. Obtenido en: http://www.microdatos.cl/docto_publicaciones/Evaluacion%20docentes_rendimiento%20escolar.pdf

Carmena, L.; Asensio, A.; De la Cuesta, G.; Doncel, A. y Rodríguez, L. (2005). Criterios y procedimientos de evaluación de la investigación educativa, Ministerio de Educación y Ciencia, Centro de Investigación y Documentación Educativa (CIDE). Madrid.

CINDA (1990). Calidad de la Docencia Universitaria en América Latina y El Caribe; CINDA; Santiago de Chile.

Comisión sobre Formación Inicial de Docentes (2005). Informe Comisión sobre Formación Inicial Docente, Santiago: Ministerio de Educación y Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI).

Comisión Nacional de Acreditación (CNA) Chile (2009). “Criterios de evaluación de carreras de educación”. Comisión Nacional de Acreditación Chile, Comité Técnico de Educación 2007-2009, Santiago, Chile.

73  

Comisión Nacional de Acreditación (CNA) Chile (2010). Aseguramiento de Calidad en la Educación Superior: Cuatro años de CNA-Chile 2007-2010. Memoria. Santiago: CNA-Chile.

Congreso Nacional de Chile (2009). Ley 20.129. Sistema Nacional de Aseguramiento de la Calidad de la Educación Superior.

Consejo Asesor Presidencial para la Calidad de la Educación (2006), Informe Final. Santiago.

Correa, S. Puerta, A., Restrepo, B. (1996). Investigación Evaluativa (Módulo 6). En: Instituto Colombiano para el Fomento de la Educación Superior, ICFES (1996). Especialización en teoría, métodos y técnicas de investigación social. Bogotá: Programa de Especialización en Teoría, Métodos y Técnicas de Investigación Social.

Cox, C.; Meckes, L., y Bascopé, M. (2011). La institucionalidad formadora de profesores en Chile en la década del 2000: velocidad del mercado y parsimonia de las políticas. Pensamiento Educativo (46-47), pp. 205-245.

Creswell, J. (2009). Research Design: qualitative, quantitative, and mixed methods approaches (3ª ed.). Londres: Sage.

Cronbach, L. y Meehl, P. (1955). Construct validity in psychological tests. PsychologicalBulletin, 52, 281-302.

Cronbach, L. (1971). Test validation. En R.L. Thorndike (Ed.), Educational measurement (pp. 443-507). Washington, DC: American Council on Education.

Domínguez, M. y Meckes, L. (2011). Análisis y propuestas para la acreditación de pedagogías en Chile. Calidad en la Educación n.° 34, julio 2011, pp. 165-183.

Euridyce: Education, Audiovisual and Culture Executive Agency (2002). La profesión docente en Europa: Perfil, tendencias y problemática.Brussels: Euridyce.

Euridyce: Education, Audiovisual and Culture Executive Agency, (2010). Focus on Higher Education in Europe 2010: The Impact of the Bologna Process.Brussels: Euridyce.

Esparza, E. y Blum B. (2009). Evaluación del programa para optimizar la formación del psicólogo clínico. En Revista de Educación Superior (38), (152) pp. 97-112. Obtenida en: http://www.scielo.org.mx/scielo.php?script=sci_arttextypid=S0185-27602009000400006ylng=esynrm=iso

Felmer, Lewin, Schwarze y Varas (2008). Oportunidades de adquirir el conocimiento pedagógico de la matemática en las carreras de educación general básica. Informe final. Consejo Superior de Educación.

74  

Fuhrman, S. (2003). Rediseñando los Sistemas de Accountability para la Educación. Consortium for Policy Research in Education (CPRE). Policy Brief RB-38.

Greenacre (2006). From simple Multiple Correspondence Analysis and Related Methods. Boca Raton, FL: Chapman y Hall.

Greene, W. (2008). Econometric Analysis. 6ª ed., Upper Saddle River, NJ: Prentice-Hall.

Gower, J. y Hand, D. (1996). Biplots. London: Chapman y Hall.

Guba, E. y Lincoln, Y. (1989). Fourth Generation Evaluation, Newbury Park, Sage. Hanushek, E.; Kain, J.; O`Brien, D., y Rivkin, S. (2005). The market for teacher quality, NBER. Working Paper n.º 11154.

Hanusheck, E. (2004). Some simple analytics of school quality. Working Paper n° 10229, National Bureau of Economic Research, Cambridge, MA.

Ingvarson, L.; Elliott, A.; Kleinhenz, E., y McKenzie, P. (2006). Teacher education accreditation: a review of national and international trends and practices. ACER, Teaching Australia.

Ingvarson, L.; Schwille, J.; Rowley, G.; Tatto, M.; Senk, S., y Peck, R. (2011). National Policies and Regulatory Arrangements for the Preparation of Teachers in TEDS-M Countries. Amsterdam: International Association for the Evaluation of Educational Achievement (IEA), en prensa.

Joint Committee on Standards for Educational Evaluation (1981). Standards for Evaluations of Educational Programs, Projects and Materials. New York, McGraw-Hill.

Kukla-Acevedo, S. (2009). Do teacher characteristics matter? New results on the effects of teacher preparation on student achievement. Economics of Education Review 28: 49-57.

León, M.; Manzi, J., y Paredes, R. (2009). Calidad docente y rendimiento escolar en Chile: evaluando la evaluación. Manuscrito Universidad Católica de Chile.

Martínez, M. (2006). Validez y confiabilidad en la metodología cualitativa. Paradìgma, dic., vol. 27, n° 2, p. 07-33.

Messick, S. (1995). Validity of Psychological Assessment: Validation of Inferences from Persons Responses and Performances as Scientific Inquiry into Score Meaning, American Psychologist, 50 (9):741-749.

Morrison, D. 2005. Multivariate Statistical Methods.4th ed. Belmont, CA: Duxbury.

OCDE (2004). Revisión de políticas nacionales de educación: Chile. Santiago: OCDE.

75  

OCDE (2005). Teachers matter: attracting, developing and retaining effective teachers, Paris: OCDE.

Panel de expertos para una educación de calidad (2010). Informe final. Propuestas para fortalecer la profesión docente en el sistema escolar Chileno. Santiago: Ministerio de Educación. Obtenido en: http://www.mineduc.cl/biblio/documento/201007091211380.Informe%20final.pdf

Prieto G. y Delgado. A. (2010). Fiabilidad y Validez. Papeles del Psicólogo. Vol. 31(1), pp. 67-74.

Ravela, P.; Arregui, P.; Valverde, G.; Wolfe, R.; Ferrer, G.; Martínez, F.; Aylwin, M., Wolff, L. (2008). Las evaluaciones educativas que América Latina necesita. Documento n.° 40. Santiago: PREAL.

Rivkin, S.; Hanushek, E., y Kain, J. (2005). Teachers, schools and academic achievement Econometrica, Vol. 73, n.° 2.

Sandoval, C. (1996) Investigación Cualitativa (Módulo 4). En: Instituto Colombiano para el Fomento de la Educación Superior, ICFES (1996). Especialización en teoría, métodos y técnicas de investigación social. Bogotá: Programa de Especialización en Teoría, Métodos y Técnicas de Investigación Social.

Scharager, J. y Aravena, T. (2010). Impacto de las políticas de aseguramiento de la calidad en programas de educación superior: un estudio exploratorio. Calidad en la Educación. Consejo Nacional de Educación, n.º 32, pp. 15-42.

Scheele, J. (2009). Procesos de acreditación: información e indicadores.Centro de Políticas Comparadas de Educación.

Scriven, M. (1967). The Methodology of Evaluation. En: Tyler, R., Mills Gagné, R., y

Scriven M. (1967). Perspectives of Curriculum Evaluation, AERA Monograph Series on Curriculum Evaluation, 1, Chicago: Rand Mc Nally.

Sotomayor, Parodi, Coloma, Ibáñez, y Cavada, (2010). La formación inicial de docentes de educación general básica en Chile: ¿Qué se espera que aprendan los futuros profesores en el área de Lenguaje y Comunicación? Centro de Investigación Avanzada en Educación (CIAE) Universidad de Chile-Pontificia Universidad Católica de Valparaíso.

Strauss, A., y Corbin, J. (1990). Basics of qualitative research. Newbury Park: Sage.

Strauss, A. y Corbin, J. (2002). Bases de la investigación cualitativa. Antioquia: Editorial Universidad de Antioquia.

76  

77  

Stufflebeam, D. y Schiklield. A. (1995). Evaluación sistemática. Guía teórica y práctica. Madrid: Paidós/MEC.

Suchman, E. (1967). Evaluative Research: Principles and Practice in Public Service and Social Action Programs. New York: Russell Sage Foundation.

United States Government Accountability Office (GAO) (2009). Program Evaluation. A Variety of Rigorous Methods Can Help Identify Effective Interventions. GAO-10-30, Nov. 23, 2009

Wang, A.; Coleman, A.; Coley, R.; Phelps, R. (2003). Preparing Teachers around the World. Princeton: Educational Testing Service.

Zapata, G. y Tejeda, I. (2009). Informe Nacional Chile Educación Superior y Mecanismos de Aseguramiento de la Calidad. Proyecto ALFA “Aseguramiento de la calidad, políticas y gestión universitaria”. Santiago: CINDA.

Anexo n.°1 

PROTOCOLOS DE ENTREVISTA 

1. Pauta de entrevista para profesionales técnicos de agencias acreditadoras 

Buenos días/ tardes. Somos Carlos Carrillo y Gabriel Olave, ayudantes de investigación del Centro

de Estudios de Políticas y Prácticas en Educación (CEPPE) y estamos realizando una

investigación para nuestro taller de titulación. La investigación consiste en analizar el

funcionamiento del sistema de acreditación de las carreras de pedagogía. Para ello quisiéramos

conocer acerca de los procedimientos que realizan las agencias acreditadoras. Su nombre será

confidencial. Además quisiéramos dejar en claro que esta entrevista será de uso exclusivo para

este trabajo con fines académicos.

i) Proceso y decisión de acreditación -¿Cómo se realiza un típico proceso de acreditación de una carrera de pedagogía en su agencia?

-¿Cuáles son los pasos concretos del proceso? ¿Qué miembros participan en el proceso? ¿Cuánto

tiempo hay para realizar la visita a la universidad y para elaborar el informe? ¿Cuáles son los

criterios de decisión de acreditación? ¿Qué dimensiones concretas se evalúan? ¿Cómo se

componen cada una de ellas? ¿Existe algún documento que defina dichos criterios para

educación? ¿Cuáles? ¿Considera Ud. que son una herramienta útil? ¿Son suficientes en cantidad

y en precisión? ¿Quién finalmente toma la decisión? ¿Cómo se realiza la decisión de acreditación

para pedagogías con distintas sedes? ¿Y con distintas modalidades?

-¿Existen diferencias entre los criterios para acreditar una carrera de pedagogía de una

universidad y para acreditar un programa de pedagogía de un instituto profesional? Si es así,

¿Cuáles son?

-¿Cuál es la relación entre su agencia y el resto de las agencias? (si es de cooperación,

competitividad).

- Según su percepción ¿usted diría que la agencia en la que participa es más o menos exigente

que el resto? ¿Por qué?

ii) Tiempo de acreditación -¿Cómo se define la cantidad de años por la que se acredita una carrera de pedagogía? ¿En base

a qué criterios? ¿Basados en qué documentos se toma la decisión?

-¿Cómo se define la cantidad de años de acreditación en el caso de pedagogías con distintas

sedes?

-¿Existen diferencias en los criterios para definir la cantidad de años de acreditación entre las

carreras de pedagogía de las universidades y de los institutos profesionales? Si es así, ¿Cuáles

son?

- Según su percepción ¿son comparables los años de acreditación? ¿Por qué? (a propósito de que

la evaluación se realiza en base a los propósitos de cada institución)

iii) Pares evaluadores -¿Cómo son seleccionados los pares evaluadores de su agencia? ¿Bajo qué criterios?

-¿Cuál es el trabajo de los pares evaluadores? ¿Qué función específica deben cumplir? ¿Se

capacitan antes de realizar un proceso de acreditación?

-¿Cómo se constituye un comité de pares evaluadores?

-Para terminar ¿qué medidas tomaría Ud. para mejorar la acreditación de las carreras de

pedagogía?

2. Pauta de entrevista para pares evaluadores de agencias acreditadoras 

Buenos días/ tardes. Somos Carlos Carrillo y Gabriel Olave, ayudantes de investigación del Centro

de Estudios de Políticas y Prácticas en Educación (CEPPE) y estamos realizando una

investigación para nuestro taller de titulación. La investigación consiste en analizar el

funcionamiento del sistema de acreditación de las carreras de pedagogía. Para ello quisiéramos

conocer acerca del trabajo que realizan los pares evaluadores. Su nombre será confidencial.

Además, quisiéramos dejar en claro que esta entrevista será de uso exclusivo para este trabajo

con fines académicos.

i) Experiencia de par evaluador -¿Cómo llego a ser par evaluador? ¿Hay algún requisito? (los mismos que la CNA).

-¿Cuáles son las características principales de un par evaluador? (capacitación, independencia,

juicios independientes).

-¿Fue capacitado por la agencia antes de realizar su rol de par evaluador?

¿Cómo es una experiencia típica de acreditación?

(Previo a la visita)

¿Cuál es el primer paso de su trabajo? (informe de autoevaluación y recepción de antecedentes).

¿Cómo se conforma el comité de pares? (criterios de inclusión/exclusión, número de integrantes,

designación del presidente) ¿Qué función realiza? ¿Existen reuniones previas a la visita? ¿En qué

consisten? ¿Cuántas son y cuánto duran?

(La visita)

¿En qué consiste la visita? ¿Cuánto dura? ¿Cómo se realiza la visita a carreras con distintas

sedes? (la mejor, la peor, una promedio, algunas al azar, los pares evaluadores van todos juntos, o

por separado) ¿Esto significa alguna dificultad para ustedes? (dinero, tiempo, energías,

profundidad del análisis) ¿Y en el caso de distintas modalidades de la carrera?

(Después de la visita)

¿En qué consiste el informe de salida? (qué contiene, a quién se le entrega, tiempo para su

elaboración) ¿En qué consiste el informe escrito? (qué contiene, a quién se le entrega, tiempo para

su elaboración, si se hacen recomendaciones de la cantidad de años de acreditación).

-¿Tiene el tiempo suficiente para realizar su labor de par evaluador?

ii) Evaluación de las carreras de pedagogías -¿Qué dimensiones concretas se evalúan? ¿Cómo se componen cada una de ellas?

-¿Qué hace cuando tiene dudas sobre los procedimientos, interpretación de criterios, fuentes de

información? ¿A quién recurre?

-¿Hay alguna dimensión que se evalúe con mayor detención? ¿Cuál (es)? ¿Por qué?

-¿Qué ocurre cuando hay opiniones distintas entre los otros integrantes del comité? ¿Cómo se

solucionan? ¿Efectivamente hay una discusión?

-¿En qué documentos específicos se apoya para realizar la evaluación de las pedagogías? ¿Cómo

los consigue? ¿Le han sido útiles para su trabajo? ¿Son suficientes en cantidad y en precisión?

-¿Existen diferencias entre los criterios para acreditar una carrera de pedagogía de una

universidad y para acreditar un programa de pedagogía de un instituto profesional? Si es así,

¿Cuáles son?

iii) Percepción -Según su percepción ¿usted diría que la agencia en la que participa es más o menos exigente que

el resto? ¿Por qué?

-¿Qué medidas concretas usted propondría para mejorar el trabajo de los pares evaluadores y de

las agencias? 

 

Anexo n.° 2  

Tabla 1 “Cobertura de criterios”  N.° acuerdo: _____ 

Cobertura de criterios Dimensión  Criterio  Presente  Ausente Perfil de egreso y resultados  Perfil de egreso     

Estructura curricular     Efectividad proceso enseñanza aprendizaje     Resultados proceso de formación     Vinculación con el medio     

Condiciones de operación  Estructura organizacional, administrativa y financiera     Recursos humanos     Infraestructura, apoyo técnico y recursos para la enseñanza     

Capacidad de autorregulación  Propósitos        

Integridad        

Autoevaluación      

Tabla 2 “Cobertura de indicadores”          N° acuerdo: ______ 

Cobertura de indicadoresDimensión  Criterios  Indicadores  Presente AusentePerfil del egresado y resultados  

Perfil profesional del educador   

El profesor debe ser capaz de organizar el contenido en función del aprendizaje del educando. El profesor debe ser capaz de generar un ambiente propicio para los educando.El profesor debe ser capaz de conducir las actividades de enseñanza.El profesor debe estar orientado hacia el profesionalismo docente. Se debe considerar en el perfil el análisis y comprensión de la institucionalidad del ejercicio de la profesión y el desarrollo de capacidades generales propias de un licenciado  profesional universitario.  

Estructura curricular  

El plan debe ser consistente con los objetivos de la carrera, el perfil de egreso y las competencias mínimas.  El programa debe ser coherente coordinado y público. La carrera debe contemplar las siguientes áreas: formación general, formación en la especialidad, formación profesional y formación práctica. El programa debe considerar actividades teórica y práctica para facilitar la experiencia del estudiante. El estudiante debe demostrar sus conocimientos y capacidades, para titularse.El estudiante debe demostrar capacidades investigativas para obtener el grado.La unidad debe asegurar la integración práctica de los conocimientos y capacidades (generar experiencias de aprendizaje significativas en los alumnos).  La unidad debe poseer mecanismos de evaluación del plan de estudios, proponer modificaciones y mantener actualizado el curriculum. 

Resultados del proceso de formación  

La unidad debe medir la eficiencia de la enseñanza, considerando la duración media de los estudios, respecto de la duración oficial de la carrera.  La unidad debe analizar las causas de la deserción de sus estudiantes y debe tomar.La unidad debe seguir a sus egresados y utilizar esta información para actualizar sus programas. 

Efectividad del proceso de enseñanza aprendizaje  

La unidad debe establecer criterios y mecanismos de admisión de alumnos. Estos deben ser públicos. La unidad debe demostrar que los mecanismos de evaluación permiten comprobar los objetivos definidos.  La unidad debe tener un sistema de gestión de los recursos que facilite a los usuarios su oportuna disposición. Los académicos deben tener actualizados los materiales didácticos, recursos informáticos, libros y revistas. Los académicos deben estimular a los estudiantes a que utilicen los recursos educacionales. 

Vinculación con el medio 

Para abordar las diversas actividades de vinculación con el medio, la unidad debe contar con una política clara, asegurando que dichas actividades no interfieren con las tareas prioritarias definidas en su declaración de propósitos. 

Cobertura de indicadoresDimensión  Criterios  Indicadores  Presente AusenteCondiciones de operación 

Estructura organizacional, 

La unidad debe poseer cuerpo directivo, con atribuciones, responsabilidades y funciones claramente definidas. 

administrativa y financiera   

La  unidad  debe:  seleccionar,  asegurar  la  permanencia,  perfeccionar,  promover  y  retener  a  su personal,  seleccionar  a  los  estudiantes,  decidir  sobre  el  currículo  y  asignar  recursos  para  sus actividades. El cuerpo directivo de la unidad debe estar compuesto por académicos calificados y con experiencia (docente o investigativa) necesarias para su función. Las instituciones en que participen varias unidades en la conducción de las carreras de educación, deben tener estructuras de coordinación responsables de la definición de currículos y procesos de formación.  La dirección de la unidad debe estar integrada por personas cuyos intereses personales no interfieran con la operación de la unidad. La unidad debe tender al mejoramiento de la calidad del servicio formativo que ofrece mediante un proceso de evaluación permanente. Este debe tomar en consideración la opinión de los principales actores institucionales (académicos, estudiantes, egresados, establecimientos educacionales) y desarrollarse mediante instrumentos objetivos que le permitan progresar y fortalecer su capacidad de autorregulación en función de sus propios fines y los criterios contenidos en el presente documento. La unidad debe aplicar un sistema de retroalimentación informativa basado en requerimientos del medio y sus proyecciones, y en la opinión de los egresados respecto de su formación profesional. La organización de la unidad debe contar con adecuados mecanismos (organismos colegiados u otros) que permitan al cuerpo académico su participación en la formulación de planes, programas, cursos, y en el desarrollo de recursos humanos y materiales. La unidad debe contar con los recursos financieros necesarios, de tal manera que éstos le permitan cumplir con los objetivos que se ha planteado como, asimismo, desarrollar las iniciativas que van en beneficio de su tarea formadora. La institución debe garantizar estabilidad y viabilidad financiera a la unidad, desarrollando una administración idónea y apropiada de los recursos financieros, en el contexto de los propósitos que ésta ha definido. La administración financiera de la unidad debe contemplar, a lo menos, una adecuada planificación presupuestaria operacional y mecanismos eficaces de ejecución presupuestaria. 

Cobertura de indicadoresDimensión  Criterios  Indicadores  Presente AusenteCondiciones de operación    

Recursos humanos   

La unidad debe tener un cuerpo académico calificado, con experiencia académica y profesional. El cuerpo académico debe ser suficiente en número y dedicación para cumplir sus funciones y tareas. La idoneidad del personal académico debe establecerse en términos de títulos y grados pertinentes y por su producción en el campo científico, profesional o educativo, considerando las funciones que asume. El personal encargado de la formación práctica debe tener experiencia docente suficiente en establecimientos educacionales del nivel correspondiente. La unidad debe establecer una carrera académica que defina claramente las políticas y mecanismos de incorporación, jerarquización, promoción y evaluación de los académicos. Dichos mecanismos deben contener procedimientos formales y conocidos. La unidad debe incentivar el perfeccionamiento de sus académicos, su participación en actividades de investigación y en instancias de actualización profesional, y en reuniones nacionales e internacionales en el área de su especialidad. La unidad debe incentivar y facilitar la incorporación de sus docentes a estudios de posgrado atingentes a los objetivos prioritarios que la unidad se ha definido. La unidad debe contar con el personal administrativo adecuado en número y calificado para el cumplimiento de las funciones y tareas que debe ejecutar. La unidad debe contar con mecanismos que permitan a sus académicos trabajar con otros miembros de la comunidad profesional, en actividades relacionadas con el diseño y renovación de sus programas de estudio y el mejoramiento de la calidad de la enseñanza del país. 

Infraestructura y recursos para el aprendizaje   

La unidad debe contar con: a) Infraestructura e instalaciones adecuadas, proporcionales al tamaño y las actividades de la unidad y de fácil acceso. b) Acceso a una biblioteca con una dotación suficiente –en cantidad de títulos y ejemplares– de textos, libros y revistas especializadas actualizados y un equipo de profesionales calificados para la atención de los usuarios. c) Espacio y comodidades suficientes para el estudio. d) Suficientes equipos audiovisuales y computacionales, con acceso a redes y bancos de datos científicos de educación y la especialidad, actualizados. e) Acceso a laboratorios, talleres e instalaciones especializadas, en cantidad y calidad suficientes que faciliten el logro de los objetivos propuestos en el programa de estudios. f) Vínculos con municipios, sostenedores privados y establecimientos educacionales, como también con otras organizaciones comunitarias relevantes para realizar actividades prácticas de la carrera en sus distintas áreas de aplicación, respaldadas por acuerdos formales. La unidad o la universidad a la que pertenece debe contar con un programa básico de bienestar estudiantil que incluya, al menos, un sistema de salud, el que debe ser conocido por toda la comunidad. 

Cobertura de indicadores Dimensión  Criterios  Indicadores  Presente AusenteCapacidad de autorregula‐ ción 

Propósitos   

El programa conducente al grado académico de licenciado en educación y al título profesional de educador(a) diferencial, educador(a) de párvulos, profesor(a) de educación básica o profesor(a) de educación media, debe cumplir los estándares de egreso definidos en este documento;  

debe, asimismo, desarrollar en sus egresados las competencias necesarias para una educación permanente, incluyendo la posibilidad de seguir estudios de postítulo y posgrado. La unidad debe definir y dar a conocer sus propósitos con claridad, indicando: el énfasis básico (docencia, investigación y extensión), el grupo objetivo (local, regional, nacional, internacional), la declaración de principios (énfasis filosófico, principios éticos u otro), su compromiso de adquirir y usar conocimientos profesionales en beneficio de los estudiantes otros atributos importantes en la formación profesional. La unidad debe garantizar que la formación del licenciado en educación tenga lugar en un ambiente multidisciplinario que estimule la creación intelectual, el espíritu de búsqueda y la vinculación con el entorno social que caracterizan a una comunidad universitaria. La unidad debe cautelar que exista coherencia entre los propósitos definidos, las asignaturas que componen el plan de estudios y los resultados que obtienen los alumnos.  

Integridad   

La unidad debe establecer sus propósitos de manera realista. Los programas, servicios, recursos y equipamiento de que dispone deben guardar relación con sus propósitos. La unidad debe cuidar que exista un adecuado equilibrio entre el número de educandos que ingresa a cada curso y el total de recursos del programa, considerando sus académicos, su infraestructura, equipamiento y presupuesto. La unidad debe tener reglamentos convenientemente difundidos, que establezcan con precisión las responsabilidades y derechos de las autoridades, los académicos y los estudiantes de la carrera. Dichos reglamentos deben ser consistentes con la declaración de principios y propósitos de la unidad. La unidad debe proporcionar a los estudiantes los servicios ofrecidos y respetar las condiciones esenciales de enseñanza bajo las cuales estos ingresaron al programa. La publicidad de la unidad, y en general, la información directa o indirectamente entregada al público debe ser clara y expresar fielmente la realidad de la institución. 

Cobertura de indicadoresDimensión  Criterios  Indicadores  Presente AusenteCapacidad de autorregula‐ción 

Autoevaluación  

La carrera debe realizar un proceso de autoevaluación con participación de actores internos y externos a ella. La carrera debe demostrar capacidad de realizar un análisis crítico de su realidad, basado en los criterios de evaluación establecidos. Asimismo, las conclusiones deben ser consensuadas y socializadas al interior de la unidad. El informe debe identificar claramente fortalezas y debilidades, sustentadas en evidencias. Al mismo tiempo, debe considerar las principales conclusiones del proceso de autoevaluación. El informe debe ser conocido y validado por la comunidad académica.El plan de mejoramiento, contenido en el informe de autoevaluación, debe considerar las principales debilidades identificadas en el proceso. De igual modo, deben ser susceptible de verificación posterior y estar acorde con la realidad de la unidad.  

 

Tabla 3 “Coherencia interna”           N° acuerdo: ______ 

Coherencia internaDimensión  Criterio  Puntaje Promedio  PromedioPerfil de egreso y resultados  Perfil de egreso

    

Estructura curricular 

 

Efectividad proceso enseñanza aprendizaje 

 

Resultados proceso de formación 

 

Vinculación con el medio 

 

Condiciones de operación  Estructura organizacional, administrativa y financiera    

Recursos humanos 

 

Infraestructura, apoyo técnico y recursos para la enseñanza 

 

Capacidad de autorregulación 

Propósitos  

   

Integridad  

 

Autoevaluación 

 

 

Anexo n.° 3 

   Tabla Clasificación por tramos CNA‐CHILE 

Criterios  Dimensión 1: Perfil de egreso y resultadosPrimer tramo (1) Segundo tramo (2) Tercer tramo (3) Cuarto tramo (4)

Perfil de egreso  No está definido o no tiene validación interna o externa. 

Está definido y validado. Está definido y validado, revisado y actualizado. 

Está definido y validado, revisado y actualizado en proceso sistemático y formal. 

No está actualizado; no contiene lo mínimo requerido de acuerdo a disciplina/profesión. 

Perfil de egreso (contempla los contenidos mínimos) y plan de estudios actualizados. 

Perfil de egreso (contempla los contenidos mínimos) y plan de estudios actualizados mediante acciones conocidas por actores. 

Perfil de egreso (contempla los contenidos mínimos) y plan de estudios actualizados mediante mecanismos sistemáticos. 

Estructura curricular 

Perfil no orienta plan de estudios; inconsistencia entre perfil, currículo y estrategias pedagógicas. 

Perfil orienta plan de estudios; consistencia entre perfil, currículo y estrategias pedagógicas. 

Perfil orienta plan de estudios; consistencia entre perfil, currículo y estrategias pedagógicas. Inserto en modelo pedagógico y evaluativo de la carrera. 

Perfil orienta plan de estudios; consistencia entre perfil, currículo y estrategias pedagógicas. Inserto en modelo pedagógico y evaluativo, consistente con modelo institucional. 

Efectividad proceso Enseñanza aprendizaje 

Criterios de admisión no definidos o inapropiados a plan de estudios. Deficiencias en progresión. 

Criterios de admisión  definidos, apropiados a plan de estudios. Progresión aceptable. 

Criterios de admisión definidos, apropiados a plan de estudios. Progresión adecuada. 

Criterios de admisión definidos, apropiados a plan de estudios. Progresión óptima. 

No existen indicadores de resultados de progresión, egreso, titulación; no se identifican causas de deficiencias. 

Existen indicadores de resultados de progresión, egreso, titulación; se identifican causas de deficiencias, se implementan acciones remediales. 

Existen indicadores de resultados de progresión, egreso, titulación; se identifican causas de deficiencias, existe un programa remedial. 

Existen indicadores de resultados de progresión, egreso, titulación; se identifican causas de deficiencias, existe un  programa remedial efectivo. 

Resultados proceso de formación 

Cumplimiento insatisfactorio de perfil de egreso.  Indicadores de resultados de titulación y egreso insatisfactorios. 

Cumplimiento aceptable de perfil de egreso. Indicadores de resultados de titulación y egreso aceptables. 

Cumplimiento adecuado de perfil de egreso; se aplican instancias de evaluación. Indicadores de resultados 

Cumplimiento óptimo de perfil de egreso; se aplican mecanismos formales y sistemáticos de evaluación y seguimiento de 

de titulación y egreso adecuados. 

egresados y consulta al medio externo. Indicadores de resultados de titulación y egreso óptimos. 

Vinculación con el medio 

Acciones inconsistentes con propósitos de la carrera. 

Acciones consistentes con propósitos de la carrera. 

Acciones consistentes con propósitos de la carrera, retroalimentan la docencia. 

Acciones consistentes con propósitos de la carrera, retroalimentan la docencia; existe política formalizada. 

 

Criterios  Dimensión 2: Condiciones de operación Primer tramo (1)  Segundo tramo (2)  Tercer tramo (3)  Cuarto tramo (4) 

Estructura organizacional, administrativa y financiera 

Condiciones de operación insuficientes para funcionamiento aceptable, de acuerdo a perfil de egreso. 

Condiciones de operación para funcionamiento  aceptable, de acuerdo a perfil de egreso. 

Condiciones de operación para funcionamiento adecuado, de acuerdo a perfil de egreso. 

Condiciones de operación para funcionamiento óptimo, de acuerdo a perfil de egreso. 

Debilidades en mecanismos para disponer de recursos financieros; no hay garantía de sustentabilidad. 

Mecanismos que garantizan sustentabilidad y disponibilidad de recursos financieros.  

Política y mecanismos formales que garantizan sustentabilidad y  disponibilidad de recursos financieros. 

Política y mecanismos formales y sistemáticos que garantizan sustentabilidad y disponibilidad de recursos financieros. 

Recursos humanos 

RR. HH. insuficientes en  número, calificaciones y dedicación, de acuerdo a perfil de egreso. 

RR. HH. aceptables en número, calificaciones y dedicación, de acuerdo a perfil de egreso. 

RR. HH. adecuados en número, calificaciones y dedicación, de acuerdo a perfil de egreso. 

RR. HH. óptimos en número, calificaciones y dedicación, de acuerdo a perfil de egreso. 

No hay mecanismos formales de gestión de RR. HH. 

Mecanismos formales de gestión de RR. HH. 

Política y mecanismos formales de gestión de RR. HH. 

Política y mecanismos formales y sistemáticos de gestión de RR. HH. 

Infraestructura, apoyo técnico y recursos para la enseñanza 

Recursos insuficientes; no se han detectado necesidades. 

Recursos aceptables; se han detectado necesidades e implementado acciones de mejora. 

Recursos adecuados; se han detectado necesidades e implementado acciones de mejora, adquisición y  renovación. 

Recursos adecuados; se han detectado necesidades e implementado acciones de mejora, adquisición y  renovación, de acuerdo a programa de desarrollo. 

No se cuenta con  mecanismos de disponibilidad de recursos. 

Se aplican mecanismos de disponibilidad de recursos; en vía de formalización o insuficientemente efectivos. 

Políticas y mecanismos formales de disponibilidad y actualización de recursos. 

Políticas y mecanismos formales y sistemáticos de disponibilidad y actualización de recursos. 

 

Criterios  Dimensión 3: Capacidad de autorregulación Primer tramo (1)  Segundo tramo (2)  Tercer tramo (3)  Cuarto tramo (4) 

Propósitos  Capacidad insuficiente de definir metas, objetivos y propósitos y de avanzar al logro de perfil de egreso. 

Capacidad aceptable de definir metas, objetivos y propósitos y de avanzar al logro de perfil de egreso.  

Capacidad adecuada de definir metas, objetivos y propósitos y de avanzar al logro de perfil de egreso. 

Capacidad óptima de definir metas, objetivos y propósitos y de avanzar al logro de perfil de egreso. 

No considera (o lo hace ocasionalmente y de modo poco efectivo) la evaluación de propósitos en su gestión. 

Considera la evaluación de propósitos en su gestión. 

Considera sistemáticamente la evaluación de propósitos en su gestión. 

Considera sistemáticamente la evaluación de propósitos en su gestión, con resultados positivos. 

Integridad  Insuficiente capacidad de avanzar responsablemente en logro de propósitos. 

Capacidad aceptable de avanzar responsablemente en logro de propósitos. 

Capacidad adecuada de avanzar responsablemente en logro de propósitos. 

Capacidad óptima de avanzar responsablemente en logro de propósitos. 

Información insuficiente de sus servicios; dificultades en cumplimiento de condiciones esenciales de enseñanza comprometida. 

Información general de sus servicios; respeta condiciones esenciales de enseñanza comprometida. 

Información completa de sus servicios; respeta condiciones esenciales de enseñanza comprometida. 

Información completa de sus servicios; respeta condiciones esenciales de enseñanza comprometida. Existe equilibrio entre los recursos del programa y  el n.° de educandos. 

Autoevaluación  Insuficiente identificación de fortalezas y debilidades. 

Identificación de fortalezas y debilidades. 

 

Capacidad formalizada de identificar fortalezas y debilidades, implementando acciones de mejora. 

Capacidad formalizada y permanente de identificar fortalezas y debilidades, implementando acciones de mejora efectivas, en el marco de un programa de desarrollo. 

 

Anexo n.°4  

A  nálisis de coheren  de la normativa yDe las agencias y d ctos no regulados 

cia entre los procedimientosel quehacer de estas en aspe(memos de la investigación) 

I. Análisis documental de la normativa 

a. Descripción de criterios del análisis documental  

1. Marco general de la acreditación

1.1. Aplicación de los criterios de evaluación: En la normativa, se establece que todos los criterios de

evaluación deben aplicarse, sin dejar en claro si alguno de ellos es más relevante o si todos tienen la

misma importancia.

1.2. Requisitos para la selección de los pares evaluadores: La normativa establece los siguientes: grado

académico y título profesional, 10 años de experiencia académica-profesional, ser reconocido en el área

de pedagogía a acreditar, tener post-grado en la especialidad y ser parte de una institución de educación

superior o bien un organismo vinculado a ella.

1.3. Capacitación de los pares evaluadores: Las agencias deben ofrecer instancias de capacitación, y los

pares tienen que estar dispuestos a participar (no se explicita el contenido de dichas instancias).

2. Evaluación externa de las carreras de pedagogía

2.1. Integrantes del comité de pares: Se establece que deben ir 3 pares evaluadores, donde uno oficia de

presidente (que básicamente coordina y lidera al equipo, y se encarga de la redacción del informe del

comité), y también existe un secretario técnico de la agencia (sin funciones evaluativas, que es ministro

de fe de los procesos, y responde dudas sobre criterios y procedimientos, entre otras cosas).

2.2. Veto del comité: La carrera que desea acreditarse puede vetar hasta 3 veces el comité de pares

propuesto por la agencia, sin expresión de causa.

2.3. Preparación de la visita (características, reuniones y tiempo): Esta preparación dura 30 días, y en ella

cada par realiza una revisión del informe de autoevaluación (si existen las evidencias necesarias para

apoyar lo dicho en el informe, si está claro, etc.). También, se llenan formularios que entrega la agencia,

en donde se sistematiza la información con respecto a los distintos criterios de evaluación. Además,

supone reuniones previas entre los pares, para aunar criterios, conocerse, ver lo que se pregunta (según

las áreas donde no existe suficiente información, o donde se ven debilidades en la carrera, etc.) y

programar la visita. Pueden ser todas las que fuesen necesarias.

2.4. Realización de la visita (características y tiempo): La visita dura 3 días. En ella, los pares deben

validar el informe de autoevaluación, contrastando la información entregada por la unidad y lo que ellos

van observando. A su vez, deben recolectar información para el informe escrito del comité de pares. En el

primer día, hay entrevistas a directores, alumnos, etc. En el segundo día, los pares recorren las

instalaciones. En el tercer día, se entrevista a empleadores y egresados, para ver el medio externo de la

carrera. Cada día reuniones en conjunto.

2.5. Elaboración del informe de salida (contenido y tiempo): Se hace en el último día de visita. Implica

decir las debilidades y fortalezas de la unidad descubiertas en la visita. Es oral, y es un informe corto.

2.6. Elaboración del informe del comité de pares (contenido y tiempo):  Los  pares  tienen  30 días

aproximadamente para realizarlo. Supone una discusión y posterior consenso entre los pares. Se analiza

cada dimensión y criterio de evaluación. Además, se evalúa el proceso de autoevaluación. Puede incluir

recomendaciones en términos de plan de mejoramiento.

3. Decisión de acreditación

3.1. Conformación del Consejo de Educación (criterios e integrantes): En el consejo deben ser 5

miembros. Se conforma según criterios de representatividad, idoneidad académica e independencia de

juicio.

3.2. Antecedentes relevantes para la decisión de acreditación: Los antecedentes son las conclusiones de

la autoevaluación, de la evaluación externa, de los procesos de acreditación anteriores, y además los

documentos de criterios de evaluación generales y específicos para educación.

3.3. Años de acreditación: La normativa define que la escala de años de acreditación va desde dos años

de acreditación (o un año de acreditación. Como ya se vio, existe una incoherencia entre documentos en

este punto) hasta siete años. A su vez, se establecen tramos de años de acreditación (hasta 3 años,

hasta 5 años y hasta 7 años), y la decisión de los años específicos en los que la pedagogía estará

acreditada depende del juicio del consejo de educación.

b. Comparación Ley‐Agencia 3 

1. Marco general de la acreditación

1.1 Aplicación de los criterios de evaluación: Se evalúan las 3 dimensiones con los 9 criterios. Sin

embargo, se considera que la dimensión "perfil de egreso", es clave en los procesos de acreditación de

carreras, tanto para el director ejecutivo como para los pares evaluadores.

1.2. Requisitos para la selección de pares evaluadores: En general, tanto el director ejecutivo como los

pares evaluadores mencionaron los mismos requisitos dispuesto en la normativa. Se observa que, dentro

de los pares entrevistados, todos superan largamente los requisitos mínimos establecidos por la CNA,

 2 

todos con altos cargos de gestión dentro de sus unidades académicas y más de 15 años de experiencia

laboral.

1.3. Capacitación de los pares evaluadores: Se cumple lo que la normativa vigente establece en este

punto. Las capacitaciones buscan explicar a los pares los criterios y procedimientos de evaluación, el

trabajo que deben realizar y la actitud que tienen que tener como pares evaluadores. Previo a cada visita

del comité de pares a alguna unidad, se realiza una jornada de capacitación. Se remarcan tres

elementos: Primero, que un par evaluador no es un inspector, sino un par, y como tal debe evitar

menospreciar a quienes está evaluando porque no siguen un cierto modelo de carrera. Segundo, los

pares no pueden emitir juicios de valor durante la visita a carrera, sino que deben restringirse a evaluar

según los criterios que establece la CNA. Por último, se les deja en claro que deben contextualizar la

evaluación a la realidad propia de la carrera.

2. Evaluación externa de las carreras de pedagogía

2.1. Integrantes del comité de pares: Se cumple lo establecido por la normativa para esta fase.

2.2 Veto del comité de pares: Se cumple lo que la normativa vigente indica para este punto.

2.3. Preparación de la visita: En general, se cumple lo que la normativa vigente establece para esta fase.

Sin embargo, no se realizan reuniones preparatorias, al menos que sean necesarias. Según el director de

la agencia, esto se debe a que los pares en educación están bien preparados.

2.4. Realización de la visita: Se cumple lo indicado por la normativa vigente. Además los pares indican

que los documentos entregados por la agencia para esta etapa son útiles y suficientes.

2.5. Elaboración del informe de salida: Se cumple lo establecido por la normativa vigente.

2.6. Elaboración del informe del comité de pares: Se cumple lo que la normativa vigente indica para esta

etapa. Sin embargo, existen casos en esta agencia en donde no es necesaria la aprobación del informe

final de todos los integrantes del comité de pares.

3. Decisión de acreditación

3.1. Conformación del Consejo de Educación: Se cumple lo indicado por la normativa vigente para este

punto. Los consejeros son seleccionados por su reconocida trayectoria y experiencia, además de su

capacidad de formular juicios sabios.

3.2 Antecedentes relevantes para la decisión de acreditación: Se cumple lo que la normativa vigente

establece para este punto.

3.3 Decisión de años de acreditación: La agencia emplea el documento “Operacionalización criterios de

evaluación en procesos de acreditación”. Una vez seleccionado el tramo, los consejeros discuten

apoyándose en su juicio para determinar el número de años de acreditación.

 3 

c. Comparación Ley‐Agencia 4  

1. Marco general de la acreditación

1.1 Aplicación de los criterios de evaluación: Se evalúan las 3 dimensiones con los 9 criterios. No

obstante, hay una situación conflictiva respecto de dónde se enfatiza la evaluación. Por un lado, el

profesional de alto cargo técnico señala que lo más importante es el perfil de egreso, pero que en la

infraestructura física y las ayudas estudiantiles todas las carreras deben tener un mínimo aceptable.

Además, un par sostiene que es importante la parte curricular, porque lo fundamental es la formación

profesional que entrega la carrera. Por otro lado, dos pares sostienen que lo más importante es la calidad

docente de la carrera. Hay, incluso, quien sostiene que todos son igualmente importantes.

1.2. Requisitos para la selección de pares evaluadores: En general, tanto el director ejecutivo como los

pares evaluadores mencionaron los mismos requisitos dispuesto en la normativa. De hecho, se observa

que, dentro de los pares entrevistados, todos superan largamente los requisitos mínimos establecidos por

la CNA, todos con altos cargos de gestión dentro de sus unidades académicas y más de 15 años de

experiencia laboral.

1.3. Capacitación de los pares evaluadores: Se cumple lo que la normativa vigente establece en este

punto. Las capacitaciones buscan explicar a los pares los criterios y procedimientos de evaluación, el

trabajo que deben realizar y la actitud que tienen que tener como pares evaluadores. La agencia entrega

2 o 3 jornadas de capacitación, separadas por 3 meses una de otra. Además, se les indica que el juicio

que emita el par no dependa del juicio de la agencia, es decir, que sea objetivo. Además, se intenta que

los pares se saquen sus propios juicios de encima, para que no evalúen la carrera en torno a lo que ellos

creen que debería ser, sino en función de los criterios de evaluación y los propósitos declarados de la

unidad.

2. Evaluación externa de la carrera de pedagogía

2.1. Integrantes del comité de pares: Se cumple lo establecido por la normativa para esta fase.

2.2 Veto del comité de pares: Se cumple lo que la normativa vigente indica para este punto.

2.3. Preparación de la visita: Se cumple lo que la normativa vigente establece para esta fase.

2.4. Realización de la visita: Se cumple lo indicado por la normativa vigente. Además, los pares indican

que los documentos entregados por la agencia para esta etapa son útiles y suficientes.

2.5. Elaboración del informe de salida: Se cumple lo establecido por la normativa vigente.

2.6. Elaboración del informe del comité de pares: Se cumple lo que la normativa vigente indica para esta

etapa.

3. Decisión de acreditación

 4 

3.1. Conformación del Consejo de Educación: Se cumple lo indicado por la normativa vigente para este

punto. La agencia intentó que el consejo fuera lo más heterogéneo posible, con personas de experiencia

en administración, investigación, educación diferencial, parvularia, básica, media, ciencias, lengua y de

regiones.

3.2 Antecedentes relevantes para la decisión de acreditación: Se cumple lo que la normativa vigente

establece para este punto.

3.3 Años de acreditación: La agencia se apoya en el documento de Operacionalización criterios de

evaluación en procesos de acreditación para decidir los años de acreditación. Sin embargo, no les parece

suficiente el documento, porque hay elementos que se quedan fuera y se elimina la percepción

experimentada de los consejeros. Además, los consejos son tribunales de conciencia, y como tales,

deben dictaminan los años de acreditación en función de su consciencia, de su experiencia. Las carreras

se acreditan entre 1 a 7 años.

d. Comparación Ley‐Agencia 5  

1. Marco general de la acreditación

1.1. Aplicación de los criterios de evaluación: Esta agencia evalúa las 3 dimensiones con los 9 criterios.

Además, tanto la profesional como los pares evaluadores consideran que todos los criterios de

evaluación se relacionan entre sí. Sin embargo, los pares evaluadores enfatizan que el criterio más

importante es el perfil de egreso y resultados. Incluso uno de ellos llega a afirmar que el perfil es el

cerebro de la carrera.

1.2. Requisitos para la selección de los pares evaluadores: En general, todos los entrevistados de esta

agencia afirman los mismos requisitos que aparecen en la normativa vigente. Ahora bien, los pares

evaluadores enfatizan que el haber participado en procesos de acreditación anteriores es un plus para la

selección (esto no se ha puesto como requisito en la descripción de la normativa, porque no es un

requisito básico, ya que hay pares evaluadores seleccionados por primera vez para el proceso de

acreditación), y que es importante que los pares conozcan la lógica y las dinámicas de las unidades de

educación.

1.3. Capacitación de los pares evaluadores: Se cumple lo que la normativa vigente establece en este

punto. Las capacitaciones buscan explicar a los pares los criterios y procedimientos de evaluación, el

trabajo que deben realizar y la actitud que tienen que tener como pares evaluadores. La profesional de la

agencia dice que se tienen distintas instancias de capacitación. Una de ellas es el taller que se hace en

las reuniones preparatorias (esto es interesante, ya que en la normativa se hace una diferencia entre las

capacitaciones y las reuniones preparatorias de la visita). En el caso de los pares antiguos, se recuerdan

aspectos principales. Otra instancia son los talleres para pares evaluadores que se han realizado. Con

respecto a lo anterior, cuando la agencia comenzó a funcionar, se hizo un taller masivo de pares

 5 

evaluadores, donde se les contó en qué consiste la evaluación, que espera la agencia de su trabajo,

entre otras cosas. Por último, una par evaluador dijo que no había podido participar de ninguna instancia

de capacitación, ya que no tuvo tiempo para hacerlo, pero de igual modo la llamaron para participar en un

proceso de acreditación de pedagogía, situación que es irregular, dado que la normativa vigente obliga a

los pares evaluadores a participar de las capacitaciones, como compromiso mínimo para realizar el

trabajo de par evaluador.

2. Evaluación externa de las carreras de pedagogía

2.1. Integrantes del comité de pares: Se cumple lo establecido por la normativa para esta fase. Sin

embargo, la profesional hace algunas precisiones sobre el secretario técnico que no aparecen en la

normativa: Primero, dice que los secretarios técnicos no necesariamente son personas estables de la

agencia, sino que pueden ser profesionales jóvenes, a los que la agencia entrena en los criterios, y

acompañan a los pares según su disponibilidad. Segundo, afirma que el secretario técnico tiene la tarea

de evaluar a los pares en su desempeño en la visita, para luego elaborar un informe para la agencia.

Tercero, indica que una tarea específica que debe realizar el secretario técnico es avisar y coordinar una

reunión con algún actor relevante que no estaba considerado, reunión que se hace en el último día de la

visita.

2.2. Veto del comité: Se cumple lo que la normativa vigente indica para este punto.

2.3. Preparación de la visita: Se cumple lo que la normativa vigente establece para esta fase. Además, la

profesional agrega que en las reuniones previas, los pares ven las evidencias que faltan para justificar

algún punto del informe de autoevaluación (por ejemplo, programas de curso y planes estratégicos), para

luego pedirlas a la carrera, la cual tiene dos semanas para entregarlas. En estas dos semanas, los pares

quedan en contacto vía email, viendo las preguntas tentativas que ya habían sido definidos en las

reuniones preparatorias. Por su parte, los pares evaluadores afirman que esta etapa es muy ordenada, y

existe una preparación sistemática de la visita.

2.4. Realización de la visita: Se cumple lo indicado por la normativa vigente. Además los pares indican

que los documentos entregados por la agencia para esta etapa son útiles y suficientes.

2.5. Elaboración del informe de salida: Se cumple lo establecido por la normativa vigente. Asimismo, los

pares evaluadores perciben que este paso es incómodo, ya que se lee el informe, y no hay preguntas, es

decir, no existe ningún tipo de interacción con los actores de la unidad.

2.6. Elaboración del informe del comité de pares: Se cumple lo que la normativa vigente indica para esta

etapa. Sin embargo, existe una diferencia importante: algunos de los pares establecen que se pueden

hacer recomendaciones sobre los años de acreditación y sobre el plan de mejoramiento en este informe,

y otra par afirma que no se pueden realizar recomendaciones sobre la cantidad de años. Todo esto lleva

a confusión, ya que la normativa es clara en afirmar que se hacen recomendaciones sólo con respecto al

plan de mejoramiento. Esto permite afirmar que este aspecto no está lo suficientemente normado.

 6 

3. Decisión de acreditación

3.1. Conformación del Consejo de Educación: Se cumple lo indicado por la normativa vigente para este

punto. Además, se dan algunas precisiones de los criterios de selección de los consejeros: a) Los

consejeros se eligen en función de la experiencia que tienen, son personas mayores, y profesionales con

vasta trayectoria (con esto, queda más claro el criterio de idoneidad académica propuesto por la

normativa) b) Los consejeros que se escogen son personas relacionadas con el sistema antiguo de

acreditación (CNAP) o son personas que los mismos consejeros anteriores van recomendando. c) La

idea de los consejos es que representen a las instituciones que hay en el país (privadas, públicas, laicas,

católicas, regionales).

3.2 Antecedentes relevantes para la decisión de acreditación: Se cumple lo que la normativa vigente

establece para este punto. Además, los consejeros reciben información de contexto, que elabora el

organismo técnico de la agencia a partir de bases públicas: índices, CIES, la página web de la CNA. En

esta información de contexto, se sitúa la carrera que se está evaluando en función de las carreras

similares en el país, en base al puntaje PSU, a la matrícula que tiene, y a cómo está esta carrera con

respecto a su estado de acreditación, en relación a las otras carreras similares.

3.3. Años de acreditación: Con respecto a la definición de los años de acreditación, la agencia tiene

mayores divergencias con respecto a los documentos que norman este aspecto, especialmente con el

documento “Operacionalización criterios de evaluación en procesos de educación”, ya que el documento

anterior supone que se les dé a las carreras el máximo de años de acreditación cuando cumplen el

mínimo que se les puede pedir. Por esto, en esta agencia no ocupan el documento anterior. Por otro

lado, la directora dice que la carrera debe hacer un esfuerzo bastante importante para obtener un año

más de acreditación y que las carreras con 7 años, aparte de cumplir con los criterios, tienen un elemento

valorable, como estar en una institución tradicional, tener muchos años de experiencia, haber mejorado

continuamente sus procesos, y estar insertos en una cultura de evaluación y de mejoramiento continuo.

e. Comparación Ley‐Agencia 6 

1. Marco general de la acreditación

1.1. Aplicación de los criterios de evaluación: Se evalúan las 3 dimensiones con los 9 criterios. El

profesional de alto cargo técnico establece que la determinación acerca de cuál criterio es más relevante

varía según la comisión de pares. Además, afirma que lo decisivo es lo que la propia carrera señala como

debilidades. Concretamente, el profesional dice que la capacidad autocrítica de la carrera y las acciones

tendientes a superar las debilidades son importantes para él. Por su lado, los pares entrevistados

establecen que se fijan mucho en el perfil de egreso, porque todos los demás criterios y dimensiones

apuntan a él.

 7 

1.2. Requisitos para la selección de los pares evaluadores: Se afirman los mismos requisitos dispuestos

en la normativa vigente.

1.3. Capacitación de los pares evaluadores: Se cumple lo que la normativa vigente establece en este

punto. Las capacitaciones buscan explicar a los pares los criterios y procedimientos de evaluación, el

trabajo que deben realizar y la actitud que tienen que tener como pares evaluadores. El profesional de

alto cargo técnico dice que han hecho 10 capacitaciones para pares evaluadores en su agencia, y que los

pares evaluadores que no asisten a las capacitaciones no son llamados. Las capacitaciones buscan

enseñarles a los pares el rol que deben cumplir, como fiscalizadores, pero que son pares. Concretamente

esto significa inculcarles a los pares que deben confrontar lo que dice la carrera con lo observado en la

visita, pero manteniendo una actitud simpática con los actores de la carrera y evitando sus modelos

educativos.

2. Evaluación externa de las carreras de pedagogía

2.1. Integrantes del comité de pares: Se cumple lo establecido por la normativa para esta fase. El

profesional de alto rango técnico agrega que los secretarios ejecutivos son personas con experiencia que

trabajan en la agencia. Además, establece que los secretarios técnicos deben evaluar el desempeño de

los pares, y moderarlos para que tengan una actitud de simpatía y no sean prepotentes. El profesional

sintetiza el rol del secretario ejecutivo, diciendo que son “espías” de la agencia. Asimismo, se establece

que el presidente del comité se puede elegir de manera consensuada, o la agencia lo nombra, y que en

general se trata de un académico con más experiencia (decano, por ejemplo).

2.2. Veto del comité: Se cumple lo que la normativa vigente indica para este punto.

2.3. Preparación de la visita: Se cumple lo que la normativa vigente establece para esta fase.

2.4. Realización de la visita: Se cumple lo indicado por la normativa vigente. Además, los pares indican

que los documentos entregados por la agencia para esta etapa son útiles y suficientes. El profesional

técnico afirma que las entrevistas con los actores de la carrera pueden ser poco confiables, ya que la

carrera puede seleccionar a las personas que más les convenga, y por eso se les dice a los pares que no

se tomen tan en serio esta actividad.

2.5. Elaboración del informe de salida: Se cumple lo establecido por la normativa vigente.

2.6. Elaboración del informe del comité de pares: Se cumple lo que la normativa vigente indica para esta

etapa. Una par agrega que la elaboración de este informe es difícil, porque los pares pueden estar

formados en distintos paradigmas educativos, y por tanto cuesta más llegar a un consenso entre los

pares.

3. Decisión de acreditación

3.1. Conformación del Consejo de Educación: Se cumple lo indicado por la normativa vigente para este

punto.

 8 

 9 

3.2. Antecedentes relevantes para la decisión de acreditación: El profesional de alto rango técnico

establece que sólo se les envía al consejo el informe escrito del comité de pares, sin mencionar los otros

documentos estipulados en la normativa.

3.3. Años de acreditación: La agencia utiliza la rúbrica elaborada por la CNA para este punto. Sin

embargo, el profesional establece que la categorización por años no es de su agrado. Una razón que

explica lo anterior es que la rúbrica no permite diferenciar, por ejemplo, entre 5 y 6 años de acreditación.

II. Procedimientos no regulados  

a. Agencia 31 

1. Método de selección de pares evaluadores: La mayor parte de los pares se seleccionaron de la lista de

pares evaluadores de instituciones de la CNA. Con esto, se aseguran que cumplen, al menos, los

requisitos exigidos por la propia CNA.

2. Mecanismos de colaboración entre las agencias: No hay ningún tipo de relación formal con las otras

agencias, salvo llamados telefónicos irregulares e informales. Incluso se concibe la acreditación como un

mercado (lo que hace pensar que su relación con las otras agencias es de competencia y no de

colaboración).

3. Revisión de antecedentes por parte de la agencia: Se revisan todos los antecedentes de

autoevaluación que la carrera entrega antes de pasárselos al comité de pares, para que no falte la

información exigida, es decir, la autoevaluación de todos los criterios de evaluación. Si hay información

faltante, se le devuelve a la carrera para que complete dicha información. Sin embargo, la exigencia es

sobre la forma del informe (que estén presentes todos los criterios), pero no sobre el contenido de este.

4. Conformación del comité de pares: Para conformar el comité de pares, se le solicita a la carrera que se

desea acreditar un perfil de par evaluador que ellos consideren como el más adecuado, considerando su

realidad. Sobre esto, se ofrece un comité de pares que la carrera puede aceptar o rechazar. Asimismo,

se da cuenta de la realidad de los IP en el comité, integrando dentro del comité, si la carrera así lo desea,

pares con experiencia en IP. De todos modos, la institución puede aceptar o rechazar los pares

propuestos por la agencia. Luego, los pares pueden aceptar o rechazar la invitación.

5. Visita a sedes distintas: La agencia visita el 50% +1 de las sedes. En la selección siempre hay

incorporada alguna de las sedes más grandes en términos de alumnos, además se abarcan todas las

zonas geográficas donde hayan sedes y, por último, se incorporan a la muestra alguna sede con

características distintas al resto, si es que las hay. La duración es variable dependiendo de cómo se

                                                            1 Se describen los procedimientos no regulados de cada agencia en torno a 15 criterios emergentes, los cuales han surgido de la comparación entre la normativa y los procedimientos efectuados por las agencias acreditadoras, siendo estos procedimientos aquellos no normados por los documentos sobre la acreditación de pedagogías vigentes.  

 10 

pongan de acuerdo con la carrera y de la cantidad de sedes (en un caso fueron un total de 9 días a lo

largo de 3 semanas). Los pares pueden realizar la visita en conjunto o por separado, pero siempre

acompañados del secretario técnico, y se reúnen al final de la visita a evaluar en conjunto. De todos

modos, vale dejar en claro que, según lo indica el propio profesional, la agencia tiene pocas carreras con

muchas sedes.

6. Visita a jornadas distintas: El horario de visita se coordina de forma que el comité alcance a

entrevistarse con alumnos, profesores y autoridades de horarios diurnos vespertinos. De todos modos,

esto no presenta una complicación, porque el comité debe entrevistarse con egresados de la carrera, los

que normalmente pueden tener reuniones solo después de las 18.00 horas, horario al que comienza la

jornada vespertina. Las entrevistas y la evaluación son distintas según jornada.

7. Visita de acreditación conjunta: Se realiza cuando un conjunto de carreras relacionadas (con un plan

común) se acreditan simultáneamente. Para esto, a cada carrera se le asigna un comité de pares

conformado por 2 o 3 integrantes, más un "par transversal" que es el presidente de todos, por lo tanto,

debe leer el informe de salida y velar porque se realicen las preguntas que son comunes entre los planes

de estudio. Sin perjuicio del anterior, cada comité tiene un presidente. Además, van acompañados por

más de 1 secretario técnico, pero no con 1 por cada comité, los que participan siempre de las reuniones.

8. Elaboración de rúbricas propias para la evaluación: Elaboran sus propias rúbricas de evaluación, con

estas se chequea el contenido del informe de autoevaluación durante la visita.

9. Elaboración de informes para acreditación conjunta: Para la elaboración del informe de salida, cada

comité elabora sus propuestas, y luego, se le envía este informe al par transversal para que éste

exponga la exposición del informe de salida. Para la elaboración del informe final, el par transversal envía

su mirada global de la parte común entre las carreras a los presidentes de cada comité. Luego, el

presidente de cada comité elabora un informe de su carrera, incluyendo la perspectiva del par

transversal.

10. Revisión por parte del organismo técnico del informe escrito: El organismo técnico de esta agencia

revisa el informe, viendo si los pares se pronuncian sobre todos los criterios de evaluación. Si falta

información, se les solicita que lo completen.

11. Análisis de los antecedentes: El consejo de educación revisa el nivel de cumplimiento de los 9

criterios y se analizan sobre la base del documento “Operacionalización criterios de evaluación en

procesos de acreditación”. Ahí, cada criterio se le califica según la escala propuesta por el documento y

dependiendo de donde haya la mayor cantidad de marcas, se asigna un tramo. Luego, los consejeros

deciden la cantidad de años dentro del tramo seleccionado.

12. Participación de actores relevantes en el análisis: No hay información disponible.

13. Elaboración de rúbricas propias para determinación años de acreditación: No hay información

sos y director ejecutivo en la revisión del acuerdo de

disponible.

14. Participación de coordinador de proce

acreditación: No hay información disponible.

15. Consideración para institutos profesionales: Se les considera tomando en cuenta los propósitos de los

IP. Por ejemplo, no poner la calificación mínima si no tienen investigación, porque no están orientados a

ese punto.

b. Agencia 4 

1. Método de selección de pares evaluadores: Normalmente los pares llegan a la agencia por

recomendación de alguien que trabajaba en la agencia. Por ejemplo, un par llegó por conocer al

profesional de la agencia y desde ahí recibió la invitación.

2. Mecanismos de colaboración entre las agencias: No hay ningún tipo de relación formal con las otras

agencias. Solo con la agencia 3 hay buenas relaciones profesionales y personales, sin embargo no es

nada formalizado, y sus contactos son para intercambiar informaciones y opiniones, en especial de pares

evaluadores.

3. Revisión de antecedentes por parte de la agencia: se realiza un seguimiento al trabajo previo del

informe de autoevaluación, para ver si responde a la totalidad de las opiniones de la carrera, sus

debilidades, constituye realmente un plan de mejoramiento, etc. No les gusta esto de que la universidad

hace un informe y la agencia responde con otro (lo compara con el trabajo de tesista/profesor-guía, como

algo que se elabora en conjunto). Además, el secretario técnico de la agencia revisa que todos los

antecedentes estén completos antes de entregárselos al comité de pares, para que no falte la

información exigida, es decir, la autoevaluación de todos los criterios de evaluación.

4. Conformación del comité de pares: Se conforma el comité de pares a partir de un listado de pares

evaluadores en el que se los catalogan según su rendimiento en el análisis del informe de

autoevaluación, en entender los criterios de evaluación, que sean capaces de redactar informes de pares

que concuerden con los criterios de evaluación y reflejen la realidad de forma oportuna. Sobre estos, que

finalmente son un grupo reducido, se intenta generar comités con diversidad, algunos con experiencia

curricular, otros en investigación, otros con una mirada transversal, y desde universidades distintas. Para

el caso de institutos profesionales, el comité se conforma con pares que tengan experiencia con

estudiantes con déficits de entrada. Luego, los pares pueden aceptar o rechazar la invitación.

5. Visita a sedes distintas: Se visita, al menos, la mitad de las sedes, las que son seleccionadas

aleatoriamente. Pero, inmediatamente dicho esto, el profesional dice que en un caso con 12 sedes,

fueron a 4. En otra oportunidad fueron, desde otra ciudad, profesores y alumnos para poder ser

entrevistados. Duran 3 o 4 días. En cada sede que se visita realizan las mismas actividades: entrevistas

con autoridades, profesores y alumnos, y visitas a las dependencias de la institución. La comisión visita

durante 2 días la sede más grande, y durante el último día la comisión se divide para poder visitar las

sedes. En este último día, se visitan las dependencias y hay entrevistas con profesores, alumnos y

egresados, pues las autoridades máximas ya fueron entrevistadas. Hay formas de pesquisar algunas

 11 

características de otras sedes mediante video conferencias, pero eso no permite ver todo, en especial el

contexto en el que se inserta la carrera.

6. Visita a jornadas distintas: El horario se coordina con la carrera de forma que el comité alcance a

entrevistarse con alumnos, profesores y autoridades de horarios diurnos y vespertinos; si es necesario,

incluso un día sábado. Usualmente después de las 18.00 hrs. hay entrevistas con los profesores,

alumnos y egresado de horario vespertino, lo que no representa una dificultad extra para el

funcionamiento del comité, pues el trabajo de este no termina nunca antes de las 19.00 hrs.

7. Visita de acreditación conjunta: se realiza con varios comités, cada uno compuesto de 2 pares,

realizando la visita simultáneamente. Los pares de cada comité no se separan a lo largo de la visita. Hay

dos tipos de reuniones, las conjuntas, que son con las autoridades máximas de la institución, y luego, las

reuniones específicas, con las autoridades, profesores y alumnos de cada carrera. Al mismo tiempo van

acompañados de 1 o 2 ministros de fe de la agencia, que se mueve entre comités durante la visita. A

parte de un coordinador general, que se encarga de juntar a los pares, organizar la visita y lo da a

conocer, entregar documentos y hacerles las sugerencias del proceso (organiza la visita del comité). De

todos modos, no hay reuniones en las entrevistas se realicen en ausencia del secretario técnico o del

coordinador general. Esta visita dura 3 días,

8. Elaboración de rúbricas propias para la evaluación: Elaboran sus propias rúbricas, con estas se

chequea el contenido del informe de autoevaluación y se facilita la visita.

9. Elaboración de informes para acreditación conjunta: Cada comité elabora su propio informe y lo envía

a la agencia.

10. Revisión por parte del organismo técnico del informe escrito: No hay información disponible.

11. Análisis de los antecedentes: La agencia analiza, a partir del juicio de los consejeros, el documento

de “Operacionalización criterios de evaluación en procesos de acreditación”.

12. Participación de actores relevantes en el análisis: No hay información disponible.

13. Elaboración de rúbricas propias para determinación años de acreditación: No hay información

disponible.

14. Participación de coordinador de procesos y director ejecutivo en la revisión del acuerdo de

acreditación: No hay información disponible.

15. Consideración para institutos profesionales: La agencia pone énfasis en considerar el perfil de egreso

y no, por ejemplo, investigación. Si no tiene investigación no es tan relevante, porque los propósitos de

los institutos profesionales no se orientan hacia ahí. En cambio, es relevante ver si hay concordancia

entre el perfil de egreso y las ocupaciones de los egresados, sobre todo considerando que muchos de los

estudiantes quieren obtener una asignación profesional antes que ejercer como profesor.

 12 

c. Agencia 5  

1. Método de selección de pares evaluadores: Existen distintas formas de contactar a los pares

evaluadores: Primero, se pregunta al consejo de acreditación, cuando es un área a acreditar donde no se

tiene una cantidad adecuada de pares, para que este diga académicos o profesionales que puedan ser

pares evaluadores eficientes, y que cumplan con los requisitos dispuestos por la normativa. Segundo, se

consultan las páginas web de instituciones reconocidas y se invita a los directivos de esas unidades.

Tercero, mediante la interacción de la agencias con los pares por otras actividades académicas Cuarto, a

través de recomendaciones de otros pares evaluadores. Quinto, por medio del concurso público (estar en

la base de la CNA primero). Por último, mediante el contacto de los pares con la agencia, por haber

participado en un proceso de autoevaluación de su unidad. Luego de que la agencia se contacta con los

pares, se elabora un registro de ellos y después se les invita a los procesos de acreditación.

2. Mecanismos de colaboración entre las agencias: No hay información disponible.

3. Revisión de antecedentes por parte de la agencia: No hay información disponible.

4. Conformación del comité de pares: Para conformar el comité de pares, esta agencia utiliza dos

métodos: Primero, se propone a la carrera un comité, y esto hasta tres veces. Segundo, se consulta con

la propia carrera el perfil de par evaluador que quieren que los visite (doctorado, tales instituciones,

FONDECYT, etc.) y con esta información se buscan los pares en las páginas web. Una vez aceptado el

comité por la carrera, la agencia invita a los pares. Luego se hace una evaluación de cómo trabajó un par

en el proceso de acreditación: si se revisó todo el material, si se ajustó a los criterios de evaluación, si fue

respetuoso con la cultura de la institución. A los pares que tienen un desempeño óptimo según la agencia

se les invita de nuevo, pero a los que no, no se les invita de nuevo, aunque permanezcan en las bases.

Para la conformación del comité, se toma en cuenta la institución: siempre irá un par que realmente lo

sea de la institución (uno o dos máximos). Pero debe haber alguien externo a la institución. También, van

pares que trabajan en colegios.

5. Visita a sedes distintas: Si la carrera tiene dos o tres sedes, generalmente se visitan todas. Si la

carrera tiene sedes en todo el país, se hace una selección al azar por parte de la agencia, y después,

considerando las sedes seleccionadas, se visita una sede que este en buenas condiciones, otra que este

en condiciones regulares y otra que este en malas condiciones, según el informe de autoevaluación.

Como los títulos que entregan las instituciones no distinguen ni sedes ni modalidad, se observa con

mayor detención la sede que es más débil, y si esta no acredita, no acredita toda la carrera, y según esta

sede, se definen los años de acreditación. No hay especificaciones con respecto a la duración de la

visita. En esta visita, los pares viajan todos juntos, para controlar el sesgo que puedan tener los pares.

Uno de los pares evaluadores afirma que es difícil visitar todas las sedes en tres días, en términos de

cansancio (no de análisis). Otro par afirma que la visita a sedes distintas es un problema en la

recolección de información, lo que dificulta la visión cabal de la carrera.

 13 

6. Visita a jornadas distintas: No hay información disponible. 7. Visita de acreditación conjunta: Es típico en la acreditación de pedagogías básicas, y parvularias, en

donde hay veces en donde se evalúan distintas menciones, por lo que van distintos equipos, con pares

expertos en cada mención, y existe la figura del par transversal, quien se encarga de hacer la

metaevaluación de todo el proceso general. Previo al día de la visita, se decide como se interviene en

esta.

8. Elaboración de rúbricas propias para la evaluación: Esta agencia entrega sus propios instrumentos de

evaluación (indicadores más precisos), que siguen los patrones de referencia que da la CNA, pero que

tienen diferencias de formato, en pequeños detalles.

9. Elaboración de informes para acreditación conjunta: No hay información disponible 10. Revisión por parte del organismo técnico del informe escrito: El organismo técnico de esta agencia

revisa el informe, analizando si los pares se pronuncian sobre todos los criterios de evaluación y si

entregan evidencia para justificar su juicio. Luego de hacer la revisión, se les manda el informe a los

pares, y estos generalmente acogen las revisiones que se hacen. Posteriormente este informe se envía a

la carrera, y esta tiene 10 días para hacer observaciones, y la agencia le envía estas observaciones de la

carrera a los pares, preguntándoles si es evidencia nueva, si lo que se señala se puede acoger, si

cambia el juicio o no y se tiene una pauta específica para eso.

11. Análisis de los antecedentes: Antes de citar al consejo, los consejeros tienen alrededor de 3 semanas

para revisar los antecedentes entregados. El consejo se junta en la agencia, y en las distintas sesiones

se presenta la carrera, se hace un meta-análisis del informe de autoevaluación, del informe de los pares,

y en función de lo anterior, los consejeros hacen su propio análisis de como está la carrera en cada uno

de los criterios, viendo cuales son los principales argumentos que podrían fundar la decisión de

acreditación. Es un análisis combinatorio de como está la carrera, cómo se ajusta a los criterios de

acreditación y cuál es el apoyo institucional que tiene para llevar a cabo el plan de mejora que ellos

mismos se han propuesto. También, se ve la capacidad de autorregulación que tiene la carrera, que

significa darse cuenta de sus debilidades y proponer un plan que les permita superar estas debilidades

en el contexto de la institución en la que está inserta. En los casos de reacreditación, se ve si la unidad

ha sido capaz de hacerse cargo de las debilidades detectadas, y cómo las ha superado, y esto es

importante para la decisión.

12. Participación de actores relevantes en el análisis: En las distintas sesiones del consejo, se

encuentran presentes la directora ejecutiva, que modera la reunión, y el coordinador a cargo del proceso

en cuestión. Estos no tienen derecho a voto, pero aportan información nueva si es que fuera necesario.

13. Elaboración de rúbricas propias para determinación años de acreditación: Se elaboraron rúbricas

propias para la determinación de años de acreditación. Pero se establece que los consejos de educación

y sociales no necesitan de estas rúbricas, porque ya tienen más o menos claro cuando se trata de una

carrera de dos años, de cuatro años, o de siete años, por la experiencia en acreditación que tienen. De

 14 

este modo, una carrera que se acredita por dos años, es porque cumple con los estándares básicos, y

cuenta con un apoyo institucional que le permite sustentarse y poder realizar las mejoras que ellos

mismos se han planteado o que el consejo determina que deberían ser tomadas en cuenta en un próximo

proceso de acreditación. Por otro lado, una carrera que cumple con lo mínimo, pero que está en una

institución que no la apoya, lo más probable es que no se acredite. De ahí que la asignación de los años

va a variar según que tanto las carreras se ajustan a los criterios, del apoyo institucional, del cuerpo

académico, etc. 14. Participación de coordinador de procesos y director ejecutivo en la redacción y revisión del acuerdo

de acreditación:El coordinador de procesos toma nota de los principales argumentos para fundamentar la

decisión de acreditación y procede a la redacción del acuerdo. En la redacción del acuerdo, se demoran

3-4 semanas, porque se revisa de nuevo el material. Este debe ir justificado con evidencia, y la directora

ejecutiva con el coordinador se encargan de revisar esto.

15. Consideración para institutos profesionales: Se toma en cuenta la realidad de los IP: si la carrera

quiere formar profesores capaces en docencia, pero no se compromete a formarlos en investigación, eso

se considera en la evaluación y no se castiga, a no ser que lo criterios digan que los profesores deben

saber investigar. No existe distinción en la asignación de años.

d. Agencia 6 

1. Método de selección de pares evaluadores: se eligen a los pares que tengan una manera de pensar

afín a la agencia (mirada no pedagogicista, que significa darle más prioridad a los contenidos propios de

la especialidad, más que a las materias pedagógicas). Existen dos modos de contactar a los pares: a) por

haber participado en el proceso de acreditación anteriormente (autoevaluación), y b) por recomendación

de otro par que ya participaba en la agencia.

2. Mecanismos de colaboración entre las agencias: No hay ningún tipo de relación formal con las otras

agencias. Hay buenas relaciones con Qualitas, y se han juntado para discutir sobre la ética de su trabajo,

viendo si tienen la misma información.

3. Revisión de antecedentes por parte de la agencia: No hay información disponible. 4. Conformación del comité de pares: Se propone una lista y cuando la rechazan por 3 veces, la agencia

pide a la institución 5 personas, para luego investigarlas y elegir 3. Luego se les llama internamente,

cuando son aceptados por la carrera. Siempre hay una persona de un instituto profesional. Los pares de

esta agencia afirman que en el comité de pares hay personas de variadas instituciones (privadas,

públicas, de regiones).

5. Visita a sedes distintas: En unidades con muchas sedes, no se va a todas. Por eso debe decidirse

donde se hace la visita: se va a 3 distintas, en términos de distancia. Se fijan en que las sedes sean más

o menos iguales en calidad y que haya un intercambio entre sedes. No hay especificaciones con relación

 15 

 16 

a la duración de la visita. Lo que pase en una sede afecta a las otras, en términos de la acreditación. La

agencia pide que vayan todos los pares juntos a las sedes.

6. Visita a jornadas distintas: No hay información disponible 7. Visita de acreditación conjunta: Cuando hay varías menciones, los pares se separan según

especialidad. Se conforman comités por área, luego de reunirse con las autoridades de la facultad. Cada

uno de los comités tiene un presidente.

8. Elaboración de rúbricas propias para la evaluación: Elaboran sus propias rúbricas, con estas se

chequea el contenido del informe de autoevaluación y se facilita la visita.

9. Elaboración de informes para acreditación conjunta: No hay información disponible. 10. Revisión por parte del organismo técnico del informe escrito: Se revisa el informe escrito, para ver las

faltas de ortografía y redacción. Se envía el informe a las carreras, y algunas hacen algunas

observaciones. Los pares ven si estas observaciones tienen mérito para cambiar el informe.

11. Análisis de los antecedentes: Se decide en torno a la investigación, a la cantidad de profesores con

jornada completa, "ese tipo de cosas que son más de verdad".

12. Participación de actores relevantes en el análisis: Se invita a la presidenta del comité de pares, para

que complemente la información que aparece en el informe. También se invita, por 20 minutos, al decano

o al director de la escuela.

13. Elaboración de rúbricas propias para determinación años de acreditación: No hay información

disponible.

14. Participación de coordinador de procesos y director ejecutivo en la revisión del acuerdo de

acreditación: No hay información disponible.

15. Consideración para institutos profesionales: La agencia no pide una planta de profesores de jornada

completa en un instituto, ni investigación, porque tiene otra función. En los institutos, interesa que los

profesores sean gente que trabaje en el sector en donde trabajarán los alumnos, porque son técnicos.2

III. est Sugerencias y observaciones de los entrevistados del        al proceso de acreditación de carreras de pedagogía 

udio 2  

Aquí se presentan las principales sugerencias de los entrevistados del estudio 2 para mejorar el sistema de acreditación de carreras y programas de pedagogía.

a. Actualización de los criterios de evaluación

Los entrevistados mencionan en varias ocasiones la posibilidad de actualizar los criterios de evaluación propuestos por la CNA, en busca de mejorar y hacer más pertinente la evaluación. Un profesional señala que “los criterios de evaluación que están definidos fueron definidos hace más de 10 años atrás y la realidad de las instituciones ha ido cambiando (…) Hay criterios que no discriminan tanto al momento de                                                             2 Esta agencia no ha acreditado carreras de pedagogía en institutos profesionales. Sin embargo, sigue este procedimiento para acreditar a otras carreras de IP.

tomar una decisión. Uno de ellos es la estructura organizacional de la unidad” (E.11). Este último, no sería un criterio relevante para evaluar, pues todas las instituciones cumplen satisfactoriamente con dicho elemento.

Además se señala que sería recomendable actualizar y, en algunos casos crear, criterios específicos para Institutos Profesionales, Centros de Formación Técnica y carreras en modalidad no presencial (on-line).

b. Autoevaluación

Asimismo, un elemento altamente valorado por algunos entrevistados es la capacidad de recibir informes de autoevaluación que den cuenta de la participación de todos los actores importantes y que sean elaborados con alta capacidad crítica. Un profesional indica que “Lo que hace que este proceso sea bueno (es) esta inmersión que tienen los académicos, los alumnos, toda la carrera para hacer el informe de autoevaluación. Yo me fijaría más en cómo se ha hecho ese informe de autoevaluación, si es entre 4 paredes, o si es con una pelea a cuchillo. A mí me gustan las peleas de cuchillos donde todos participan” (E. 15).

Otro entrevistado señala que es provechoso cuando se elabora el informe de autoevaluación en conjunto entre la carrera y la agencia, para conocer, justamente, lo señalado arriba.  

c. Aspectos prácticos de la visita

En las entrevistas se señalan 2 elementos relevantes para odificar durante la visita. El primero se refiere al tiempo de realización de visita, que en algunas oportunidades, según

el tamaño de la unidad a evaluar, no es suficiente. “Ese es un tema, porque capaz que en el fondo no alcancís a recoger toda la información y tener una mirada tan cabal (…) por el tiempo (…) probablemente eso tiene algún impacto en la calidad y cantidad de información que tu recoges (E. 12). Agencia 5.

a lo mejor dar un poquito más d“En términos del tiempo, dependiendo de la envergadura del trabajo que haya que hacer, e tiempo para la visita” (E. 14). Agencia 5.

El segundo, es referido a que la unidad evaluada pueda registrar el informe de salida y recibir comentarios, por parte de la carrera evaluada, de las fortalezas y debilidades. Sobre esto, un par indica que “Lo otro es el informe de salida. Es como que tu vas ahí para que te digan las cosas buenas, las cosas malas, pero nadie puede hablar (…) pudiera haber alguna forma, no sé, de interacción” (E.14) Agencia 5.

d. Años de acreditación

Un comentario generalizado entre los entrevistados es la incomodidad, así como la dificultad, que produce definir una cantidad de años de acreditación para las carreras. Frente a esto, un profesional agrega que preferiría  “No tener un ranking de la calidad (…) en función de los años (…) las carreras de pedagogía deberían decir acreditadas y no acreditadas” (E. 6).

“Yo cambiaría los años. Los años son una camisa de fuerza (…) es malo. Yo tendría un sistema aprobado, reprobado y aprobado con honores, una cosa así. Y diría los reprobados se acreditan al año siguiente, y los otros 5 años” (E. 15). Agencia 6. 

 17 

e. Medición de la calidad del sistema de acreditación

Relacionado con el punto anterior, tanto pares como profesionales señalan que la acreditación no es un instrumento que mida la calidad de las instituciones y, por lo tanto, la cantidad de años no es un indicador de mayor o menor calidad. Un profesional señala: “Desvinculemos (…) la acreditación de la calidad de los profesores, que son dos cosas distintas (…) para quitarle presión al sistema” (E. 6). Mientras que otro indica que “Algo que es muy interesante de medir y que no está siendo medido son los resultados del proceso de formación (…) INICIA es una buena iniciativa en ese sentido, pero (…) no es parte del sistema de decisión de acreditación” (E.11).

“Es una metodología que es buena en términos de lo que considera, pero no considera otras cosas (…) para mí sería más importante en la acreditación la calidad con que sale el egresado de esa facultad (…) tener otros indicadores” (E. 15). Agencia 6.

En este sentido, se vuelve pertinente la pregunta sobre la validez del sistema de acreditación y su sistema de medida (1 a 7 años).

18