autoevaluacion2002-2

28

ALGUNOS MODELOS PARA LA AUTOEVALUACIÓN INSTITUCIONAL

Milagros Cano Flores*

I. INTRODUCCIÓN

El término evaluación es una palabra elástica que se amplía o extiende para abar-car muchas clases de juicios. Las personas hablan de evaluación de la ejecución de la tarea por parte de un trabajador, de evaluación de un guión cinematográfico, de evaluación del potencial de ventas de un producto nuevo. Lo que tienen en común todos los empleos del término es la noción de juzgar el valor o los méritos de alguna cosa. Alguien está examinando y sopesando un fenómeno, bien sea relativo a una persona, una cosa, una idea, etcétera, valiéndose de algún patrón, explícito o implícito. Tratándose de los programas educativos que tienen como objeto mejorar el sino de la gente, pueden tener como fin cambiar el conocimiento, las actitudes, los valores y las conductas de las personas, o bien, las instituciones con las que tratan o las comunidades en las que viven. Puede decirse que en la evaluación educativa hay dos dimensiones de aná-lisis: 1) En primer término, una comparación entre lo que es y lo que debe ser una institución educativa. 2) En segundo término, la emisión de un juicio de valor rela-cionado con los resultados de esta comparación. Ambos aspectos del análisis tie-nen, por sí mismos, un sustrato idiosincrásico, de concepción y de modo de en-tender los procesos educativos. La evaluación, en este caso, se concibe como una forma de retroalimentación y control del quehacer institucional, proceso nece-sario para la toma de decisiones. En este ensayo se destacan las características y valor práctico de los ejer-cicios modélicos, destacando algunas aportaciones de estudiosos destacados en la materia; presentando finalmente la concepción de un modelo ideal.

II. DE LOS MODELOS

Las ideas y concepciones señaladas han suscitado o impulsado la creación de modelos sistémicos de evaluación con el propósito de estudiar los elementos de la institución y establecer correcciones a fin de incrementar su efectividad. La eva-luación pensada en este sentido, se refiere a un modo de práctica que requiere que las actividades de la institución o centro escolar sean continua y sistemática-mente realimentadas. La retroalimentación adquiere, en sí misma, una connota-

* Investigadora del Instituto de Investigaciones y Estudios Superiores de las Ciencias Administrativas de la Universidad

Veracruzana.

I.I.E.S.C.A. Ensayos

29

ción de juicio, basada o fundamentada en la medición de ciertas variables que aparecen como elementales para que la propia institución opere.

La importancia de estas variables se establece de acuerdo al modelo sinté-tico que se diseñe. Si es un modelo holístico por ejemplo, (autoevaluación de cen-tros escolares), todos los elementos del sistema educativo institucional son deter-minantes: alumnos, profesores y administradores; currículum; materiales escola-res; instalaciones; etcétera. La evaluación en este tipo de modelos requiere de una concepción previa de la acción educativa, a fin de confrontar los datos obteni-dos con los resultados esperados.

Ahora bien, todo este escenario, el proceso y sus diversas acciones se muestran en la elaboración de representaciones conceptuales, de naturaleza sim-bólica acerca de la realidad, esto es, de modelos. Un modelo es fundamentalmen-te “la selección de un conjunto de variables y la especificación de sus relaciones mutuas, con objeto de representar algún sistema o proceso real, en todo o en par-te”.1 Un modelo debe ser: explicable y predecible, general, alto en poder heurísti-co, alto en poder unificador, original, simple, apoyado en hechos, probable, verifi-cable.

Los modelos se clasifican con relación a su propósito o técnica básica. Respecto al propósito del modelo hay dos tipos: 1) el modelo descriptivo y 2) el modelo de decisión. 1) El modelo descriptivo tiene por objeto explicar las cosas tal como están o funcionan, no contiene juicio alguno del valor de los fenómenos porque su único objeto es presentar las operaciones internas del sistema. 2) El modelo de decisión intenta penetrar en cómo deberían ser las cosas, es una for-mulación desarrollada con el propósito de identificar una solución “mejor”.

Con relación a la técnica del modelo, hay tres tipos: 1) modelos verbales, que describen un fenómeno o problema con palabras; 2) modelos gráficos, que son descripciones gráficas o diagramáticas de un fenómeno o problema, como indica la expresión; y 3) modelos matemáticos, o sea, descripciones algebraicas o simbólicas.

La dimensión modélica nos permite identificar, conocer y valorar aquellos segmentos nucleares del universo, motivo e interés de estudio que se nos mues-tra desconocido. Ocurre también este mismo fenómeno cuando es el centro o ins-titución educativa uno de estos sectores de la realidad. En este ámbito de lo di-dáctico, los modelos permiten y facilitan la formulación de estrategias para mejo-rar los procesos de enseñanza -aprendizaje, así como el conocimiento sobre sis-temas cuya naturaleza compleja hace difícil su comprensión. En especial cuando el propósito u objetivo de estudio es el conocimiento del centro o institución do-cente como organización con la finalidad de mejorarlo, esta búsqueda de conoci-miento debe desarrollarse a través de representaciones conceptuales o modelos. (Esquema 1).

1 Philip Kotler. Fundamentos de mercadotecnia, análisis, planeación y control. (México, Editorial Hispanoamericana, 1974),

p. 425

Algunos modelos para la autoevaluación institucional

30

Son múltiples los estudios que se han realizado sobre representaciones modélicas de evaluación educacional; sobresalen de acuerdo a los diferentes en-foques entre otros, los siguientes:

1) Basados en el logro de objetivos: A) Modelo de Tyler, B) Modelo de Met-fessel y Michael, Modelo de Evaluación a Nivel Local. (Hammond), Modelo de Boyle y Jahns, Modelo de Popham y Baker, Modelo de Bloom, Modelo de Mof-gam.

2) Basados en juicios: Semblante de la Evaluación. (Stake), Metodología de la Evaluación. (Scriven), Evaluación Institucional. (Forehand), Modelo Evaluativo Basado en el Rol del Sistema. (Knox).

3) Basados en la toma de decisiones: Modelo CIPP. (Stufflebeam), Modelo de Discrepancia. (Provus) Evaluación Diferencial. (Tripodi, Fellin y Epstein), Mode-lo CSE, Modelo de Evaluación Ciclo Desarrollo. (Lindvali, Cox), Sistema de Eva-luación Newstart. (Lamrock, Smith, Warren), Modelo de Evaluación costo – bene-ficio. (Clark, Olsen.

ESQUEMA 1. Rol Modélico.2

4) Basados en la aproximación por sistemas: Modelo de Alkin, Modelo de Componentes Reales. (Knox, Mezirow, Darkenwald), Organización como un Sis-tema Total. (Young), Modelo de Enfoques por Sistema para el Establecimiento de Objetivos. (Van Gigch, Hill), Aproximación por el Sistema para el Desarrollo de un

2 José Cardona Andujar. Metodología innovadora de evaluación de centros educativos. Madrid, Editorial Sanz y Torres,

1994, p. 180

Realidad Información Modelo

Conocimiento Metodología Interpretativa

f e e d b a c k


31

Sistema de Evaluación. (Yost, Monnin), Modelo Entológico de Evaluación. (Pe-per).

5) Basados en la realidad de centros docentes: Auditoría General de Cen-tros Docentes: AUDO/G de P. (Garrido y D. Rivera), Diagnóstico Elaborado. (Ro-drigo García Gómez y Justo Gómez García), Modelo Auditoría. (Lucio Martínez Aragón), Action Research. (Lewin), Modelo MEPOA / 90. (Barberá), Modelo Etno-gráfico. (Sabirón Sierra), Plan de Evaluación de Centros Docentes no universita-rios: MEC, Evaluación de Centros Educativos. (José Cardona Andújar), Modelo Etnográfico. (Berlak y Berlak), Auto-estudio Institucional. (Stake), Accountability. (Elliot, Kogan), Escuelas Eficaces. (Good), Proyecto Internacional para la Mejora de la Educación - ISIP del CERI. (Hopkins, Glatter), Evaluación Colaborativa. (Es-cudero), Modelo SAPOREI. (Mestres).

III. ALGUNOS MODELOS DE EVALUACIÓN INSTITUCIONAL

Por la naturaleza de este ensayo, en este apartado se abordan algunos de los principales modelos orientados a la realidad del centro o institución educativa, destacando los que representan las últimas realizaciones españolas en esta línea citada.

1) La Evaluación orientada al logro de los objetivos. (Eight-Year-Study). Ralph Tyler concibió la evaluación como la determinación del grado en que los objetivos educativos de un programa son, realmente, conseguidos. Este modelo, inicia con una consideración amplia de las metas intencionales de aprendizaje, y procede, mediante la operativización de estos fines, a evaluar el grado en que el programa ha conseguido dichos propósitos u objetivos.

Tyler centra su evaluación en los logros, en el rendimiento (outputs), más que en las entradas (inputs) del sistema educativo o en el programa mismo. Intro-duce la evaluación como referencia a criterios, basándose en la comparación de los logros con los objetivos y metas propuestos, más que en las comparaciones entre escuelas –grupos normativos-, distritos, currículos o programas. La evalua-ción pretende comparar el rendimiento conseguido con el pretendido.

La adecuación de los logros del programa a los objetivos pretendidos es el fundamento del modelo desarrollado por Ralph Tyler, que concibió la evaluación como un proceso para determinar el grado en que los objetivos educativos del programa de un centro educativo son realmente conseguidos.

El proceso evaluativo conlleva las siguientes etapas: 1) Establecimiento de objetivos o metas amplios, 2) Clasificación de los objetivos o metas, 3) Definición de los objetivos en términos conductuales, 4) Búsqueda de situaciones en las que los objetivos se realizan, 5) Desarrollo o selección de técnicas de medida, 6) Re-cogida de datos de la práctica, 7) Comparación de los datos con los objetivos conductuales fijados.


32

Las diferencias o discrepancias entre los objetivos y el rendimiento escolar llevarían a la modificación de las deficiencias del programa.3 Cabe destacar que el trabajo realizado por Tyler ha supuesto una gran influencia en diversas áreas de la investigación y en la práctica educativa, especialmente en lo referente a la evalua-ción educativa.

2) Modelo de Evaluación a Nivel Local. El modelo por objetivos propuesto por Tyler tuvo gran influencia en evaluadores posteriores como R. L. Hammond, a quien le interesa determinar si los objetivos y metas se han cumplido, pero tam-bién se interesa por descubrir por qué algunas innovaciones educativas fracasan mientras otras tienen éxito. Con este fin, Hammond ha desarrollado un cubro tri-dimensional para describir las variables de los programas educativos y la organi-zación de la evaluación.

Las etapas consideradas por Hammond para la evaluación de un centro son las siguientes: 1) Definición del programa, 2) Definición de las variables des-criptivas, 3) Enunciación de los objetivos, 4) Valoración de la práctica, 5) Análisis de los resultados, 6) Comparación de los resultados con los objetivos.

El enfoque de evaluación orientada al logro de los objetivos ha contribuido a que los educadores reflexionen sobre sus intenciones y clarifiquen los objetivos y metas generales.

3) Semblante de la Evaluación. Robert E. Stake ve la evaluación como un servicio. La gente espera de la evaluación diferentes propósitos tales como la do-cumentación de los acontecimientos, el registro de los cambios, la ayuda a la to-ma de decisiones, la comprensión o la facilitación de soluciones. Ve la evaluación más como un servicio que como un análisis crítico. Destaca el papel del evaluador como facilitador más que como descubridor o investigador.

Se supone que toda evaluación está orientada a la valoración, pero Stake propone que los que hagan tales juicios de valor sean los clientes de la evalua-ción, no los evaluadores. El valor de un programa puede ser diferente dependien-do de las personas y de los propósitos, por eso, cualquier consenso que exista en valores debe ser descubierto y no creado por el evaluador.

Robert E. Stake orienta su estudio hacia las actividades del programa más que a sus metas, responde a las necesidades de información de las audiencias más que a las categorías de información preordenadas y considera los diferentes valores de las personas interesadas en el programa cuando juzga su adecuación. Las cuestiones y los métodos no son impuestos sino que emergen desde la ob-servación del programa durante la evaluación.

Stake menciona doce cuestiones a tener en cuenta para realizar el trabajo de evaluación: 1) Hablar con los clientes, el personal del programa y las audien-cias, 2) Identificar el alcance del programa, 3) Revisar las actividades del progra-ma, 4) Descubrir los propósitos y preocupaciones, de todos, 5) Conceptuar los temas, cuestiones y problemas, 6) Identificar las necesidades de datos y temas conflictivos, 7) Seleccionar los observadores, los jueces, y los instrumentos si fue- 3 C. Martínez Mediano. Evaluación de programas educativos. Investigación evaluativa. Modelos de evaluación de progra-

mas. Madrid, UNED, 1996.


33

ran necesarios, 8) Observar los antecedentes, las transacciones y los resultados, 9) Tematizar –categorizar-, preparar descripciones, estudios de caso, 10) Validar, confirmar, tratar de desconformar, 11) Presentar los resultados a las audiencias, 12) Formatear en diversos tipos de informes para el uso de las audiencias.

Stake defiende que el objetivo de la evaluación es mejorar la práctica local, no la producción y diseminación de nuevo conocimiento. Considera que hay dos medios para cambiar la práctica: incorporando los nuevos desarrollo sugeridos por otros y mediante una mejor comprensión de nosotros mismos y de nuestras rela-ciones con los demás.4

4) Metodología de la Evaluación. Michael Scriven es uno de los primeros teóricos de la evaluación moderna. Los términos evaluación sumativa y evaluación formativa fueron introducidos en sus estudios y publicaciones, la evaluación libre de metas y la meta-evaluación son también términos suyos, además del término inglés “evaluand” (objeto a evaluar) y la evaluación libre de costos.

Visualiza a la evaluación como la ciencia de la valoración. Cree que los va-lores pueden ser investigados y justificados empíricamente; en este sentido de-fiende la objetividad de los criterios de valoración. Argumenta que las afirmaciones de valor son similares a otros constructos científicos: el valor, el mérito, la calidad, son constructos procedentes de variables observables lo mismo que las aptitudes, el rendimiento, la motivación o la ansiedad.

Scriven quiere minimizar la mayoría de los prejuicios que pueden introducir-se cuando se construyen las afirmaciones de valor. No dice que los prejuicios de-ban ser evitados sino más bien que el evaluador debe hacerlos explícitos y esta-blecer alertas contra las dudas o ignorancia de los prejuicios. Estas salvaguardias deben ser parte del código que guíe la evaluación en la práctica. Michael Scriven propone una serie de puntos que sirven de guía para la realización de evaluaciones así como para su revisión (meta-evaluación) posterior, y son: 1) Descripción: qué es lo que se va a evaluar, 2) Clientes: quién comisiona la evaluación, 3) Antecedentes y contexto: del objeto evaluado y de la evaluación, 4) Recursos: disponibles para uso del objeto evaluado y de los evaluadores, 5) Funciones: qué es lo que el objeto evaluado hace, 6) Distribución del sistema: qué es lo que consigue el objeto evaluado y cómo lo alcanza, 7) El consumidor: quién está utilizando o recibiendo los efectos del objeto evaluado, 8) Necesidades y va-lores: de la población afectada y potencialmente afectada, 9) Normas: hay algu-nas normas previas objetivamente validadas o criterios de mérito o valor a aplicar, 10) Procesos: qué limitaciones, costo, beneficios de las operaciones normales del objeto evaluado, 11) Resultados: qué efectos produce el efecto evaluado, 12) Ge-nerabilidad: a otras personas, lugares, tiempos y versiones, 13) Costes: económi-cos, psicológicos, personales. Costos iniciales, repetidos, directos e indirectos, inmediatos o diferidos, 14) Comparaciones: con opciones alternativas, 15) Signifi-catividad: síntesis de todo lo anterior, 16) Recomendaciones: éstas pueden ser o no exigidas y pueden realizarse o no a partir de la evaluación, 17) Informe: voca-bulario, longitud, formato, medio, tiempo, localización y personal. Requiere una

4 C. Martínez Mediano. Op. cit.


34

presentación cuidadosamente estudiada, 18) Meta-evaluación: la evaluación debe ser evaluada, previamente a su realización y a su publicación final.

La evaluación, de acuerdo con Scriven, es multicampo relacionada con los programas, productos, propuestas, personal, planes y potencialidades; es multi-disciplinar con criterios multidimensionales del mérito; necesita múltiples perspec-tivas antes de que la síntesis final sea hecha; es multinivel en un amplio rango de niveles de validez, costos, fiabilidad, entre los cuales se debe elegir en orden a ajustarse a los recursos de tiempo y presupuesto; utiliza diferentes niveles de aná-lisis para apoyar la evidencia y documentación apropiada en las diferentes cir-cunstancias, con múltiples metodologías, múltiples presunciones, múltiples impac-tos y múltiples formatos de informe. La evaluación es la multiplicidad de lo múlti-ple.5

5) Modelo CIPP. El enfoque decisión-gestión está representado por el mo-delo UCLA (desarrollado en la Universidad de Los Ángeles, y por el modelo CIPP de Daniel Stufflebeam et al. Ambos se centran en los aspectos claves de la orga-nización y la toma de decisiones. El evaluador y el director-organizador del pro-grama trabajan juntos, el primero identifica las decisiones que el segundo ha de tomar aportando información suficiente para calibrar sus ventajas y desventajas. El motivo principal para el desarrollo de la evaluación orientada a la decisión fue un deseo para maximizar la utilización de los resultados de la evaluación.

Stufflebeam desarrolló un marco conceptual para ayudar a los organizado-res y administradores a enfrentarse a cuatro tipo de evaluaciones y sus corres-pondientes decisiones: 1) La evaluación del contexto para servir a decisiones de planificación. 2) La evaluación de entrada, al servicio de las decisiones de estruc-tura que nos indican los recursos disponibles, las estrategias alternativas al pro-grama y los planes con mayor potencial. 3) La evaluación de proceso, al servicio de las decisiones de implementación. 4) La evaluación del producto, al servicio de las decisiones de reciclaje, que nos informará sobre los resultados obtenidos, có-mo han sido reducidas las necesidades y qué se debe hacer con el programa después del curso.

Para proporcionar información a quienes toman decisiones identificó los principales tipos de decisiones que afrontan para así crear las estrategias evalua-tivas adecuadas. Identificó los siguientes tipos de decisiones: 1) Decisiones de realización. 2) Decisiones de reciclaje. 3) Decisiones de planificación, y 4) Deci-siones de estructura.

Con ello se llegó a la estructura básica del CIPP: la evaluación del Contexto como ayuda para la designación de las metas; la evaluación de Entrada como ayuda para dar forma a las propuestas; la evaluación del Proceso como guía de su realización, y la evaluación del Producto al servicio de las decisiones de recicla-je o continuidad del programa.

6) El AUDO / G. El Modelo de Auditoría General de Centros Docentes: AUDO / G, elaborado por P. Garrido y D. Rivera. Desde el marco normativo de la LODE, resaltan la necesidad de actualizar y reforzar los procesos evaluadores 5 C. Martínez Mediano. Op.cit. p.170


35

en/de los centros, subrayando la función de los Consejos Escolares como elemen-to de control en pro de la eficacia de la escuela.

Para todo centro educativo visualizan dos tipos de objetivos: los curriculares y de mantenimiento y crecimiento, y tres categorías de variables: Inputs, Organi-zación y Outputs; integradas estas categorías por funciones, conformadas cada una de ellas por un número determinado de ámbitos cualificadores que a su vez comprenden los correspondientes indicadores de calidad (Centro: Categoría: Fun-ción: Ámbito: Indicadores). Desde una descripción cuantitativa, el AUDO / G está constituido de las tres categorías de variables: Inputs, Organización y Outputs.

De trece funciones. Inputs: Elementos físico-naturales, Elementos persona-les, Elementos socio-culturales y Elementos de financiación. Organización: Plani-ficación, Dirección, Coordinación, Innovación, Control y Factores de cohesión. Outputs: Rendimiento de aprendizajes, Aspectos formativos e innovación Crecimiento. Además de cincuenta ámbitos de cualificación y trescientos treinta y siete indicadores de calidad.

Este modelo (Auditoría General de Centros Docentes) relaciona entre sí las categorías, dando lugar a dos modalidades: el potencial docente (combina inputs con organización) y la optimización y rentabilidad (combina potencial docente con outputs).

7) Modelo Diagnóstico. El Modelo Diagnóstico elaborado por Rodrigo García, está fundamentando en diversas líneas teóricas como son, Action Re-search (se subraya la viabilidad del perfeccionamiento de los profesores a tra-vés del estudio reflexivo y crítico de su propia práctica), Psicología Comunitaria (formulación del Modelo de Competencia como metodología para la visión y mejo-ra de la realidad), Modelo Cognitivo de Aprendizaje Significativo (la nueva información se aprende significativamente si relaciona la estructura cognitiva del sujeto con los conceptos pertinentes), Condicionamiento Operante (destaca las relaciones que se registran entre las conductas que se asumen en la organiza-ción, comportamiento organizacional, y el ambiente en que se desarrollan) y la Investigación Colaborativa (visualiza a los profesores como dimensión optimizado-ra de la innovación curricular). El objetivo general que orienta a este modelo, es facilitar a la institución un perfil de los puntos fuertes y débiles de su organización y de su funcionamiento, como base para el diseño de sus estrategias de mejora dentro de un proceso for-mativo de avance de competencias. Destaca como características: el diagnós-tico de la organización como fundamento para las estrategias de mejora; inciden-cia en la dimensión procesual; comprendido y asumido por los miembros de la organización; de utilidad para la misma; acorde con la metodología científica; cen-trado en aspectos concretos y nucleares de la institución; difusión de resultados y contrastado con la realidad.

La metodología en la que está sustentado el modelo, destaca los siguientes aspectos: a) Negociar con los involucrados (Equipo Directivo, Claustro, APA, Re-presentantes del Alumnado y del Personal no docente en el Consejo Escolar, el proceso, los ámbitos e implicaciones del diagnóstico. b) Recoger por escrito los acuerdos obtenidos con los diversos sectores e incluirlos en PAC. c) Someterlos a


36

la aprobación del Consejo Escolar y buscar el reconocimiento de los servicios Administrativos del Sector. d) Recoger información referente a los documentos institucionales así como de los miembros relevantes del centro. e) Identificar las áreas preferentes de atención diagnóstica entregando el informe a los responsa-bles de los sectores diversos de la comunidad educativa. f) Discusión del informe con los sectores involucrados, formulando hipótesis sobre los aspectos diagnosti-cados (tanto positivos como negativos) en el centro. g) Contrastar hipótesis a tra-vés de la observación, entrevista, simulación, análisis funcional de la conducta organizacional, y demás técnicas adecuadas. h) Aceptar o rechazar las hipótesis explicativas, elaborando el informe definitivo, comunicando la experiencia a los centros educativos del sector como vía de motivación al profesorado. i) Elaborar estrategias de mejora, negociando con los sectores involucrados su propuesta y desarrollo. j) Diseño del Plan de Acción de Mejora, contemplando acciones a corto plazo a fin de mantener motivada a la institución. Y, k) Evaluar tanto el insumo como los resultados en el desarrollo del Plan por los sectores interesados, pre-viendo su modificación o reconducción si fuese necesario.

8) Modelo Auditoría. El Modelo Auditoría concebido por Lucio Martínez Aragón, proviene de los enfoques empresariales para ser ejecutado por evaluado-res externos, aunque adaptado, constituye un recurso interesante para la evalua-ción interna. Con esta óptica, contribuye a una reflexión diagnóstica sobre la es-tructura y funcionamiento del centro o institución docente como organización, así como con los elementos necesarios que guíen, que encaucen procesos de auto-rrevisión.

Derivado de los enfoques empresariales, la teoría que sustenta el modelo propone: a) Planificación exhaustiva de cada tarea, b) Aprovechamiento máximo de la información acumulada, c) Máximo interés por conocer la estructura, organi-zación, funcionamiento y resultados del centro o institución docente, d) Utilización del enfoque de arriba hacia abajo, e) Reconocer riesgos, f) Definir los objetivos a alcanzar por la organización, g) Identificar con anticipación controles clave, h) Uti-lizar pruebas y procedimientos variados de información sobre la institución educa-tiva, i) Presentar un informe sobre el centro o institución como un todo, determi-nando las recomendaciones al equipo directivo.

En cuanto a su estructura, este modelo incluye como etapas las siguientes: a) Planificación, formulación y desarrollo de cursos de acción coheren-

tes con la cultura y clima de cada institución; siendo deseable para tal fin: prever las condiciones de trabajo, actualizar la información básica mediante un análisis de contenido de los documentos institu-cionales; realizar el memorando de planificación, determinando la efectividad del sistema de control previsto.

b) Ejecución, efectuar intervenciones o visitas tanto interinas, esto es, a lo largo del proceso, como final; todo ello con el fin de conocer acer-ca de las dudas que puedan existir en cuanto a la valoración de componentes, así como obtener los datos últimos que permitan valo-rar los resultados (eficacia).


37

c) Conclusiones, elaboración y presentación del dictamen relativo al trabajo de evaluación realizado. Este informe puede presentarse de diversas formas: opinión con salvedades o sin ellas, abstención y opinión parcial.

d) Valoraciones, juicios emitidos sobre las diferentes variables inheren-tes a la operación y funcionamiento de la organización, mismas que pueden incluir: recursos ambientales, personales, materiales y eco-nómicos (valoración administrativa); eficiencia de la actividad eco-nómica, de la planificación del centro y del funcionamiento de sus órganos componentes: gobierno, didácticos, departamentos, etcétera (valoración de la eficiencia y del cumplimiento legal); resultados aca-démicos, eficacia del proceso educativo, de la utilización de espacios y recursos, entre otros tantos aspectos (valoración de los resultados o eficacia); dictamen elaborado.

Cada dimensión evaluada comprende la estructura de sus componentes: finalidad, indicadores de control interno, fiabilidad, riesgo, enfoque de trabajo, evi-dencia alcanzada, eficiencia del componente y cumplimiento legal.

9) Modelo “Action Research”. La Investigación – Acción marca su inicio con los estudios de Lewin, psicólogo que estudia las problemáticas relacionadas con las cuestiones sociales, especialmente las relaciones humanas y los cambios de actitudes y conductas; destaca tanto el carácter participativo y democrático así como la gran sensibilidad demostrada hacia el cambio y la mejora.

D. Ebbut y J. Elliot6 lo conciben como “el estudio sistemático de tentativas de cambio y mejoras educativas, realizadas por los maestros a través de sus pro-pias prácticas y por medio de la reflexión sobre los efectos de su acción”. Surge por tanto orientado hacia el ámbito del aula, pudiendo adaptarse a la situación institucional, visualizando el centro como unidad de innovación o cambio para la toma de decisiones de mejora. Constituye un modelo válido para dinamizar la au-torreflexión como elemento substancial de evaluación.

El Dr. Antonio Medina Rivilla7 destaca como objetivos nucleares de la In-vestigación – Acción, los siguientes: a) Lograr un desarrollo integrador del profe-sor, b) Mejorar y cambiar la práctica docente, c) Justificar razonadamente su prác-tica, d) Animar a los profesores a: involucrarse, reflexionar, investigar, ser críticos, e) Actuar siempre con metodología rigurosa. Y, f) Adquirir un modo de pensar sis-temático.

El plan general del modelo “Action Research” comprende las siguientes etapas: a) Una descripción de la idea general, b) Una descripción de los factores y de las acciones a emprender, c) Una afirmación de las negociaciones emprendi-das o bien a efectuar en el futuro, d) Una descripción de los recursos necesarios a utilizar, e) Una descripción de las normas éticas a observar para acceder y dispo-ner de la información, cuidando la confidencialidad, la negociación y el control, f)

6 José Cardona Andujar. Metodología innovadora de evaluación de centros educativos. Madrid, Sanz y Torres, 1994, pp

191-192 7 José Cardona Andújcar. Op. cit. P. 192


38

El tiempo a utilizar para completar el ciclo, g) El grado de implicación del grupo en el plan de actuación y, h) La elaboración del informe correspondiente sobre la in-tervención realizada.

La Investigación – Acción coordina la autoevaluación sumativa con la valo-ración orientada a la mejora profesional ya que exige un proceso en espiral de retroalimentación constante.

10) MEPOA / 90. El Modelo MEPOA / 90 de V. Barberá, adopta un criterio mixto (cualitativo y cuantitativo) y surge en pro de dos propósitos: identificar las variables de mayor incidencia en la calidad de los colegios de Enseñanza General Básica y diseñar modelos de evaluación a ser aplicados en estas instituciones. Con relación a lo anterior, demarcar lo que deba entenderse por calidad de ense-ñanza y la incidencia en ésta de las condiciones físicas del edificio-entorno, de las condiciones humanas (docentes, no docentes y alumnado), así como de los as-pectos técnico-organizativos.

Los factores de incidencia se agrupan en cinco bloques, como son: a) Me-dio socio-económico–cultural (medio social, económico, cultural y familiar). b) Edi-ficio y medios materiales (gimnasio, biblioteca, laboratorio, comedor, sala de uso múltiples, sala de material, aula, patio, edificio y área de servicios). c) Profesorado (programación curricular, coordinación, actitud, evaluación y hábitos y valores). d) Organización y funcionamiento (proyecto educativo, plan anual, reglamento inter-ior, memoria anual, aprovechamiento del tiempo, éxito en la comunidad educati-va, actuación de los diversos órganos, funcionamiento del personal no docente, gestión económica y servicios complementarios). e) Alumnado (matrícula, discipli-na, rendimiento, nivel de satisfacción y estadística de los resultados). Como se puede observar, el modelo toma su nombre de la primera letra del término otorga-do a cada bloque: M (medio) E (edificio) P (profesorado) O (organización) A (alumnado).

La obtención de información se realiza mediante la aplicación de pruebas (instrumentos descriptivos) y que se estructuran en bloques, ámbitos, factores e indicadores. La información será facilitada por: Profesorado (Pr), Padres (Pa), Alumnos (Al), Equipo Evaluador (EE), Equipo Directivo (ED), Director (D) y Conse-jo Escolar (CE).

11) Modelo Etnográfico. El Modelo Etnográfico planteado por Sabirón Sie-rra, permite desde el centro como unidad, acceder a la configuración o a una toma de conciencia por parte de los integrantes-protagonistas de la organización esco-lar, de la existencia de nuevos espacios comunes de gestión institucional; hacien-do su propuesta apoyado en los estudios etnográficos.

Esta propuesta de conocimiento la apoya en los estudios etnográficos; así su modelo armoniza con los siguientes principios:8 a) La persona es entendida como objeto y el profesor como agente de la sociedad, mismo que tiene asignada la función inherente a la transmisión de la cultura. b) Los directores, profesores y alumnos son entes dinámicos con capacidad para modificar el equilibrio de fuer-zas que imperan en el centro. Entendiendo por tanto la enseñanza como un con- 8 Berlak Berlak en Cardona Andujar. Op. cit. P. 198


39

junto dinámico de actividades culturales, económicas y políticas. c) En la actividad deben considerarse las experiencias tanto personales como profesionales de los profesores, así como la influencia de las fuerzas sociales, culturales y políticas que se suscitan en los grupos y situaciones sociales. d) En las investigaciones es fundamental lograr la unión o enlace de las teorías con la práctica.

Su metodología está fundamentada en el estudio de casos, misma que aplicada al contexto de una institución o centro educativo, contempla y propone las siguientes fases: 1) Negociación del proceso. 2) Iniciación. 3) Recogida de la información. 4) Su tratamiento. 5) Elaboración del informe. 6) Discusión, triangula-ciones, propuestas de continuidad.

En este modelo se definen cuatro áreas de investigación esenciales para el conocimiento de un centro escolar, que son: a) Análisis de la Escuela, en sus ám-bitos social, económico, geográfico y escolar. b) Estructuras de Gobierno y Parti-cipación (Consejo Escolar, Colegio de Profesores, Equipo Directivo). c) Los Dile-mas de la Planificación, referentes al marco legal y al plan del centro. Y, d) La Cul-tura de la Escuela, en base a la normativa, percepción de los participantes (profe-sores y alumnos), así como la participación de los padres de familia como miem-bros de la comunidad escolar.

12) Plan de Evaluación de Centros Docentes no universitarios: M.E.C. Este modelo M.E.C.: Plan de Evaluación de Centros Docentes no universitarios, contempla dos objetivos: a) Iniciar la evaluación externa así como asesorar y es-timular la autoevaluación de los centros en los que se desarrolle el programa. Y, b) Difundir una cultura evaluadora entre los integrantes de los centros educativos que tienda a superar las resistencias propias de toda evaluación.

Destaca como dimensiones y subdimensiones nucleares las siguientes: a) Contexto (tipo de centro, hábitat, tamaño y características del centro). b) Recursos Humanos y Materiales (personal docente, personal no docente, mobiliario, mate-rial didáctico y psicopedagógico). c) Apoyos Externos (servicio de inspección, equipos psicopedagógicos, centros de profesores, centros de recursos y otros). d) Alumnado (características personales y socio-familiares, antecedentes escolares, aspiraciones y expectativas, autoconcepto académico, motivación). e) Organiza-ción y Funcionamiento (programación general y anual, gestión económica y ad-ministrativa, organización pedagógica, funcionamiento de órganos y equipos, par-ticipación de la comunidad educativa, relaciones con la comunidad). f) Procesos Didácticos (aspectos organizativos, metodología, relación didáctica, evaluación, actividades de orientación y tutoría, actividades complementarias). g) Rendimiento Educativo (resultados académicos, actitudes, tasas e índices).

En este plan se subraya el apoyo a la colaboración entre los distintos esta-mentos de las diferentes comunidades escolares, orientar los esfuerzos a fin de obtener una mejor organización y funcionamiento de los centros escolares, su ca-rácter eminentemente participativo y cualitativo, la utilización de procedimientos que permitan la triangulación de la información, su naturaleza formativa y sobre todo la idea y filosofía de que los informes de los centros se traduzcan en un aná-lisis sobre su funcionamiento, señalando aciertos y dificultades, formulando pro-


40

puestas de solución y promoviendo compromisos de mejora que puedan ser acep-tados por todos los integrantes de la comunidad educativa.

13) Modelo de Evaluación de Centros Educativos. El Modelo de Eva-luación de Centros Educativos que presenta el Doctor José Cardona, se orienta hacia la creación e integración de grupos de trabajo autocríticos y comprometidos con la mejora de sus centros escolares. Implica para su aplicación real, que la comunidad escolar donde se inserta acepte realizar una reflexión rigurosa y crítica de su quehacer y acción educativa; sólo desde esta óptica se puede aspirar a la consecución de sus objetivos: la mejora de la práctica docente y la calidad de la educación impartida.

El Modelo se desarrolla en el ámbito y contexto del paradigma de la partici-pación colaborativa; en este marco los docentes fijan las directrices de su activi-dad profesional a través de su experiencia en el aula, misma que revisada en for-ma permanente desde posiciones autocríticas proporciona la base para la cons-trucción de la teoría de la enseñanza, de la organización y de la evaluación, todo ello enriquecido con las aportaciones de los demás estamentos de la comunidad educativa. Se concibe una escuela investigadora que se plenifica y mejora.

El Modelo de Evaluación de Centros Educativos, presenta las siguientes peculiaridades: a) Debe ser asumido y desarrollado por la comunidad educativa. b) Debe ser entendido como una actividad diagnóstica de posibilidades de mejora. Pretende / debe ser riguroso en su metodología. Es holístico y retroalimentador. Utilizará técnicas de recogida y análisis de datos contextualizados. f) Sus resulta-dos deberán ser integrados a los diferentes documentos institucionales. g) Deberá ser sistemáticamente contrastado con la realidad, con la propia realidad comunita-ria. Abierto y flexible: armónico con una sociedad en constante cambio.

En su proceso de desarrollo el Modelo de Evaluación presenta las siguien-tes fases: 1) Motivación de la comunidad educativa: destacar lo positivo de la acti-vidad, suscitando actitudes favorables hacia ella. Esta primera fase es competen-cia del agente dinamizador. 2) Acciones para fijar las condiciones adecuadas: cla-rificar el proyecto de intervención, fijando la estructura, objetivos y funciones. Esta fase es competencia de los profesores. 3) Redacción del plan de actuación: as-pectos didáctico, organizativo y económico del centro. Su elaboración correspon-de a la comisión de evaluación coordinada por el agente dinamizador. 4) Difusión en la comunidad: informado por los distintos sectores comunitarios. 5) Aprobación por el Consejo Escolar e incorporado a los documentos institucionales. 6) Recogi-da de información: áreas o variables incluidas en el plan elaborado, acordes con las macrovariables contenidas en las Escalas del Modelo. 7) Elaboración del In-forme o “Memoria de aplicación”: juicios de valor sobre la institución evaluada, estrategias de mejora y atención prioritaria. La responsabilidad respecto al desa-rrollo de esta fase corresponde a la comisión de evaluación coordinada por el agente dinamizador. 8) Difusión y análisis crítico del Informe: por los distintos sec-tores, previo al informe definitivo. 9) Propuesta de estrategias de mejora: atención prioritaria, tomando en cuenta los recursos disponibles (personales, materiales y del entorno). La acción corresponde a la comisión de evaluación. 10) Negociar y consensuar las estrategias de mejora y su priorización: complementación y tempo-


41

ralización. 11) Evaluación formativa del proceso: modificación de actuaciones, rec-tificación de estrategias, a fin de acercarse a la consecución de lo planeado.

El instrumento básico diseñado para el modelo es la Escala de Evaluación Diagnóstica, aunque se especifica que éste no es el único a utilizar ni debe ser aplicado desde la misma técnica de recogida de información. Los objetivos que pretende conseguir la aplicación de la Escala son:

a) De naturaleza cuantitativa, hallar en cada área y variable una pun-tuación que permita poder calificar la bondad de su funcionamiento global; obtener indicadores de su fiabilidad; conocer la incidencia de las variables o áreas sobre los criterios de calidad, mediante diseños de tipo correccional; establecer criterios para facilitar la rentabilidad de las inversiones.

b) De naturaleza cualitativa, concientizar a los miembros de la comuni-dad sobre los beneficios de la reflexión colaborativa y el trabajo en equipo; optimizar el conocimiento responsable de sus roles específi-cos; sensibilizar a la comunidad hacia actuaciones de autorrevisión; rentabilizar la reflexión de los profesionales sobre su actuación y el marco organizativo donde ésta se desarrolla; analizar el funciona-miento de una institución educativa a través del diagnóstico de los aspectos positivos y negativos que retroalimentan la acción en el centro; facilitar una revisión global del centro que informe el nivel de aceptación de su funcionamiento y resultados y la elaboración de un dictamen o informe que contemple las propuestas de mejora así co-mo su orden de prioridad.

En el marco metodológico del Modelo se distinguen cuatro niveles de ex-tensión conceptual: área o macrovariables (grandes elementos que conforman el sistema ), subárea (precisión de las áreas), variable (aspectos de cada área sus-ceptibles de valoración en la Escala) e indicador de valoración (juicios o criterios de apreciación). El Modelo aborda la construcción del conocimiento a partir de un número determinado de variables cuya cuantificación se da en función del tipo de centro de que se trate (colegio de educación primaria, secundaria, etcétera). La naturaleza de las variables está relacionada con los aspectos correspondientes a los ámbitos de entrada, procesuales y finales que determinan la formulación de estrategias de mejora.

En consonancia con los objetivos, el proceso para generar conocimiento sobre la propia comunidad exige de un esfuerzo colaborativo en la realización de ciertas actividades en función de determinados criterios, como son: INFORMARSE acerca de los elementos materiales de la infraestructura; REFLEXIONAR sobre los elementos personales en función de diversos factores; ANALIZAR el clima (aula e institucional); CRITICAR conductas de diversos órga-nos (gobierno, coordinación, orientación); para después DECIDIR acerca de la planificación curricular y su evaluación así como las normas relativas al régimen interno de la organización, su nivel de apertura; y APLICAR su gestión económica y el grado de compromiso en la asunción de sus funciones.


42

Construidas las Escalas, el siguiente paso es hallar indicadores que la dota-ran de una validez (didáctica, predictiva, concurrente, de contenido) y fiabilidad rigurosas; cumpliendo con tal exigencia mediante el empleo de diversos métodos y técnicas así como de recabar la opinión de expertos. Cabe mencionar que la Escala de Evaluación Diagnóstica no ha de ser el único instrumento para desarro-llar un proceso de autoevaluación en y de los centros docentes, asimismo se requiere recurrir a técnicas diferentes y complementarse mediante instru-mentos distintos como son: cuestionarios (abiertos, cerrados, mixtos), escalas de valoración ad-hoc (gráficas o descriptivas, numéricas o verbales), listas de control, test, sociogramas, etcétera; todos ellos utilizados en función de las necesidades de cada centro, así como de la naturaleza y especificidad de un proceso de valo-ración concreto, específico.

IV. MODELO IDEAL DE EVALUACIÓN INSTITUCIONAL

Carmen Carrión Carranza, investigadora de CISE-UNAM (1984), propone una ti-pología de evaluación institucional muy interesante, en la que considera categorí-as de evaluación que denotan las clases de propósitos, sujeto, objeto, tiempo, espacio, efectos y tipos de resultados de evaluación, así como las metodologías susceptibles de empleo para los estudios de evaluación educativa. En ésta se muestra una progresión conceptual que va desde una evaluación meramente ins-trumental tecnicista, hasta el tipo ideal de autocrítica institucional propuesta como base de autotransformación de las funciones sustantivas de la institución. De hecho, los tipos de evaluación consignados hasta ahora en la literatura existente en el campo de la educación, demuestran que las modalidades presen-tadas en esta tipología pueden ser conceptualmente contrarias u opuestas, pero que en la práctica pueden ser complementarias entre sí; por ejemplo, una evalua-ción puede llevarse a cabo mediante una metodología formal, y apoyarse también en datos anecdóticos. Presenta como categorías las siguientes: 1) El ORIGEN de las evaluaciones identifica a la estructura social que tiene la voluntad de evaluar una entidad educativa y promueve, establece, controla o impone estudios de evaluación. Por su origen las evaluaciones pueden ser exter-nas a la institución; por norma o política de la administración institucional; o por consenso de la comunidad universitaria. 2) Los PROPÓSITOS de la evaluación muestran la intención tácita o explí-cita de la valoración académica. Pueden definirse para certificar conocimientos; para justificar una acción del programa o proyecto académico o puede tener la finalidad de sustentar teórica u operativamente la transformación de los fenó-menos educativos. 3) La METODOLOGÍA explica el modo de realizar un estudio evaluativo, su organización, procedimientos e instrumentos utilizados. El proceso puede ser anecdótico cuando a los hechos se les valora por el sentido común o según la relación de acontecimientos; en este caso la credibilidad del juicio emitido está en relación directa con la imagen personal del relator. Puede ser informal, cuando no existe un protocolo de procedimientos, y se utilizan algunos instrumentos para


43

recabar la información acerca del fenómeno educativo que se valora. En este ca-so se supone que la propia información contiene implícita la valoración. La meto-dología formal desarrolla un protocolo para la evaluación y organiza tanto los pro-cedimientos como los instrumentos y resultados conforme a un programa general o una estrategia de acción académica.

4) El AGENTE de evaluación es la entidad que ejecuta e instrumenta la evaluación. Puede ser una agencia o grupo externos a la comunidad universitaria, lo cual se expresa en la literatura educativa como heteroevaluación, o bien pue-de ser la misma comunidad universitaria la que valore su actividad y diseñe y or-ganice las actividades y estudios correspondientes, modalidad que es indicada o señalada como autoevaluación.

5) El TIEMPO de evaluación define los momentos en los cuales una institu-ción decide realizar una valoración. La modalidad reactiva, se da para la inmedia-ta justificación de actividades o ante la inminencia de algún conflicto institucional; puede ser intermitente cuando ya se ha establecido un patrón de evaluación ca-da determinado tiempo; permanente, cuando la autocrítica y valoración está im-plícita en las actividades cotidianas de la institución.

6) Los PARÁMETROS de evaluación son los puntos de referencia prede-terminados con los cuales se comparan los resultados de la actividad a fin de de-terminar su valor. Pueden ser: normas estándares, aceptadas como criterio ve-raz e incontrovertible de lo que debe ser la institución. La norma se obtiene a partir del comportamiento más frecuente de la entidad evaluada de acuerdo a análisis estadísticos. Los parámetros pueden ser también objetivos cualitativos o metas cuantificables establecidos con anterioridad y que deben ser alcanzados por la identidad en cuestión; otros tipos de parámetros son los creados y desarrollados por los propios actores de la entidad o institución educativa evaluada, en los cua-les se ponderan tanto variables contextuales como de la dinámica académica.

7) La APLICACIÓN de instrumentos de evaluación puede hacerse en obje-tos particulares del quehacer educativo institucional (curriculum, aprovechamien-to escolar, administración, etcétera); pueden aplicarse también a sectores (de-pendencias agrupadas según actividades comunes). En ambos casos, los resulta-dos obtenidos tienden a calificar, de manera automática, a toda la institución. Por último, la evaluación es global cuando se consideran todos los aspectos involu-crados en la naturaleza de la institución y se considera a la universidad como un todo organizado y coherente.

8) Los EFECTOS educativos que pueden evaluarse pueden ser internos, externos o mixtos; éste último se considera cuando el centro educativo pretende desarrollarse en cuando menos dos dimensiones: una, el de su propia transfor-mación, probando ser campo de experimentación de usos sociales renovadores, y otra, la de su injerencia en la transformación social misma.

9) Los tipos de ANÁLISIS en los estudios de evaluación pueden ser des-criptivos, generalmente en forma de análisis estadísticos; explicativos, en donde simplemente se establecen relaciones causales sobre las variables que afectan la


44

entidad evaluada y por último puede realizarse un análisis valorativo de los resul-tados, es decir, se emiten juicios críticos acerca de la entidad estudiada.

En esta tipología particularmente se destaca la concepción del modelo ideal que llega a integrar las prácticas actuales y las transforma; como se muestra en el esquema 2. 9

Este modelo nos lleva a pensar en la autoevaluación institucional como un proceso, como un medio para mejorar los centros educativos; entendiendo la au-toevaluación institucional como un modelo de evaluación que se inicia en el centro educativo, se realiza por los profesionales que actúan en él y tiene como propósito el comprender y mejorar la práctica educativa; constituyendo por tanto el instru-mento que hace realidad la unión o enlace de los proceso de evaluación, innova-ción y profesionalidad10; resultado de una actitud positiva de los implicados hacia una reflexión permanente y compartida sobre la acción educativa, como un medio para conocer la realidad y transformarla.

Esquema 2. Modelo ideal.

9 Carmen Carrión Carranza. “Génesis y desarrollo de la evaluación institucional”. Perfiles Educativos No. 6 CISE-UNAM

Julio-Septiembre, 1984, p. 47 10 J. Gairín Sallán. “La autoevaluación institucional como vía para mejorar los centros educativos”. Bordón, Vol. 45 No. 3

1993, p. 335

MODELO IDEAL:

ORIGEN: Consensual PROPÓSITO: Transformación METODOLOGÍA: Formal EJECUCIÓN: Autoevaluación TEMPORALIDAD: Permanente

PARAMETRIZACIÓN: Contextuales Autogenerados

OBJETOS Global EFECTOS: Mixtos TIPO DE ANÁLISIS: Valorativo


45

V. CONCLUSIONES

Finalmente, se puede acotar que la opción ideal de autoevaluación, que en su proceso de desarrollo integra las prácticas actuales y las transforma, tiene ciertas condiciones para su concreción:

En primer lugar, la comunidad institucional debe tener un proceso de apro-piación del conocimiento de la materia, es decir, conocer ampliamente acerca del desarrollo, la aplicación, los alcances y limitaciones de las técnicas de evaluación, ya que ha sido frecuente, que las prácticas evaluativas, por las condiciones de instrumentación (entre otros aspectos), se conviertan en ejercicios restringidos tanto en su objeto como en sus resultados. Por otro lado, en el extremo, también se da el caso de proyectos de evaluación muy ambiciosos que en su diseño y planteamiento no consideran las estrategias políticas y técnicas indispensables para llevarlos a cabo con éxito.

En segundo lugar, se debe desarrollar un ideario educativo, donde se plasme la concepción filosófico-pedagógica de la institución, esto es la visión, la misión, la filosofía y valores, la cultura de trabajo, así como las estrategias y ac-ciones tácticas. La posibilidad de una forma particular propia de evaluación, está dada por la clarificación idiosincrásica. De hecho, todo evaluador tiene categorías axiológicas con las cuales califica las relaciones educativas; no obstante, la dife-rencia entre la situación o el estado actual de la evaluación, la evaluación oculta, y el de una evaluación participativa está marcada por el grado de claridad axiológi-ca, aspecto que normalmente se deja a un lado. Ambas condiciones deben coin-cidir, deben hacerse compatibles.

Documents

autoevaluacion2002-2