de Diplomado Virtual Sustentabilidad - uv.mx · necesario para fundamentar una concepción de la evaluación no como un fin en sí misma, ni como forma de control, sino como un medio

Universidad Autónoma de San Luis Potosí Diplomado Virtual en Diseño de Proyectos de Educación Ambiental y para la Sustentabilidad

i

est


ii

D I R E C T O R I O Lic. Mario García Valdez, Rector de la UASLP Arq. Manuel Fermín Villar Rubio, Secretario General de la UASLP M.C. Luz María Nieto Caraveo, Secretaria Académica de la UASLP y Coordinadora General del Diplomado Dr. Pedro Medellín Milán, Coordinador de la Agenda Ambiental UASLP y Presidente de la ANEA, A.C. LCE. Mariana Buendía Oliva, Coordinadora Académica del Diplomado TUTORES M.C. Ana María Aguirre Valdez (Universidad Autónoma de Coahuila). Ing. Claudia Cano Ventura (UASLP). APOYO TÉCNICO Y GRÁFICO Ing. Edgar Pérez García, Coordinador de cómputo y sitios web; LDG Cinthya Elisa de la O Ruíz, Diseño Gráfico; LDG Luz María Hernández Nieto, Apoyo técnico y asesoría en comunicación web. ASESORES Dra. Alicia de Alba Ceballos, Investigadora del IISUE‐UNAM; Dr. Edgar González Gaudiano, Investigador del Instituto de Investigaciones Sociales de la Universidad Autónoma de Nuevo León; Dr. Felipe Reyes Escutia, Profesor de la Universidad de Ciencias y Artes de Chiapas; Dr. Javier Reyes Ruiz, Profesor de la Maestría en Educación Ambiental de la Universidad de Guadalajara; Mtra. María Teresa Bravo Mercado, Presidenta de la ANEA, A.C. e Investigadora del IISUE‐UNAM; Mtra. Rosa María Romero Cuevas, Coordinadora de la Maestría en Educación Ambiental de la Universidad de la Ciudad de México; Dra. Shafía Súcar Súccar, Coordinadora del Programa Institucional de Medio Ambiente de la Universidad de Guanajuato; Mtro. Víctor Bedoy Velásquez, Profesor de la Maestría en Educación Ambiental de la Universidad de Guadalajara Todos los asesores son integrantes de la Academia Nacional de Educación Ambiental, A.C. http://anea.org.mx. Sus semblanzas curriculares se encuentran en: http://anea.org.mx/Integrantes.htm

© 2008‐2009 Derechos Reservados por la Universidad Autónoma de San Luis Potosí (UASLP) México. http://www.uaslp.mx Este documento forma parte de los materiales de apoyo y lecturas del diplomado “Diseño de Proyectos de Educación Ambiental y para la Sustentabilidad" organizado por la Universidad Autónoma de San Luis Potosí (México) en colaboración con la Academia Nacional de Educación Ambiental, A.C. Los materiales y lecturas se distribuyen exclusivamente entre los participantes del proyecto, con propósitos educativos y con la autorización explícita de sus autores y editores. Tanto la UASLP como los autores conservan sus derechos debidamente protegidos por las leyes mexicanas y las de los países que correspondan. Los textos se pueden citar parcialmente en otras publicaciones si se hace la referencia completa a su origen. Los textos no se deben distribuir ni publicar en forma electrónica o impresa sin autorización de los autores y/o editores. La UASLP no se hace responsable de los usos no autorizados de este material. Con base en los principios universitarios de libertad de cátedra, así como de examen y discusión de las ideas, las opiniones e información presentada en los materiales de este proyecto no son responsabilidad de la Universidad Autónoma de San Luis Potosí, ni reflejan una posición institucional. Para más información, se recomienda visitar la página web: http.//eas.uaslp.mx


iii

"En resumen, la evaluación persuade más que convence,

argumenta más que demuestra, es más creíble que cierta,

la aceptación que suscita es más variable que necesaria. Esto no significa que se reduzca a mera oratoria

o que sea completamente arbitraria. El hecho de que no se limite al razonamiento deductivo o inductivo no

supone que sea irracional. La racionalidad no equivale a la lógica.

La evaluación emplea otras formas de razonamiento. Eliminada la certeza,

las posibilidades de una acción informada aumentan, en vez de disminuir"

ERNETS R. HOUSE, 1997


iv

Índice

Introducción .................................................................................................................................. 1

1.Tendencias en evaluación educativa ........................................................................................ 2

1.1. Enfoques y propósitos de la evaluación ................................................................ 2 1.2. Tipos y ámbitos de la evaluación ........................................................................... 5 1.3. Pero... ¿qué es la evaluación? ¿Cómo se hace? ...................................................... 7

2. ¿Porqué no puede existir una metodología única de evaluación de la EA? ........................ 10

2.1. La diversidad de modalidades y estilos de EA ...................................................... 10 2.2. Cómo diseñar nuestra propia metodología ......................................................... 10 Ejemplo a: ¿Les damos más dinero? ............................................................................. 11 Ejemplo b: ¿Qué tanto saben nuestros líderes? ......................................................... 12

3. ¿Qué evaluar? El objeto de evaluación en la educación ambiental .................................... 13

3.1. Conceptualización ................................................................................................. 13 3.2. Los propósitos y el enfoque ................................................................................. 13 3.3. Los ámbitos de la evaluación................................................................................ 13 3.4. Los referentes y los valores .................................................................................. 15 3.5. Los criterios y estándares ..................................................................................... 15 3.6. Los indicadores ..................................................................................................... 15 Ejemplos de principios y referentes para la educación ambiental ............................ 16

4. ¿Cómo evaluar? El proceso de evaluación en la educación Ambiental ............................... 18

4.1. La participación ..................................................................................................... 19 4.2. Estrategias generales para la obtención de información .................................. 20 4.3. La investigación ................................................................................................... 20 4.4. La deliberación ..................................................................................................... 20 4.5 Análisis de datos .................................................................................................... 21 4.6 Características de los informes ............................................................................. 22

Referencias ................................................................................................................................. 23


1

Introducción La Educación Ambiental (EA) es una actividad todavía incipiente en nuestro entorno, pero no cabe duda de que ha crecido en los últimos años. Cada vez con mayor frecuencia nos encontramos interesantes experiencias bajo muy diversas modalidades y estilos. Esto sucede tanto fuera como dentro de los espacios escolarizados, y en muy variados sectores: el gobierno, la academia, la sociedad civil organizada, las empresas, etc. Sin embargo, muy pocas veces existen recuentos de los alcances y logros de la EA, de sus limitaciones y dificultades, que nos permitan aprender de esas experiencias y con ello tener un punto de partida más sólido para experiencias ulteriores. Por eso es importante la evaluación de la EA, un tema del que también se habla cada vez más. Pero hay por lo menos otra razón: la importancia de pensar en la evaluación desde la concepción misma de un proyecto o programa de educación ambiental. Pensar en la evaluación significa pensar en los principios, pautas o criterios que orientarán un proyecto determinado desde el inicio, y que servirán para analizar sus avances sobre la marcha y también "al final". Esto requiere, además, pensar en el grado de responsabilidad que tendrán que asumir los actores involucrados. En síntesis, pensar en la evaluación significa pensar en la calidad de un proyecto de EA y la manera de construirla. En esta guía, el propósito es plantear algunos elementos conceptuales y un modelo general para la evaluación de programas y proyectos de EA, esperando contribuir un poco a la reflexión sobre este tema. Definitivamente no podemos llamarle metodología, porque como veremos más adelante, cada caso en particular requerirá del diseño de una metodología específica. La primera parte está dirigida a uno de los referentes obligados en el tema que nos ocupa: el de la evaluación educativa. Apuntaremos sólo algunos elementos básicos, lo estrictamente necesario para fundamentar una concepción de la evaluación no como un fin en sí misma, ni como forma de control, sino como un medio que contribuye a la construcción de cada vez mejores experiencias que pueden ser compartidas con otros. Analizaremos las tendencias más recientes en el campo de la evaluación educativa, así como las variantes y ámbitos en que ésta se aplica, para concluir con una breve reflexión sobre los elementos básicos de la formulación de un juicio de valor, que es el fundamento de la evaluación. De la segunda parte en adelante se presentan los principales elementos propuestos para la evaluación de proyectos y programas de EA, entendida como un ciclo continuo que tiene dos grandes componentes: el objeto y el proceso de la evaluación.


2

1.Tendencias en evaluación educativa 1.1. Enfoques y propósitos de la evaluación La evaluación como objeto de estudio de las ciencias educativas comenzó a consolidarse a principios de la década de los 60's, cuando se conformó como un campo institucional‐profesional con un acervo conceptual y metodológico propio en los Estados Unidos. Sin embargo, este acervo no permaneció estático ni se mantuvo aislado de los cambios políticos y económicos de ese país y del mundo, de manera que en la actualidad, han cambiado mucho los supuestos y conceptos básicos de los que se parte en evaluación, y también los enfoques metodológicos. Ernest HOUSE1 explica de una manera muy clara los cambios que ha habido en estas décadas y las tendencias actuales. HOUSE explica cómo, en el contexto de la postguerra en los Estados Unidos desde finales de los 50's, se fortaleció un enfoque monolítico de evaluación educativa, en donde las tareas centrales eran el diseño y aplicación de instrumentos tipo test o encuestas, que tenían como propósito de evaluar el cumplimiento de los objetivos educativos. Las teorías derivadas de la psicología conductista y de la sociología funcionalista ofrecían un marco de cientificidad muy apropiado para este tipo de evaluación. Los proyectos de innovación (curricular, pedagógica, didáctica) se establecían bajo una metodología experimental. El "deber ser" o criterio de referencia era tomado de los objetivos formales de la educación, muy poco cuestionados debido a que en general prevalecía una especie de consenso político y social sobre lo que los Estados Unidos buscaban como nación. Se partía de que los objetivos de la escuela representaban eficazmente los objetivos de la sociedad. Lo que se buscaba era el progreso. En resumen, varias cuestiones sobresalen de este periodo, a saber:

• Valores de referencia basados en objetivos formales. • Orientación instrumental (test o encuestas, experimentos de innovación). • Pretensión de neutralidad política y objetividad técnica. • Dominancia de métodos cuantitativos. • Aceptación automática de la evaluación, como resultado de todo lo anterior. • Preocupación dominante: el control.

A finales de los 60's las cosas comenzaron a cambiar, porque en todo el mundo occidental fue quedando en evidencia que la educación escolarizada no estaba satisfaciendo las expectativas sociales, económicas y políticas que se habían depositado en ella. Varios movimientos sociales, preponderantemente intelectuales y estudiantiles, provocaron cuestionamientos de fondo a la educación. Así en forma aparentemente contradictoria, mientras la evaluación educativa se constituía en un campo profesional muy bien remunerado en la década de los 70's, cada vez más se dudaba

1 HOUSE E. R. (1992) Tendencias en evaluación, en: Revista de Educación No. 299, Septiembre‐diciembre 1992,

Ministerio de Educación y Ciencia, España, 416p. (pp. 43‐55)


3

de sus beneficios. Ya no solamente psicólogos, sino también administradores y sociólogos se organizaban para prestar servicios de consultoría externa. Pero los diversos sectores reclamaba que con frecuencia los resultados de la evaluación no se utilizaban para tomar decisiones o se utilizaban mal (con propósitos diferentes a los originales). Comenzaron los conflictos entre los objetivos formales de la educación y los objetivos de diferentes grupos (familias, comunidades) y sectores (económicos, tecnológicos, religiosos, raciales, legislativos). HOUSE interpreta estos cuestionamientos y conflictos como efectos de una ruptura ideológico‐social de corte más amplio: la ruptura del consenso neoliberal o del continuo bienestar que se dió en los Estados Unidos pero también en el resto del mundo occidental. Bajo la administración de Reagan, con los recortes al gasto social, cobraron fuerza las agencias evaluadoras estatales. Se creó así una burocracia evaluadora, que dio un nuevo empuje a los test. Nuevamente se generaron problemas de credibilidad en los EEUU. Pero el pensamiento sobre la evaluación educativa en Inglaterra y Australia era completamente diferente, alimentado por las reflexiones críticas mencionadas. En ese contexto, durante la década de los 80's el campo de la evaluación educativa comenzó a dar cabida a grandes debates y a enfoques más diversificados, aunque como suele suceder, éstos últimos no sustituyeron a los dominantes. Los debates clave que cobraron fuerza desde entonces son:

EVALUACIÓN

Producto Proceso

Perspect iva interior

Perspect iva exterior

De arriba abajoSólo acepta datos sólidosComprobación

Rendición decuentas profesional

Profesionalización

Evaluación sumativaIndicadores rendimiento

Educador comopracticante formado

Evaluación formativa yflexible

BuscaComprensión

AceptaIntuiciones

Burocracia

Cumplimiento deobjetivosadministrativos

Insumo paraPlanificación

Educador comoprofesional reflexivo

Buscaconsenso

Valorescolectivos

Buscaesclarecimiento

Compromisoevaluación

interna

Autoevaluación

Supervisión

Rendición decuentas contractual

Tecnocracia

Educadorcomo instrumento

Educador comoempleado

Figura No. 1: Conclusiones del Consejo de Europa, adaptado de Tyler (1992)


4

• Los métodos: cuantitativos vs. cualitativos • El grado de implicación del evaluador: responsabilidad vs no implicación • El origen de los objetivos y de los valores de referencia • El grado de participación de los afectados

A finales de los 90's, el campo de la reflexión en evaluación educativa albergaba múltiples modalidades, concepciones y enfoques. La visión de los 70's ya no domina todo el campo, pero sigue siendo un enfoque importante dentro de él. En síntesis, el campo de la evaluación educativa en los 90's se caracterizó por:

• Valores de referencia sujetos a discusión permanentemente • Orientación comprensiva o interpretativa • Reconocimiento de las implicaciones tecno‐políticas de la evaluación • Mezcla de métodos cuantitativos y cualitativos • Cuestionamiento de los resultados de la evaluación • Mayor preocupación por el mejoramiento real.

TYLER2 presenta un esquema del panorama de la evaluación educativa a finales de los 80's, elaborado por el Consejo de Europa, un grupo de expertos en evaluación educativa que se reunión en 1988 justamente para analizar las tendencias dominantes en ese momento. Ese esquema se presenta con algunas modificaciones en la Figura No. 1, que básicamente nos muestra dos grandes enfoques, ninguno de los cuales prevalece sobre el otro, en torno a las dos preocupaciones básicas de la evaluación: el control o el crecimiento (mejoramiento). Una de las cuestiones que sobresale es la necesidad de no asociar automáticamente la evaluación externa con la preocupación por el control, ni la evaluación interna con la preocupación por el mejoramiento, como suele suceder. El esquema muestra cómo a partir de esas dos preocupaciones se generan cuatro propósitos, tanto desde la perspectiva de la evaluación externa como la interna. Las diversas modalidades de evaluación existentes en la actualidad, que veremos en más adelante, pueden ubicarse en el cuadro en función de su grado de afinidad con estos propósitos y preocupaciones básicos. Es obvio que esta figura es una representación demasiado esquemática de la diversidad de concepciones que coexisten en el campo de la evaluación, no sin conflictos conceptuales, metodológicos y hasta político‐administrativos; pero resulta muy útil para explicar la perspectiva que se asume en el «modelo» que se detalla más adelante, y que en general es a fin con los planteamientos del lado derecho de dicho esquema. Es decir, la propuesta centra su preocupación en el mejoramiento de los programas y proyectos de EA. Visto desde afuera de un programa o proyecto (evaluación externa), la evaluación buscaría comprender la realidad de un proyecto de EA y ubicarlo en su contexto. Desde adentro (evaluación interna), la evaluación buscaría generar consensos en torno a los valores que sirven como referencia, al proceso de

2 TILLER T. (1992) La evaluación en un sistema educativo descentralizado ¿Dónde nos encontramos? ¿Hacia dónde

nos dirigimos?, en: Revista de Educación No. 299, Septiembre‐diciembre 1992, Ministerio de Educación y Ciencia, España, 416p. (pp. 81‐9 )


5

evaluación y a las decisiones que se derivan de éste, como un medio para que realmente dicha mejora tenga posibilidades de llevarse a cabo. 1.2. Tipos y ámbitos de la evaluación Los tipos de evaluación educativa desde los 90's se han diversificado enormemente. Solamente para la educación superior en México, por ejemplo, existen por lo menos 14 modalidades de evaluación, algunas ligadas directamente al financiamiento y otras no. Las primeras van desde la evaluación del personal académico para efectos de otorgar estímulos económicos, hasta la evaluación de programas de posgrado para el otorgamiento de becas y apoyos a la infraestructura vía CONACyT. Entre los segundos se encuentra la evaluación externa tipo CIEES3 y la acreditación que lleva a cabo el CACEI4. Pero como ya sabemos, esto no sucede solamente en México, sino que forma parte de una tendencia que se agudizó en el mundo occidental desde los 80's, como parte del modelo económico neoliberal y de los procesos de globalización productiva, tecnológica y cultural que estamos viviendo5. KELLS6 presenta un cuadro que en cierto modo resume las principales características de los tipos de evaluación de la educación superior que se utilizan en la actualidad en América y Europa (Cuadro No. 1). Este cuadro presenta una clara diferenciación entre: 3 Comités Interinstitucionales para la Evaluación de la Educación Superior (SEP‐ANUIES). 4 Consejo de Acreditación y Certificación de la Enseñanza en Ingeniería, A.C. 5 Una reflexión un poco más amplia de lo anterior puede encontrarse en: NIETO‐CARAVEO L.M. (1999A) Rendir

cuentas. La evaluación de la educación superior, en: Pulso, Diario de San Luis, Sección Ideas, pág. 4ª, 11 de febrero de 1999. Sin embargo, para un tratamiento más especializado ver: DÍAZ‐BARRIGA A. (1993) La evaluación universitaria en el contexto del pensamiento neo‐liberal, en: Revista de la Educación Superior No. 88 oct‐dic 1993, ANUIES; México, 180p. (pp. 81‐101).

6 KELLS H.R. (1995) Self Study Processes. A Guide to Self‐Evaluation in Higher Education, American Council on Education, Series on Higher Education, Oryx Press, Fourth Edition, USA, 192p. (pp. 28‐41 y 66‐99)

CUADRO NO. 1: EVALUACIÓN DE LA EDUCACIÓN SUPERIOR EN EL MUNDO (ADAPTADO DE KELLS, 1995)

ATRIBUTO PRIMARIO

E S P E C T R O

Propósito del proceso

Mejoramiento Aseguramiento de la calidad al público

Metas específicas: • Recursos • Decisiones

Promotor o iniciador

Instituciones individuales

Instituciones en grupos

Asociaciones independientes

Gobierno

Referente para los juicios

Intenciones declaradas

Opiniones de pares

Normas específicas Comparaciones

Ámbito o unidad de análisis

Instituciones completas

Asuntos amplios

Programas Grupos Individuos

Todos los aspectos

Tipos más importantes

Auto‐evaluación Revisión de pares Acreditación Diagnósticos institucionales

Tendencias generales

América (Canadá, EEUU, América Latina)

Europa Continental

Reino Unido


6

• los ámbitos de la evaluación, que se refieren básicamente a la unidad de análisis que se selecciona, y

• los tipos de evaluación, que se refieren a cuestiones metodológicas y al grado de involucramiento de los evaluadores.

En términos generales los ámbitos que puede abarcar la evaluación de la educación, pensando sobre todo en los sistemas escolares, son los siguientes: 1) Los estudiantes y el aprendizaje. 2) Los profesores y la enseñanza. 3) Los programas (currículum7 de licenciatura o posgrado,

áreas de investigación, etc.). 4) Las instituciones en su conjunto. 5) Los sistemas y subsistemas en su conjunto.

El Cuadro No. 2 presenta los grandes tipos de evaluación educativa según algunas de sus características más importantes. Evidentemente puede haber diversas combinaciones de éstas.

7 En su sentido amplio, que incluye no solamente los componentes formales (plan de estudios) sin también el

conjunto de estructuras institucionales y recursos que se ponen en juego para su realización.

CUADRO NO. 2: TIPOS DE EVALUACIÓN EDUCATIVA

Tipo Tipo de actores que llevan a cabo la evaluación

Según grado de involucramiento de los actores

Autoevaluación Personas o grupos que participan en un proyecto o programa educativo

Evaluación interna

Personas o grupos que pertenecen a la misma institución o programa educativo, pero no necesariamente están involucrados en él.

Evaluación externa

Es la evaluación llevada a cabo por actores ajenos al programa, proyecto o institución educativa. Cuando se lleva a cabo por personas de igual rango o posición a las que se encuentran dentro del programa evaluado se habla de "evaluación de pares".

Según propósitos de la evaluación

Diagnóstica Detectar problemas para tomar decisiones orientadas a su solución.

Acreditación y reconocimiento

Verificar criterios mínimos y ofrecer reconocimiento público. Generalmente es externa.

Financiera Fundamentar decisiones sobre la distribución de recursos económicos que se asignan a un proyecto.

Metaevaluación Evaluar la evaluación.


7

1.3. Pero... ¿qué es la evaluación? ¿Cómo se hace? Es el momento de detenernos un poco a analizar, en un plano un poco más profundo, qué es esto de la evaluación. Ernest HOUSE, a quien ya mencionamos, ha estudiado mucho este tema. En uno de sus libros más recientes8 lo explica así:

“En su sentido más sencillo, la evaluación conduce a una opinión fundada de que algo es de un cierto modo. No tiene porqué llevar a una decisión respecto a una determinada forma de actuar, aunque hoy en día a menudo pretende tal cosa. Podemos valorar a César como un gran general sin que de ello se derive ninguna decisión. La evaluación aboca a un juicio acerca del valor de algo. Con frecuencia se llega a tal juicio mediante la calificación o clasificación de algo según cumpla mejor o peor un conjunto de normas o criterios. La evaluación es comparativa por naturaleza y suele presentarse explícitamente como tal (...) Por tanto, la evaluación supone, por naturaleza, adoptar un conjunto de normas, definirlas, especificar la clase de comparación y deducir en qué grado el objeto satisface las normas.”

Quien participa en una evaluación debe estar muy consciente de que la evaluación tiene importantes dimensiones éticas y políticas pero también técnicas. ¿Porqué?

• La dimensión ética proviene del hecho de que los criterios, pautas, principios o normas tienen como fundamento una determinada concepción sobre el "deber ser" de algo, de lo que es bueno o deseable.

• La dimensión política se encuentra en el hecho de que ese "deber ser" refleja las

aspiraciones de una sociedad, de un grupo o un sector específico, aspiraciones que tienen la pretensión de ser haber sido legítimamente instituidas. Además, según sus propósitos y cómo se lleven a cabo, los procesos de evaluación pueden contribuir a concentrar o distribuir el poder.

• La dimensión técnica se deriva de la necesidad de acercarnos a la realidad mediante

ciertos procedimientos e instrumentos. El "deber ser" casi siempre requiere llevarse a un grado más operativo y observable que el de los criterios y normas, en cuyo caso se habla de estándares. Tanto los criterios como los estándares son una guía para poder sistematizar y aclarar nuestras percepciones de una realidad específica.

Tenemos dos grandes componentes de la evaluación: el objeto9 como tal (¿qué evaluar?), y el proceso para llevarla a cabo (¿cómo evaluar?). Existen propuestas de evaluación que eluden por completo el problema de la definición del objeto, al grado de que lo dan por hecho o lo llevan implícito, y se dirigen exclusivamente a cuestiones procedimentales, como si los consensos sobre el "deber ser" ya existieran. Afortunadamente, tanto en educación superior como en educación ambiental existe una amplia discusión sobre su "deber ser", de la que podemos echar mano para recuperar la reflexión sobre el objeto. 8 HOUSE E.R. (1997) Evaluación, ética y poder, Colección Pedagogía, Ed. Morata, España, 271p. (p. 20) 9 Más adelante abordaré este punto con más detalle, pero es importante aclarar que no estoy utilizando la palabra

"objeto" como sinónimo de "objetivo".


8

Más adelante regresaremos sobre todos estos puntos, pero por lo pronto es necesario aclarar que cuando el propósito de la evaluación es el mejoramiento, la evaluación sólo tiene sentido si se lleva a cabo en ciclos continuos, sobre todo en programas y proyectos educativos de largo plazo (una licenciatura, un zoológico, un campamento, etc.). Desde esta perspectiva, la evaluación es una actividad siempre perfectible, y por lo tanto, debe incluirse a sí misma como parte del objeto de evaluación. Por ejemplo: en un primer ejercicio de evaluación, alguien puede concluir que no tiene suficiente información para tomar decisiones en torno a un problema particular. Si no entendemos la idea de “ciclos continuos” esto podría interpretarse como un fracaso de la evaluación, y no como uno de los problemas detectados. Una de las decisiones emanadas de este primer ciclo, sería la de comenzar a construir la plataforma de información necesaria para el o los siguientes ciclos. En síntesis, la idea es que ejercicios continuos de evaluación permiten ir construyendo una base conceptual, metodológica y técnica, pero también institucional y política para mejorarse a sí mismos sobre la marcha, en forma gradual. Una primera implicación de este enfoque de la evaluación como ciclos continuos, es la siguiente. Los temas de diseño del objeto y de diseño del proceso10 se va a tratar por separado; pero esto no quiere decir que deban considerarse fases distintas, ni que las tareas de diseño se deban considerar como actividades "preparatorias" a la evaluación sin ninguna consecuencia técnica o política ulterior. Por el contrario, es necesario aclarar que:

• Diseño del objeto y diseño del proceso no son fases diferentes, ni se agotan antes de la realización de la evaluación: Es obvio que por algún lugar debemos comenzar y yo recomiendo que sea por el diseño del objeto; pero en algún momento nos comenzaremos a preguntar sobre el proceso, y entonces deberemos entrar en él. Tarde o temprano nos encontraremos con que es necesario modificar, replantear, reorganizar, ajustar (reducir o ampliar) el objeto, en cuyo caso habrá que regresar. Esto sucederá varias veces, hasta que la preocupación de encontrar un momento para «cerrar» el diseño adquiera suficiente importancia. Pasaremos entonces a lo que llamo la "realización" de la evaluación; pero también durante ésta habrá que regresar varias veces sobre el objeto y el proceso diseñados, para ajustarlos. En algún momento habrá que terminar todo este primer ciclo, y volver a comenzar cuando se requiera, tomando en cuenta las deficiencias detectadas y tomando medidas para minimizarlas.

• Diseño del objeto y diseño del proceso son a su vez una parte sustancial del proceso

mismo de evaluación, no son la fase "preparatoria": La evaluación comienza con el diseño11, y no con la recopilación de información, al grado de que me atrevería a decir que si tenemos un buen diseño del objeto y del proceso, tenemos el 50% del trabajo

10 Y a su vez éstas las voy a distinguir propiamente de las actividades de recolección de información y de

formulación de juicios de valor y propuestas, pero esto lo veremos más adelante. 11 Esto significa, por ejemplo, que en un proceso de autoevaluación los actores responsables deben involucrarse

desde el diseño, es decir, desde la selección de los valores de referencia y los procedimientos de trabajo.


9

avanzado. ¿Porqué? Porque al tomar decisiones sobre los criterios de calidad, sobre los métodos para recoger y compartir información, resolveremos muchas de las resistencias naturales hacia la evaluación.

En los siguientes apartados abordaremos el objeto de la evaluación y el proceso, y en cada uno me referiré tanto a la fase de diseño como la de realización de la autoevaluación.


10

2. ¿Porqué no puede existir una metodología única de evaluación de la EA? 2.1. La diversidad de modalidades y estilos de EA Más allá de la clásica diferenciación entre programas formales, no formales e informales, y sin que se trate de un sistema de categorías excluyente, hemos clasificado las diferentes modalidades de EA de la siguiente manera12:

• Interpretación y equipamiento ambiental: son aquellos proyectos que combinan el esparcimiento y la EA, mediante el cuidadoso diseño de espacios y actividades en lugares como museos, parques, zoológicos, campamentos, zonas ecoturísticas, etc.

• Comunicación ambiental: es un concepto acuñado para referirse a la utilización de medios escritos, audiovisuales o electrónicos para transmitir contenidos educativos en materia ambiental a ciertos sectores de la población, e incluye a los medios masivos.

• Promoción del desarrollo comunitario y familiar: son iniciativas dirigidas a comunidades, organizaciones o grupos sociales específicos, que buscan mejorar su capacidad productiva y/o de gestión ciudadana.

• Incorporación de lo ambiental al sistema escolarizado: son esfuerzos para incorporar contenidos ambientales al currículum, a los materiales (por ejemplo libros de texto) y a los métodos de enseñanza de la educación formal, desde la primaria hasta el posgrado.

• Educación continua y a distancia: son iniciativas que ofrecen oportunidades de actualización profesional, capacitación técnica o formación general para jóvenes y adultos que por cuestiones de trabajo no pueden acudir a una institución educativa en forma presencial.

• Escuelas "ecológicas" o "verdes": son proyectos basados en instituciones que buscan tener un funcionamiento ambiental. Abordan cuestiones como la eficientización de la energía, la revegetación, la disposición correcta de los desechos, y con un cierto énfasis, la reutilización y el reciclamiento de papel.

Ante esta diversidad, uno de los principios básicos de los que tenemos que partir es el de que no existe una metodología única para la evaluación de la EA. Mucho menos es posible obtener valores de referencia aplicables a todos ellos, ni encontrar recetas sobre técnicas o instrumentos para llevarla a cabo. 2.2. Cómo diseñar nuestra propia metodología El modelo consiste en que cada grupo o institución genere su propia metodología de evaluación y la aplique, mejore y evalúe sobre la marcha, a través de los ciclos continuos de los que ya hablé. Los tres componentes básicos de este modelo serían: 1) El diseño del objeto, que consiste básicamente en responder a las siguientes preguntas:

• ¿Cuál es el propósito de la evaluación? • ¿Cuál es el enfoque previsto? • ¿Cuál es el ámbito que abarcará?

12 NIETO‐CARAVEO L.M. (1998A) ¿Qué tipo de EA queremos?, en: en: Pulso, Diario de San Luis, Sección Ideas,

pág. 4A, 24 de septiembre de 1998


11

• ¿Cuáles son los valores de referencia que se utilizarán? 2) El diseño del proceso, que por su parte debe responder a las siguientes:

• ¿Quiénes deben participar en todo el proceso? • ¿Qué tipo de información se requiere para los valores de referencia

seleccionados? • ¿Cuáles son las fuentes de esa información? • ¿Qué estrategias de investigación y deliberación se utilizarán? • ¿Qué técnicas se aplicarán? • ¿Qué recursos (físicos, financieros, tiempo) se requieren?

3) La realización de todo lo anterior, lo que incluye su continuo ajuste, redefinición y

formalización por escrito.

Una cuestión que debo aclarar por lo pronto, es que no estoy proponiendo llevar a cabo una evaluación voluntarista, ingenua o poco documentada. Es evidente que cada una de las actividades propuestas requiere documentación y asesoría, así como apoyo técnico y político. Existen experiencias muy concretas que vale la pena comentar sobre todo porque sus propósitos, enfoque y metodología muestran esta gran especificidad de la evaluación. Lo iremos haciendo a lo largo de los siguientes apartados, pero por ahora presentaré dos ejemplos para ilustrar algunos de los conceptos manejados hasta el momento.

Ejemplo a: ¿Les damos más dinero? Una fundación que otorga financiamiento a proyectos de educación ambiental puede estar interesada en evaluar una experiencia particular para decidir si renueva su apoyo. El objetivo está muy claro: tomar una decisión sobre el financiamiento. El ámbito es el de todo el proyecto en su conjunto. Sin embargo, el enfoque puede variar. El enfoque clásico es pedir un reporte de resultados en función de los objetivos planteados originalmente, y enseguida enviar un evaluador a verificar su cumplimiento, in situ. En este caso, los valores de referencia son los objetivos mismos de proyecto. Si los objetivos estaban expresados en términos de aprendizajes, se tratará de medirlos. Si estaban expresados en términos de cambios de comportamiento individual o social, se tratará de constatarlos. Finalmente el evaluador emite un dictamen y propondrá una decisión. El grado de involucramiento de los responsables del proyecto se reduce a aportar información, quizás vía cuestionarios o entrevistas. Un enfoque alternativo sería solicitar una autoevaluación que incluya no sólo los resultados buscados y no buscados, sino también el cumplimiento de otros criterios externos (por ejemplo, de la misma fundación, o de acuerdos internacionales) o generados por los participantes durante el proceso, y en donde participen no sólo los responsables sino también los usuarios. Quizás sobre la marcha hayan descubierto que los objetivos originales no eran los mejores que podían plantearse. El evaluador externo puede involucrarse activamente en el proceso. Viéndolo en forma optimista, éste podría formular una serie de recomendaciones a la fundación y a los participantes en el programa, pensando en mantener el financiamiento gracias al grado de compromiso e innovación que se está logrando en ese proyecto.


12

Ejemplo b: ¿Qué tanto saben nuestros líderes? Un estudiante de doctorado y su asesor decidieron elaborar un diagnóstico del grado de conocimiento y actitudes de varios líderes de su comunidad13, como base para el diseño de un programa de alfabetización ambiental para adultos. Como vemos, el ámbito de la evaluación son los beneficiarios. Se decide darle un enfoque muy formal desde el punto de vista estadístico, y se adapta un cuestionario que ya había sido aplicada en investigaciones similares. El cuestionario se somete al escrutinio de un panel de expertos y se valida mediante una prueba piloto aplicada a 30 personas. La población bajo estudio abarca 750 líderes agrupados en 10 categorías, que incluyen religiosos, empresarios, grupos minoritarios, gobernantes, académicos, etc. Finalmente se aplica el cuestionario a una muestra de 250. Los resultados arrojan que la mayor parte de los líderes tienen un conocimiento aceptable de las problemáticas ambientales críticas definidas en el cuestionario; pero también detecta algunas concepciones y actitudes equivocadas. También detectan significativas diferencias en función de la edad, nivel educativo, profesión, grupo étnico y nivel de ingresos. Finalmente recomiendan incrementar la educación ambiental en los medios masivos y en ambientes no formales.

13 Este caso no es hipotético. Fue llevado a cabo en 1993 en la comunidad de Hualien, ubicada en el area de

Taiwan por Shih‐Jang Hsu y Robert E. Roth (tutor de la Ohio State University en Columbus). En su artículo, los autores citan varias investigaciones similares. Ver: HSU, SHIH‐JANG‐ROTH, ROBERT E. (1996) An assessment of environmental knowledge and attitudes, en: Journal of Environmental Education, septiembre de 1996.


13

3. ¿Qué evaluar? El objeto de evaluación en la educación ambiental 3.1. Conceptualización El diseño del objeto es la fundamentación del tipo de relación buscada entre un deber ser y la realidad de un programa educativo (Figura No. 2).

Deber ser Realidad

Criterios Hechos

Estándares Datos

OBJETO

JUICIO

DECISIÓN Y ACCIÓN Figura No. 2 El objeto de evaluación

Es muy importante comprender que el objeto como tal es una abstracción, y se organiza en términos de categorías que articulan los criterios y estándares con los hechos y los datos específicos, que a su vez se convierten en indicadores desde el momento en que cuentan con un referente para su comparación. En términos operativos, el diseño del objeto comienza con la selección y acotamiento de las categorías de análisis. Enseguida, para cada una de ellas, se seleccionan y precisan los criterios y estándares aplicables. 3.2. Los propósitos y el enfoque Como puede verse la definición de propósito(s) y enfoques está íntimamente relacionada con la del ámbito de la evaluación. Este es el punto de partida de un proceso de evaluación; pero los tres seguirán redefiniéndose durante todo el proceso. 3.3. Los ámbitos de la evaluación Los ámbitos de evaluación de la EA son muy similares a los ya señalados para la evaluación educativa en general. Es lo que por ejemplo PARDO14 llama "niveles de evaluación" y SUREDA "orientaciones" (Cuadro No. 3). Sin embargo, estos ámbitos están pensados básicamente para la educación ambiental escolarizada, que es donde se utiliza más la noción de alumno y profesor. Pensando en la

14 PARDO D. A. (1995) La EA como proyecto, Instituto de Ciencias de la Educación, Editorial Horsori, Universidad

de Barcelona, España, 199p.; SUREDA J. (1990) Guía de la EA. Fuentes documentales y conceptos básicos, Ed. Anthropos, España, 271p.


14

diversidad de modalidades descritas antes, básicamente cabría reconocer cinco ámbitos de la EA que incluirían los anteriores15, pero expresados con mayor generalidad. Así, los grandes ámbitos de la evaluación de la EA serían: a) Los destinatarios de la educación, es decir, todos aquellos individuos o grupos hacia los

que se dirige un proyecto o programa de EA. En un programa formal, esto incluye egresados y estudiantes. En un proyecto de comunicación ambiental, por ejemplo, se referiría a la población objetivo. En un proyecto de educación a distancia o en un zoológico, estaríamos hablando de los usuarios.

b) Los educadores, es decir, todos aquellos que de alguna manera tienen responsabilidad sobre el proceso de EA, desde el diseño hasta su realización. Esto incluye profesores, instructores, guías, intérpretes, promotores, etc.

c) Los contenidos de la EA, es decir, los propósitos, las temáticas y las estrategias que se plantean formalmente o que llevan a cabo. Las estrategias incluyen los métodos, procedimientos, materiales y recursos implicados en un proyecto.

d) Las instituciones, los programas y los proyectos, es decir, toda la organización de una experiencia de educación ambiental. Un programa generalmente es un conjunto de actividades a realizar más o menos a largo plazo, mientras que un proyecto suele tener una limitación de tiempo más concreta.

e) Los sistemas y los subsistemas educativos, es decir, el conjunto de instituciones, programas y proyectos que se supone comparten el interés por la EA.

f) El impacto o trascendencia de una experiencia de evaluación ambiental, es decir, el conjunto de logros trascendentes, mediatos o de largo y más amplio alcance que el de los objetivos originalmente buscados.

CUADRO NO. 3 ÁMBITOS DE LA EVALUACIÓN DE LA EDUCACIÓN AMBIENTAL

Niveles según Pardo (1995) 1) Alumnos y alumnas, 2) Enseñantes, y 3) Proyecto educativo. Orientaciones según Sureda (1990) a) Evaluación de programas b) Evaluación de aptitudes y actitudes ambientales c) Evaluación de problemas ambientales d) Evaluación de profesores

Sin embargo, cada uno de estos ámbitos puede particularizarse y acotarse más, en función del propósito y del enfoque adoptados. También pueden traslaparse. Por ejemplo, en la evaluación de programas podemos pensar solamente en el currículum, o solamente en los programas de formación de profesores, o en ambas cosas.

15 Excepto la evaluación de problemas ambientales que propone SUREDA (1990). Desde mi perspectiva la

evaluación de problemáticas ambientales puede formar parte del campo de la evaluación educativa, pero también en gran medida lo rebasa, pues es materia de una gran variedad de disciplinas, no solo de la pedagogía o de las ciencias de la educación.


15

Un primer paso para el diseño del objeto de la evaluación es el acotamiento del ámbito en que se trabajará. 3.4. Los referentes y los valores Una vez que hemos definido el ámbito, tenemos que identificar nuestros valores de referencia. Dado que el discurso de la EA está altamente cargado de valores y aspiraciones, el problema de la evaluación de proyectos de EA no es encontrar los valores de referencia que necesitamos, sino más bien explicitarlos, seleccionarlos, consensarlos y adaptarlos a las condiciones concretas en que se van a aplicar. Como sucede con cualquier otro discurso, el de la EA contiene planteamientos con muy diferentes grados de profundidad, que van desde los "lugares comunes" pregonados y reproducidos continuamente por los medios masivos de comunicación, hasta las reflexiones y propuestas más serias de quienes se dedican a trabajar sobre el problema. Con todo y esto último, el campo de la educación ambiental no está exento de conflictos respecto a su "debe ser". Diferentes discursos sobre la educación ambiental y para la sostenibilidad privilegian diferentes valores. Ahora bien, los valores de referencia pueden estar ocultos o aparecer explícita o implícitamente. Algunos ejemplos de valores de referencia pueden encontrarse en las declaraciones de principios de diversos momentos clave de la educación ambiental y para la sostenibilidad, como los que se muestran en los recuadros que aparecen al final de este apartado. También en las propuestas conceptuales y filosóficas generadas a través de la investigación y la reflexión sistemáticas, como las que hemos visto en los módulos anteriores de este diplomado. 3.5. Los criterios y estándares Los criterios y estándares surgen de muy diversas fuentes que expresen el deber ser, a diferentes niveles, por ejemplo: los objetivos de un programa académico, los reglamentos, las reflexiones de expertos, los acuerdos de las academias de profesores, los criterios establecidos por agencias externas, etc. Las categorías son maneras de clasificar y organizar los conceptos y la información sobre los programas. Permiten aprender la realidad compleja para propósitos de la evaluación. Las categorías contienen criterios. Los criterios son pautas o patrones que se consideran deseables. Se expresan y fundamentan en términos conceptuales, normativos o filosóficos. Los criterios se detallan en estándares. Los estándares son expresiones operativas de los criterios. Se expresan a través de enunciados cualitativos o cuantitativos concretos. 3.6. Los indicadores A partir de lo anterior se definen los indicadores, que son datos que permiten hacer una interpretación con base en un parámetro que le sirve de referencia (estándar). Los indicadores expresan la relación concreta entre el “deber ser” y “los hechos”. Son un problema técnico, pero ante todo, son un problema de fundamentación conceptual. (Figura No. 3) La articulación de los indicadores permite construir la “base argumentativa” de la evaluación (expresada generalmente en un texto). La emisión del juicio de valor es el centro de la evaluación, pues establece una comparación entre la realidad y el deber ser. La lógica deductiva y las clasificaciones excluyentes suelen ser útiles sólo en los momentos preliminares del diseño del objeto o cuando no se tiene experiencia. Más adelante es imprescindible buscar y evidenciar la naturaleza relacional del objeto.


16

Figura No. 3 El deber ser vs. La realidad

Ejemplos de principios y referentes para la educación ambiental

CUADRO NO. 4: PRINCIPIOS PARA LA EDUCACIÓN AMBIENTAL

DE LA CONFERENCIA DE TBILISI EN 1972 (MEZA, 1992) “Aunque sea obvio que los aspectos biológicos y físicos constituyen la base natural del medio humano, las dimensiones socioculturales y económicas, y los valores éticos definen por su parte las orientaciones y los instrumentos con los que el hombre podrá comprender y utilizar mejor los recursos de la naturaleza con objeto de satisfacer sus necesidades. La educación ambiental es el resultado de una reorientación y articulación de las diversas disciplinas y experiencias educativas que faciliten la percepción integrada del medio ambiente, haciendo posible una acción más racional y capaz de responder a las necesidades sociales. Un objetivo fundamental de la educación ambiental es lograr que los individuos y las colectividades comprendan la naturaleza compleja del medio natural y del creado por el hombre, resultante de la interacción de sus aspectos biológicos, físicos, sociales, económicos y culturales, y adquieran los conocimientos, los valores, los comportamientos y las habilidades prácticas para participar responsable y eficazmente en la prevención y la solución de los problemas ambientales y en la gestión de la cuestión de la calidad del medio ambiente. Propósito fundamental de la educación ambiental es también mostrar con toda claridad las interdependencias económicas, políticas y ecológicas del mundo moderno, en las que las decisiones y comportamientos de los diversos países pueden tener consecuencias de alcance internacional.” Fuente: UNESCO, 1980; citado por Meza L. (1992) Educación ambiental ¿para qué?, en: Nueva Sociedad No. 122, nov‐dic 1992, Venezuela, 256p. (pp. 176‐185; p. 180).


17

CUADRO 5: OBJETIVOS DE LA EDUCACIÓN AMBIENTAL

SEGÚN LA CONFERENCIA DE BELGRADO EN 1975 (UNESCO-UNEP, 1976) La meta de la educación ambiental es desarrollar una población mundial que está enterada de, y preocupada por, el ambiente y sus problemas asociados, y que tiene conocimiento, habilidades, actitudes, motivaciones y compromisos para trabajar individual y colectivamente hacia las soluciones de los problemas actuales y la prevención de otros nuevos. Los objetivos de la educación ambiental son: • Conciencia; para ayudar a los individuos y grupos sociales a adquirir conciencia y sensibilidad sobre el

medio ambiente total y sus problemas asociados. • Conocimiento; para ayudar a los individuos y grupos sociales a adquirir un entendimiento básico del

ambiente total, sus problemas asociados y la presencia críticamente responsable de la humanidad y su rol en ello.

• Actitudes, para ayudar a los individuos y grupos sociales a adquirir valores sociales, sentimientos fuertes de preocupación por el ambiente y la motivación para participar activamente en su protección y mejoramiento.

• Habilidades; para ayudar a los individuos y grupos sociales a adquirir las habilidades de solución de los problemas ambientales.

• Participación; para ayudar a los individuos y grupos sociales a desarrollar un sentido de responsabilidad y urgencia respecto a los problemas ambientales que asegure una acción apropiada para resolverlos.

• Habilidades de evaluación; para ayudar a los individuos y grupos sociales a evaluar las medidas ambientales y los programas de educación en términos de factores ecológicos, políticos, económicos, sociales, estéticos y educativos.


18

4. ¿Cómo evaluar? El proceso de evaluación en la educación Ambiental El diseño del proceso de evaluación es tan importante como el diseño del objeto (KELLS et al, 1992). Las tendencias actuales en evaluación de programas académicos son muy diferentes a las de los 70's. Ahora se busca dar cabida a concepciones plurales sobre la educación, y se reconoce que es imposible llevarla a cabo en condiciones completamente objetivas, y por lo tanto se asumen los procesos desde una perspectiva más comprensiva. En los 70s, la evaluación se concebía como una actividad eminentemente técnica y neutral basada en instrumentos objetivos (tipo test). Más que el control burocrático, la preocupación central actual es el mejoramiento de la calidad (HOUSE, 1992; MCCORMICK Y JAMES, 1996). Las mejores estrategias de autoevaluación no son las coercitivas (basadas eventuales sanciones y estímulos), sino aquellas que construyen confianza y consenso, como la deliberación (DILLON, 1994; ELLIOT, 1983) y la investigación. El proceso de autoevaluación debe conducirse de tal manera que potencie la capacidad de los participantes para tomar decisiones colectivas y conocer mejor su ámbito de acción (FETTERMAN, 1996; SCOT Y BEREMAN, 1992; Smith, 1996). El proceso de autoevaluación comienza con la identificación y selección de un grupo o comité responsable de coordinarlo, que debe involucrar a sectores representativos de la comunidad académica, y contar con el apoyo de las autoridades. Sobre todo en los primeros ciclos, es muy importante que este comité goce de credibilidad y confianza, y al mismo tiempo de capacidad técnica. En periodos críticos de la vida institucional, lo primero puede llegar ser más importante que lo segundo, sobre todo porque, como se verá en el siguiente apartado, la capacidad técnica se puede adquirir. Este grupo participa desde el diseño del objeto, y es deseable que sea asesorado por un agente externo. Por definición, la autoevaluación es llevada a cabo en forma colectiva por los grupos y personas directamente involucrados en las tareas que se están evaluando. En el caso de un programa académico, esto significa que la comunidad académica participa aportando información, pero también, y sobre todo, formulando o adaptando los criterios de calidad y emitiendo los juicios de valor. La organización de la participación y la deliberación requiere desplegar habilidades muy diversas: trabajo en equipo, redacción, análisis y síntesis, mediación y conciliación, crítica y propuesta, que nunca se encuentran en una sola persona (FETTERMAN, 1996; KREISBERG, 1992). La autoevaluación requiere capacitación y entrenamiento, pero esta es mucho más efectiva si se ofrece sobre la marcha. Tanto si se trata del diseño de sistemas de información, como de metodologías cuantitativas o cualitativas de análisis de información y procesamiento de datos, o de habilidades de liderazgo y coordinación productiva de grupos, el entrenamiento requerido siempre será más efectivo si se proporciona bajo la modalidad de talleres y asesorías oportunas en el transcurso de la autoevaluación, que bajo la modalidad de cursos previos o aislados del proceso. La autoevaluación requiere un sistema de información ágil y bien organizado. Sin embargo, esto se logra por aproximaciones, y no al primer intento, debido a que en los primeros ciclos de autoevaluación se detectan necesidades de información que a veces no existe o que no tiene la calidad deseada. Entre un ciclo y otro de autoevaluación, se debe generar la


19

nueva información necesaria. Por esta razón, la autoevaluación permite construir el sistema de información, y viceversa.

Figura No. 4 Modelo general de un proceso de autoevaluación

4.1. La participación La intervención de los participantes del programa (las personas que deciden y que utilizarán la información) durante el proceso completo de la evaluación está basada en la suposición que ésta contribuirá al logro de una mayor relevancia de la evaluación y de mayor exactitud en los resultados de la evaluación. También se basa en la premisa que los participantes del programa involucrados en la evaluación no solo pueden contribuir en el proceso de evaluación sino también aprender de los demás. La actividad de compartir y aprender que se fortalece a través de la dinámica de grupo generada, contribuye al aprendizaje organizativo. (Aubel 1993)

Cuadro No. 4 Características de la evaluación participativa (según Nieto‐Caraveo 2006) • Responsabilidad compartida (se trabaja con la comunidad) • El poder reside en los participantes • Los participantes son vistos como expertos • Responde a las necesidades del programa • El liderazgo desarrolla visiones compartidas, apoyo amplio y capacidad de

resolver problemas • Se aprecia la diversidad • Énfasis en cooperación, colaboración, y recursos compartidos • Toma de decisiones inclusiva • Rendición de cuentas a los participantes • La evaluación es para mejorar y desarrollar el programa • Involucramiento máximo de toda la comunidad


20

4.2. Estrategias generales para la obtención de información La elección de métodos, técnicas y estrategias depende del objeto de evaluación, las circunstancias y el campo de investigación de que se trate, estos factores determinarán si la información que se necesita deberá ser cualitativa o cuantitativa. Algunas estrategias para la recolección de información son:

(1) Análisis documental y de archivo: permite obtener información de hechos actuales o pasados, cercanos o lejanos (horizonte tiempo‐espacio)

(2) Encuestas y sondeos: facilita la obtención de información procedente de grupos o individuos no accesibles directamente

(3) Entrevistas: permite obtener información de grupos o individuos accesibles, resolviendo contingencias

(4) Observación: recoge datos a través de los sentidos del investigador o de instrumentos que afinan dichos sentidos

4.3. La investigación Es difícil escoger un método como el único camino para realizar una investigación, pues muchos de ellos se complementan y relacionan entre sí. La elección dependerá del grado en que éste nos permita conectar los datos empíricos a las preguntas originales y en última instancia a sus conclusiones. Algunos métodos de investigación son:

• Analítico‐argumentativa • Encuestas y sondeos • Experimental • Estudio de caso • Etnográfica • Investigación‐acción

4.4. La deliberación La deliberación es un método apropiado de investigación cuando la acción humana no puede ser gobernada por reglas técnicas exactas.

"Deliberación” deriva del latín libra o peso. Es sopesar en forma colectiva los pros y contras de distintas opciones para solucionar un problema de manera que todas las voces sean escuchadas y se logre un sentido de dirección para la acción conjunta sobre un problema común. Es una práctica orientada a la acción y que resuelve temas que importan a la gente por esta razón es una herramienta muy poderos…" (RID, 2005)

Las fases de la deliberación según Dillon, 1994 son:

1. Compartir públicamente 2. Resaltar acuerdos y desacuerdos 3. Explicitar posiciones

• Reformulaciones • Preguntas abiertas y no manipulativas


21

• Sentimientos en reacción 4. Resaltar cambios de posiciones 5. Negociar puntos de acuerdo 6. Adoptar una posición y tomar en cuenta las minorías

Como estrategias de deliberación tenemos por ejemplo la organización de:

• comités y consejos con autoridad formal, • grupos de trabajo y análisis, • foros, congresos, seminarios, • grupos de base, • reuniones ex‐profeso.

Como ejemplos de técnicas de deliberación

• Entrevistas en parejas o grupales • Páneles de expertos • Delphi • Grupos focales

4.5 Análisis de datos El análisis de datos es el precedente para la actividad de interpretación. La interpretación se realiza en términos de los resultados de la investigación. Esta actividad consiste en establecer deducciones sobre las relaciones entre las variables estudiadas para extraer conclusiones y recomendaciones (Kerlinger, 1982). Existen dos tipos básicos para el análisis de datos (Astin, 1993):

• Descriptivo • Causal

El análisis descriptivo permite identificar interacciones y formular preguntas, que lleven a un análisis causal o comparativo. El procesamiento descriptivo de los datos se realiza mediante:

• Tabulación cruzada o Muestra asociación entre variables. o Funciona mejor con datos discretos (género, raza, áreas del conocimiento,

etc.) o Si los datos no se originan en una categoría discreta, requieren ser

agrupados. • Correlación

o Muestra grado y dirección de la asociación entre variables por medio de un coeficiente

o Apropiada para datos continuos (calificaciones, peso, altura, o Requiere que los datos satisfagan requisitos (p.ej distribución normal)

(Astin, 1993) El análisis causal estudia cómo influye el ambiente escolar sobre los estudiantes y por qué. No basta con la asociación de variables: requiere un marco teórico que explique la relación entre ellas.


22

El procesamiento causal de los datos se realiza mediante:

• Tabulación cruzada • Análisis de correlación y regresión

4.6 Características de los informes El informe de evaluación es un documento preparado por el equipo evaluador, que según Kells (1995) tiene las siguientes características:

• Bien escrito y bien estructurado • Excelente ortografía y redacción • Ideas claras y organizadas • Títulos, subtítulos, cuadros, etc. bien delimitados • Conciso • Estilo sobrio y sintético • La información abundante va en anexos • Sin información poco relevante • Honesto y equilibrado • Logros, problemas y propuestas • Entendible para públicos amplios • Registrar todos los créditos correspondientes

A manera de Conclusión Es importante insistir en que la evaluación está relacionada con todo el proceso educativo por lo que no se puede concebir como una actividad final, sino más bien es concebida como un proceso reflexivo estrechamente relacionado al mismo quehacer educativo que realimenta todo el proyecto. En síntesis trasladándonos a un nivel micro, específicamente al ámbito de nuestro diplomado y del propio proyecto de EA, podemos ver que evaluar equivale a comparar un hecho o realidad con una aspiración o “deber ser”. Esta comparación nos sirve para determinar qué tan cerca estamos de ese “deber ser” y emitir juicios que a su vez nos ayudan a tomar decisiones (realizar cambios en los contenidos, las estrategias de enseñanza, en la programación), para mejorar y lograr nuestros objetivos. Estar consientes de que cada caso particular requiere su propia metodología de evaluación pone de manifiesto la gran diversidad de objetivos, metodologías y recursos con que cuenta la EA. Esto sin duda da muestra de una gran riqueza y preocupación por aumentar la calidad de los programas que se imparten.


23

Referencias Álvarez‐Méndez J.M. (1986) Investigación cuantitativa/cualitativa ¿Una falsa disyuntiva?, en:

Métodos cualitativos y cuantitativos en investigación evaluativa, Ed. Morata, España, 228p. (pp9‐23)

ANUIES (1990) Propuesta de lineamientos para la evaluación de la educación superior, en: Revista de la Educación Superior No. 75 jul‐sep 1990, ANUIES, México, 130p. (pp41‐121)

CIEES (1994) Marcos de referencia para la evaluación (Ciencias Agropecuarias, Ciencias de la Salud, Ingeniería y Tecnología, Ciencias Exactas y Naturales), Comités Interinstitucionales para la Evaluación de la Educación Superior, SEP‐CONAEVA‐ANUIES, México. Capítulos sobre categorías, estándares e indicadores.

Aubel, J. A. Guidelines For Planning And Conducting Studies Using TheGroup Interview Technique. International Labor Organization, Geneva,l993

* Dillon J.T. (1994) Introduction: The Domain of Deliberation; NOYÉ D. (1994) Guidelines for Conducting Deliberations, en: Dillon J.T. (ed.) Deliberation in Education and Society, Ablex Publishing Corporation, USA, 268p. (pp. vii‐24 y 239‐258).

Elliot J. (1983) Autoevaluación, desarrollo profesional y responsabilidad, en: Cambiar la escuela. Cambiar el curriculum, Ed. Martínez Roca, España, 379p. (pp. 237‐259)

Fernández A., C. Carrión, O. Ángeles Y J. Landa (1991) La evaluación institucional. Tropiezos y obstáculos, en: Universidad Futura, Vo. 2, No. 6‐7, UAM‐Azcapotzalco, México 141p. (pp. 15‐29)

Fetterman D.M. (1996) Cap. 1: Empowerment Evaluation, Cap 13: Participatory and Empowerment Evaluation, in: Fetterman D.M., S.J. Kaftarian y A. Wandersman (eds) Empowerment Evaluation. Knowledge and Tools for Self Assessment & Accountability, SAGE publications, USA, 411p. (pp. 3‐46 y 277‐303).

Filstead W. J. (1986) Métodos cualitativos. Una experiencia necesaria en la investigación evaluativa. en: Métodos cualitativos y cuantitativos en investigación evaluativa, Ed. Morata, España, 228p. (pp. 59‐79)

House E. R. (1992) Tendencias en evaluación, en: Revista de Educación No. 299, Septiembre‐diciembre 1992, Ministerio de Educación y Ciencia, España, 416p. (pp. 43‐55)

Kells H.R. (1995) Self Study Processes. A Guide to Self‐Evaluation in Higher Education, American Council on Education, Series on Higher Education, Oryx Press, Fourth Edition, USA, 192p. (pp. 28‐41 y 66‐99)

Kells H.R., P.A.M. Maassen Y J. De Haan (1992) La gestión de calidad en la Educación Superior. Un manual para evaluaciones internas y externas en universidades y escuelas superiores, UAM.Azcapotzalco‐CEU/UAPuebla, México, 163p. (pp. 13‐43)

Kreisberg S. (1992) Preface, Introduction, Cap. 3: Power With, Toward an Alternative Conception of Power, en: Kreisberg S. (199) Transforming Power. Domination, Empowerment and Education, Suny Series Teacher Empowerment and School Reform, State University of New York Press, USA, 264p. (pp. ix‐xv, xxi‐xxii y 55‐90)

Marcus, L. R.; And Others (1984) Self‐Study in Higher Education: The Path to Excellence. ED284510 84 ERIC Digest 84‐1. Association for the Study of Higher Education.; ERIC Clearinghouse on Higher Education, Washington, D.C.

Mccormick R. Y M. James (1996) Evaluación del curriculum en los centros escolares, Ed. Morata, España, 368p.

Pérez‐Rocha M. (1997) Evaluación y autoevaluación. Algunas definiciones, en: Materiales de apoyo a la evaluación educativa no. 27, CIEES‐CONAEVA, SEP‐ANUIES, México, 8p.


24

Scott J.A. And N. A. Bereman (1992) Competition versus Collegiality: Academe's Dilemma for the 1990s, in: Journal of Higher Education, Vol. 63, No. 6 (November/December 1992) Ohio State University Press.

Smith, H. A. (1996) Self‐Study and the Development of Collective Knowledge, Paper presented at the International Conference, Self‐Study in Teacher Education: Empowering our Future, August 5‐8, Herstmonceux Castle, East Sussex, England.

UNESCO, 1980; citado por Meza L. (1992) Educación ambiental ¿para qué?, en: Nueva Sociedad No. 122, nov‐dic 1992, Venezuela, 256p. (pp. 176‐185; p. 180).

Weiss, R. (1980) en: Investigación Evaluativa, Ed. Trillas, México, 183p. (pp. 13‐22 y 115‐134)

Documents

de Diplomado Virtual Sustentabilidad - uv.mx · necesario para fundamentar una concepción de la evaluación no como un fin en sí misma, ni como forma de control, sino como un medio