Informe Regional Final - mineducacion.gov.co...Evento público X La información recopilada a través de las estrategias de pesquisa descritas fue organizada en la Ficha Descriptiva

Esta es una versión preliminar del documento que se encuentra en proceso de edición

1

PONTIFICIA UNIVERSIDAD CATOLICA DE CHILE ESCUELA DE PSICOLOGÍA

INFORME REGIONAL

Evaluación de Programas Exitosos de Formación Ciudadana

Sistema Regional de Evaluación y Desarrollo de Competencias Ciudadanas (SREDECC)

EQUIPO CONSULTOR

M. Loreto Martínez

Roberto González

Lilian Canales

Daniel Miranda


2

Índice General.

I. ANTECEDENTES ........................................................................................................................... 5

a. Contextualización del estudio, países participantes, dificultades observadas en el proceso (cada país y entre países) ........................................................................................................... 5

II. IDENTIFICACIÓN DE PROGRAMAS DE FORMACIÓN CIUDADANA (ETAPA I) ................................. 6

a. Dificultades en proceso de pesquisa ....................................................................................... 8

III. EVALUACIÓN DE LA FORMULACIÓN DE PROGRAMAS DE FORMACIÓN CIUDADANA (ETAPA IIA) 9

a. Criterios para selección y descarte de programas. .................................................................. 9

b. Metodología......................................................................................................................... 12

c. Dimensiones Post hoc ........................................................................................................... 12

d. Análisis Cualitativo Variables Post hoc .................................................................................. 14

d1. Formulación del diseño .................................................................................................. 14

d2. Modalidad de Implementación ....................................................................................... 16

d3. Iniciativa para la participación en el programa. ............................................................... 17

d4. Población Objetivo ......................................................................................................... 18

d5. Contenido ...................................................................................................................... 19

d6. Tipo de Institución .......................................................................................................... 21

d7. Lugar de Implementación ............................................................................................... 22

d8. Cobertura ....................................................................................................................... 23

d9. Evaluación ...................................................................................................................... 23

d10. Fuente de Financiamiento: ........................................................................................... 24

d11. Equipo Ejecutor ............................................................................................................ 25

d12. Productos ..................................................................................................................... 27

e. Análisis Cuantitativo de la Evaluación de la Formulación (escrita) de los Programas............. 28

f. Evaluación de los Objetivos del Programa. ............................................................................ 28

g. Evaluación de la Metodología de los Programas. .................................................................. 31

h. Evaluación de la Gestión de los Programas. .......................................................................... 33

i. Evaluación de los Resultados de los Programas...................................................................... 34


3

j. Síntesis de los hallazgos referidos a los programas evaluados en su Formulación. ................. 35

IV. EVALUACIÓN DE LA IMPLEMENTACIÓN DE PROGRAMAS DE FORMACIÓN CIUDADANA (ETAPA IIB) ............................................................................................................................................... 37

a. Criterios para selección y descarte de programas. ................................................................ 37

b. Metodología......................................................................................................................... 37

c. Análisis cuantitativo de la evaluación de la implementación de los programas ...................... 38

d. Resultados ........................................................................................................................... 39

d1. Evaluación de los Objetivos de los Programa. ................................................................. 42

d2. Evaluación de la Metodología de los Programas. ............................................................ 43

d3. Evaluación de la Gestión de los Programas. .................................................................... 45

d4. Evaluación de los Resultados de los Programas. .............................................................. 47

e. Dificultades .......................................................................................................................... 51

f. Síntesis de los hallazgos ........................................................................................................ 51

V. DOCUMENTACION DE DE BUENAS PRÁCTICAS ......................................................................... 55

a. Análisis Intra-país. ................................................................................................................ 55

a1. Estudio Colombia. ........................................................................................................... 55

a2. Estudio Guatemala. ........................................................................................................ 56

a3. Estudio México. .............................................................................................................. 57

a4. Estudio Chile. .................................................................................................................. 59

b. Análisis Comparativo de Buenas Prácticas ............................................................................ 61

b1. Identificación de la Práctica ............................................................................................ 62

b2. Tipo de Práctica .............................................................................................................. 65

b3. Población Objetivo ......................................................................................................... 65

b4. Frecuencia de la ejecución .............................................................................................. 66

b5. Transversalidad de la práctica. ........................................................................................ 67

c. Síntesis y discusión de los hallazgos referidos a las Buenas Prácticas. .................................... 69

VI. CONCLUSIONES GENERALES Y SUGERENCIAS PARA FUTUROS ESTUDIOS Y POLITICA EDUCACIONAL ............................................................................................................................. 71


4


5

I. ANTECEDENTES

a. Contextualización del estudio, países participantes, dificultades observadas en el proceso (cada país y entre países)

En este informe se describen y discuten los principales hallazgos del análisis comparativo de los estudios de programas exitosos de formación ciudadana y buenas prácticas realizados en los 6 países participantes de esta iniciativa coordinada desde SREDECC. Los resultados presentados se basan en la información generada y contenida en los informes de cada estudio nacional, además de un nuevo análisis realizado por el equipo consultor, es decir, una nueva lectura de los datos en la cual se proponen dimensiones de comparación de los programas para dar cuenta de la riqueza contenida en los informes de cada estudio nacional.

La diversidad de los contextos nacionales y de los programas al interior de cada país resulta evidente en la lectura de los informes. El análisis de resultados procurará dar cuenta de las diferencias de contextos cuando aparezcan relevantes. Se consideró cada estudio como un caso particular y, consecuentemente, se tendrá cautela en la interpretación de los hallazgos y en su generalización. Dada las limitaciones de tiempo con que se realizaron los estudios nacionales, las muestras de programas identificados y evaluados no son necesariamente representativas del universo de programas de formación ciudadana de cada país.

Los países participantes en el estudio fueron Colombia, México, Guatemala, Chile, Paraguay y República Dominicana. Los primeros cuatro países realizaron la totalidad de las etapas planteadas en los términos de referencia, es decir, identificaron un conjunto de programas, analizaron su formulación escrita y, posteriormente, seleccionaron un grupo de ellos para evaluar su implementación. Los estudios de estos 4 países también identificaron y analizaron prácticas exitosas en los programas de formación ciudadana. Los estudios de Paraguay y República Dominicana, en cambio, no pudieron completar la etapa de evaluación de la implementación de los programas. Por este motivo, el análisis de los resultados se ha organizado como un estudio en dos fases. En la primera, se caracteriza y compara las dimensiones evaluadas en la primera muestra de programas de formación ciudadana identificados en los 6 países. En la segunda, se da cuenta de las características de la implementación de los programas evaluados en los 4 países que participaron en esta etapa.

Al mismo tiempo, es importante tener presente que la información disponible es la contenida en los documentos elaborados por los consultores de cada país, algunos de los cuales presentaron datos incompletos para algunas dimensiones evaluadas


6

II. IDENTIFICACIÓN DE PROGRAMAS DE FORMACIÓN CIUDADANA (ETAPA I)

En esta etapa los estudios de cada país identificaron un conjunto de programas de formación ciudadana. El número de programas identificados en cada estudio es variable (fluctúa entre 130 y 9 programas) como también lo son las estrategias utilizadas para la identificación y contacto con los programas. Las mayores diferencias se dan en el estudio de México que mapeó un universo de 130 programas. Los restantes 5 países identificaron entre 9 y 16 programas (Colombia 10, Chile 16, Guatemala 12, República Dominicana 9, y Paraguay 10).

Para lograr el objetivo de esta etapa, se sugirió a los consultores contactar a informantes clave, estrategia utilizada en la mayoría de los estudios. Adicionalmente, los países participantes usaron diversas estrategias para obtener la información requerida respecto a los programas que podrían ser identificados para el estudio, estrategias que también contribuyeron a la obtención de información para el proceso de evaluación de la implementación de programas.

Tal como se aprecia en la Tabla Nº1, una de las estrategias mas importantes fue el vínculo con la institucionalidad encargada de educación, es decir el Ministerio de educación, cuyo aporte en general fue de respaldo a los estudios para el contacto de los programas y de comunicación con informantes claves con experiencia en el tema de formación ciudadana que se desempeñan en dicho organismos. En México se estableció contacto con la Subsecretaría de Educación Básica de la Secretaría de Educación Pública (SEP) y con el Instituto Federal Electoral (IFE), desde donde emanan la mayor parte de los programas evaluados.

En Guatemala, con el respaldo del Ministerio de Educación, se realizó una convocatoria pública a través de un medio de comunicación escrita y se envió oficio a las direcciones departamentales de educación.

Los estudios de Colombia, Chile, México y Guatemala entrevistaron a informantes clave de los correspondientes Ministerios de Educación (e.g., en Guatemala, al encargado del programa de formación ciudadana “Construyendo Ciudadanía”). Se entrevista también a otros informantes clave, todos calificados en cada país por su experticia en ciudadanía, pertenecientes a organizaciones privadas (e.g., en Chile, la directora del proyecto Valoras, iniciativa de una universidad) y a instituciones de nivel internacional con representación nacional (e.g., UNESCO).

En todos los países se realizó una revisión de páginas web tanto de instituciones públicas como privadas relacionadas con la educación en ciudadanía, entre ellas, organizaciones no


7

gubernamentales (ONGs), establecimientos educacionales, centros universitarios, y se estableció contacto con algunas de ellas.

La revisión de documentos de los Ministerios de Educación y organizaciones asociadas también aportó a la búsqueda de programas. Por ejemplo, en el estudio de Colombia, el portafolio de ofertas de formación ciudadana fue señalado como un documento invaluable.

Además de las estrategias señaladas, el estudio en Guatemala aprovecho la realización del Festival de la Cultura Ciudadana como oportunidad para identificar y contactar programas orientados a la formación ciudadana.

Tabla Nº1. Estrategias de pesquisa utilizadas en los estudios de cada país.

Estrategia/País Colombia México Guatemala Chile Rep. Dominicana

Paraguay

Comunicación con Ministerio o Institucionalidad Pública de Educación

X X X X X

Comunicación con organizaciones privadas asociadas al tema

X X X

Entrevista a Informantes Clave ámbito público

X X X X

Entrevista a Informantes Clave ámbito privado

X X X X X X (no se especifica su procedencia)

Revisión de Páginas Web

X X X X

Revisión de documentos

X X X X

Convocatoria pública a través de medio de

X


8

comunicación

Participación en Evento público

X

La información recopilada a través de las estrategias de pesquisa descritas fue organizada en la Ficha Descriptiva de cada programa y utilizada posteriormente para evaluar la formulación (escrita) de dichos programas.

a. Dificultades en proceso de pesquisa

Varios de los informes de los países reportan situaciones que dificultaron la identificación y selección de los programas. Entre las más importantes, los plazos estipulados para la completación de los estudios, en general, resultaron ajustados para cada etapa. Por ejemplo, en, los informes de Guatemala y Chile se señala que algunas organizaciones y programas que, pudiendo haber participado en el estudio, no alcanzaron a responder dentro del periodo establecido, razón por la cual su programa no pudo ser incluido en el conjunto de los programas identificados.

La falta de documentación escrita e información sistematizada de algunos programas pesquisados fue otro factor que limitó el número de programas identificados, así como, en otros casos, el desinterés y desconfianza en compartir sus proyectos y experiencia.


9

III. EVALUACIÓN DE LA FORMULACIÓN DE PROGRAMAS DE FORMACIÓN CIUDADANA (ETAPA IIA)

El objetivo de esta etapa fue evaluar la formulación escrita de 10 programas identificados en cada país en la etapa de pesquisa, de acuerdo a criterios de calidad previamente establecidos. Para este fin, los consultores de cada país contaron con un cuestionario focalizado en cuatro objetos de evaluación: objetivos, metodología, gestión y resultados. Los resultados descritos en esta sección se basan por tanto en la información contenida en el cuestionario como también en las fichas descriptivas de los programas. Sin embargo, en cuatro programas no se completó la ficha descriptiva y en 3, no se completó el cuestionario.

a. Criterios para selección y descarte de programas.

Tal como se aprecia en la Tabla Nº 2, el número total de programas evaluados en su formulación escrita fue 66, fluctuando entre 9 (República Dominicana) y 14 (Chile) programas por país. En el estudio de Chile, 2 programas previamente identificados no pudieron ser evaluados en su formulación pues no proporcionaron la información necesaria para completar la ficha descriptiva correspondiente.

Tabla Nº2. Resumen de Programas Evaluados por País y Evaluaciones por cada Programa.

Nombre del Programa Evaluación Cuestionario

Ficha

CHILE

1 Civit@s, Alfabetización Digital para Ciudadanos en Red B Si Si

2 Despega. Quien te Quiere te Respeta. B Si Si

3 Escuela Mundo Karol: Gobierno Escolar de Niños y Niñas B Si Si

4 Modelo de Naciones Unidas B Si Si

5 PPC, Programa de Atención a Niños y Jóvenes B Si Si

6 PPC Heriberto Rojas CERRO NAVIA y María Luisa Bombal Lo Prado A Si Si

7 Debate Inter-escolar Si Si

8 Delibera Si Si

9 Escuela Capitán Arturo Prat A Si Si

10 Una Manera Entretenida de Aprender. Manual para la Formación Ciudadana A Si Si

11 Colegio Monte de Asís A Si Si

12 Proyecto Ciudadano Chile A Si Si

13 Colegio San Juan Evangelista. A Si Si


10

14 Valoras UC A Si Si

GUATEMALA

15 Escuelas Visionarias, evidenciando Ciudadanía B Si Si

16 Proyecto: Diplomado, Democracia y Ciudadanía. Un espacio para fortalecer el liderazgo juvenil. B Si Si

17 Programa de Formación Ciudadana Ciudad Naleb B Si Si

18 Programa de Educación Ciudadana en Valores NQATOQI B Si Si

19 Academia Juvenil de Formación y Capacitación para un nuevo liderazgo. B Si Si

20 Programa de mediación de conflictos en el ámbito escolar B Si Si

21 Construyendo Ciudadanía A Si Si

22 Proyecto “Somos Guatemala”. Proyecto para la formación ciudadana como medio alternativo para el desarrollo y

A Si Si

23 Viviendo la Cultura de Paz en mi Escuela A Si Si

24 Introducción Cívica y Moral. 1. Consejo de Alumnos 2. El proyecto de valores: solidaridad, respeto y tolerancia

A Si Si

25 Implementación de Gobierno Escolar en Escuelas Primarias de Sololá A Si Si

26 Proyecto Educación y liderazgo de la niña QACH'UMILAL A Si Si

COLOMBIA

27 Habilidades para la vida B Si Si

28 Proyecto ciudadano B Si Si

29 Aulas en paz B Si Si

30 Constructores de paz B Si Si

31 Salidas que enseñan ciudad B Si Si

32 Hermes A Si Si

33 Juegos de paz A Si Si

34 Cultura de la legalidad A Si Si

35 ESPERE A Si Si

36 Escuela de DDHH. A Si Si

MEXICO

37 PIFCyE Primaria B Si Si

38 FCE Secundaria B Si Si

39 Programa Escuela Segura B Si Si

40 Asignaturas estatales B Si Si

41 Ejercicio infantil y juvenil B Si Si

42 Educación Económica y Financiera A Si Si


11

43 Estrategia para niños y jóvenes A Si Si

44 Derechos y valores para la niñez A Si Si

45 Educación para la democracia A Si Si

46 Parlamento infantil A Si Si

47 PREVIOLEM A Si Si

PARAGUAY

48 Educ. Moral y Cívica. Liceo Juan P. Duarte. A Si Si

49 Educ. Moral y Cívica Politec. Sta Ana A Si Si

50 Proyecto Ciudadano. Col. Lux Mundi A Si Si

51 Proyecto Ciudadano. Card. Sancha A Si Si

52 Proyecto Ciudadano Inst. Leonardo Da Vinci A Si Si

53 Consorcio de Educ. Civica A Si Si

54 Centro Cultural Poveda A Si Si

55 Estado Const. Y Ciudadanía A Si Si

56 Educ. Moral y Cívica SEE A Si Si

57 Educación Económica A Si Si

REPUBLICA DOMINICANA

58 Desde las Aulas en busca de la responsabilidad tributaria A Si Si

59 Cultura democrática y participación ciudadana A No Si

60 Ayudando crecemos también A No Si

61 Seguridad Vial A Si Si

62 Código de Convivencia Escolar A No Si

63 Escuela de Derechos Humanos A Si No

64 Derechos Humanos A Si No

65 Con espíritu cívico sirviendo a los demás A Si No

66 Educación Democrática

A Si No

A= Programas Evaluados en su formulación escrita

B= Programas evaluados en su formulación escrita y en su implementación.


12

b. Metodología

Tal como se mencionó anteriormente, los datos utilizados en el análisis provienen de dos instrumentos uno cualitativo (Ficha Descriptiva del Programa) y uno cuantitativo (Cuestionario para la evaluación de formulación escrita).

El análisis de la información cualitativa se realizó a través de codificación abierta. Dos evaluadores realizaron lecturas y codificaciones independientes de los contenidos y propusieron dimensiones y categorías emergentes a partir de los datos contenidos en las Fichas. Los desacuerdos fueron analizados y resueltos en reuniones de equipo y se revisó una vez más la adecuación de las categorías para dar cuenta de la variedad de información recolectada. Como resultado de este análisis post hoc, se crearon 13 variables a partir de las cuales se codificó la información con el fin de comparar los programas. Las dimensiones propuestas se definen a continuación.

c. Dimensiones Post hoc

1. Formulación del diseño: Refiere a la medida en que el diseño del programa es propio o inspirado en programas ya existentes. La dimensión da cuenta de la fuente de la cual se toma el modelo para el programa y los datos fueron categorizados en 4 posibles opciones: a) Importado, b) Adaptado, c) Original y d) No se explicita.

2. Modalidad de implementación: Describe las formas en que se desarrolla la implementación del programa y, específicamente, en qué actividades se lleva a cabo el desarrollo de este. Para esta dimensión se definieron las siguientes categorías: a) implementación en módulos o asignaturas preexistentes en los establecimientos educacionales u organizaciones, b) integrada (o transversal) al proyecto educativo, en módulos y actividades extraescolares, c) en actividades extraescolares o d) integrado a una asignatura mas módulos extraescolares.

3. Iniciativa para la participación en el programa: Refiere a la fuente desde donde se genera el interés por integrarse al programa y sus propuestas, la que puede emanar desde dentro o fuera del programa, o bien, una decisión de una persona o una institución. Los niveles de la variable son: a) Participación voluntaria de un colegio/organización, b) Participación voluntaria de una persona, c) Participación es determinada por una instancia externa a la institución, d) No se explicita y e) No aplica.

4. Población Objetivo: Describe el tipo de población a quien se dirige el interés del programa y se diferenciaron las siguientes categorías: a) estudiantes de Pre-Básica, b) Básica, c) Media, d) Pre- Básica y Básica, Básica y Media, f) Pre-Básica, Básica y Media,


13

Comunidad Escolar (Inclusivo), g) Jóvenes en contextos no escolares, h) Docentes, i) Organizaciones comunitarias o actores comunitarios, j) Adultos (ej. Trabajadores).

5. Contenido: Da cuenta de los contenidos que declara y se propone desarrollar el programa. El análisis de esta variable fue inclusivo en el sentido de dar cuenta de las declaratorias que plantean los programas como foco de desarrollo a través de sus actividades. Los contenidos descritos por los programas se clasificaron en: a) Conocimiento, b) Habilidades, c) Actitudes, Integral, d) Conocimiento y habilidades, e) Habilidades y actitudes, f) No se explicita.

6. Tipo de Institución: Da cuenta del tipo de institución desde el cual se crea el programa con el fin de mostrar la variabilidad de contextos institucionales que generan iniciativas de formación ciudadana, que incluyen desde instituciones publicas a privadas, y desde instituciones locales a internacionales. Las categorías propuestos son: a) Ministerios o secretaría de educación, b) otra institución pública, c) Universidad, d) Organización privada u ONG, Empresa, e) Conjunto de instituciones, f) Organismo Internacional, Colegio, g) No se explicita.

7. Lugar de implementación: Describe la variedad de los contextos o espacios en que se implementa el programa. Considerando los espacios que reportan los programas, los datos se clasificaron en 4 categorías. Estas son: a) Establecimientos educacionales, b) Espacios Privados, c) Espacios Públicos y comunitarios, d) Espacios mixtos, e) No se explicita.

8. Cobertura: Describe la amplitud de cobertura del programa considerando varios niveles posibles, desde lo local y especifico a un establecimiento educacional hasta programas con aplicación amplia en diferentes contextos. Las categorías establecidas fueron a) un establecimiento educacional, b) nivel local o ciudad, c) varios establecimientos nivel regional, d) más de una región, e) nivel nacional, f) nivel internacional, g)No se explicita.

9. Evaluación: Da cuenta de si los programas tienen alguna evaluación y del tipo de evaluación realizada. Las modalidades de evaluación reportadas fueron agrupadas en: a) Externa, b) De proceso, c) De resultados, d) No se explicita, e) No aplica, f) Internacional y g) Sistema con varios momentos e instrumentos.

11. Fuente de Financiamiento: Identifica la o las fuentes con las que se financia el programa. La información fue categorizada en a) financiamiento Público, b) Privado, Mixto (recibe al menos financiamiento público y privado), c) de Organismos internacionales y d) no se explicita.


14

12. Equipo Ejecutor: Esta variable describe la procedencia del equipo ejecutor, considerando que este puede ser externo a la institución, interno a la institución (i.e., el personal que ejecuta pertenece a la institución en la que se lleva a cabo el programa), o una combinación de ambos (e. g., personas externas a la institución en donde se ejecuta el programa y también personas que pertenecen a la institución). Considerando la información contenida en los documentos de los programas se propusieron las siguientes categorías: a) Equipo del programa (profesionales y técnicos externos a la institución), b) Equipo del programa más personal capacitado (e.g., equipos de docentes, universitarios), c) Equipo del programa más profesionales colaboradores, d) Equipos docentes (de establecimientos y diplomados), y e) No se explicita.

13. Productos: Da cuenta de los productos que han generado los programas. Estos fueron categorizados en: a) Material educativo y/o Guía para docentes, b) Cuaderno de trabajo para estudiantes, b) Guía de formación ciudadana, c) Material audiovisual, d) Jóvenes Capacitados (diplomados), e) Eventos, f) Estudios, g) Metodologías, y h) Creación de cursos.

Es importante mencionar que para el análisis de cada variable se consideraron sólo aquellos programas con información completa en la dimensión en estudio. Debido a ello los tamaños muestrales en el análisis de cada dimensión pueden variar ligeramente entre dimensiones.

d. Análisis Cualitativo Variables Post hoc

A continuación se presentan los resultados de la categorización del conjunto de programas en cada una de las dimensiones propuestas. Para cada dimensión, se presenta una figura que compara el patrón de resultados en la muestra de programas seleccionados para evaluación de su formulación (seleccionados) y de aquellos evaluados en su implementación (evaluados). Se discutirán los casos de dimensiones en que se observen resultados diferentes por país.

d1. Formulación del diseño

Considerando el conjunto de programas estudiados, en la mayoría de los casos, no se explicita la manera en que se diseñó o la fuente que inspiró el diseño del programa, situación que corresponde al 58,5% de los 53 programas identificados y evaluados en su formulación, y a un 47,6 % de los 21 programas seleccionados para la etapa de evaluación. Como se aprecia en la Figura 1, en los casos en que se dispone de información, la mayoría de los casos el diseño corresponde a programas adaptados, específicamente, un 22, 6%


15

de los 53 identificados y un 28,6% de los 21 seleccionados para evaluación de su implementación.

Figura Nº1. Descriptivos de la formulación del diseño de los programas.

La originalidad en el diseño es menor dentro de ambos grupos. Si bien existe un porcentaje de programas que declara ser original en su diseño, es importante considerar que por tratarse de categorizaciones post hoc, los datos pueden contener inexactitudes.

0% 10% 20% 30% 40% 50% 60% 70%

Importado

Adapatado

Original

No se Explicta

21 ProgramasEvaluados

53 ProgramasSeleccionados


16

d2. Modalidad de Implementación

Como se aprecia en la Figura Nº2, los programas estudiados son bastante variados en cuanto a su modalidad de implementación. Si se considera el conjunto de 53 programas identificados, en su mayoría éstos no explicitan información respecto a la modalidad en que han sido implementados. Dentro del conjunto de programas evaluados en su implementación, en su mayoría fueron pensados integrados al programa educativo (22,6%); seguido por un 15,1% de programas cuyo diseño fue pensado en actividades extra escolares (e.g., el programa Modelo de Naciones Unidas que realiza actividades fuera del colegio e independientes de los módulos educativos del currículo escolar), y un 13,2% con un diseño mixto con módulos y actividades extra escolares. Finalmente, la modalidad de diseño menos frecuente es aquella acotada a módulos o asignaturas preexistentes en el currículo educacional (11,3%).

Figura Nº 2. Descripción de la modalidad de implementación de los programas.

Al centrar la mirada en aquellos programas evaluados en su implementación, el 38,1% tiene un diseño integrado en el programa educativo lo que en la muestra de este estudio

0% 5% 10% 15% 20% 25% 30% 35% 40%

Acotado a Modulos O asignaturas

preexistentes

Integrado a P.E.

En modulos y/o actividades extra

En actividad extra

integrado a asignatura mas módulos extra

No se explicita




17

marca una diferencia clara con respecto al conjunto más amplio de programas identificados. En segundo lugar de frecuencia, se ubican los programas cuyo diseño corresponde a módulos y/o actividades extra escolares (23,8%) y en tercer lugar, programas cuyo diseño corresponde a actividades extra escolares (19%). Los diseños acotados a módulos o asignaturas preexistentes e integrado a asignaturas más módulos extras comparativamente son menos frecuentes (4,8%) en la muestra de programas evaluados.

d3. Iniciativa para la participación en el programa.

Como se aprecia en la Figura Nº 3, en ambas muestras (programas seleccionados y evaluados) prima la participación voluntaria por parte de la institución escolar, ésta corresponde a un 43,8% del conjunto de los programas seleccionados y a 47,8% de aquellos programas evaluados en su implementación. Existe, sin embargo, un porcentaje de casos, 30.2% de los programas seleccionados y 4.8% de los evaluados, en los cuales no se explicita información respecto de esta dimensión. Otras opciones de participación como aquella determinada por un requerimiento externo y la participación voluntaria promovida por alguna persona de la institución son de menor frecuencia en los 53 programas identificados (8% y 6% respectivamente), y más frecuentes entre los programas evaluados (19% y 14% respectivamente).

Figura Nº 3. Descripción de las iniciativas para la participar en los programas.


18

d4. Población Objetivo

La población objetivo del programa es una dimensión relevante para comparar y diferenciar programas dirigidos a grupos similares. Entre los 53 programas identificados, el 27.4% declara que su población objetivo es la comunidad escolar, el 19.4% declara los estudiantes de enseñanza media, el 16.1% declara estar dirigido a estudiantes de enseñanza básica, el 14.5% a estudiantes de enseñanza básica y media, el 6,5% combina estudiantes de pre-básica, básica y media; el 7,5% se dirige a jóvenes en contextos no escolares, el 4.8% a docentes y finalmente un 3.2% a Pre-Básica.

Figura Nº 4. Descripción de las poblaciones objetivo de los programas.

0% 10% 20% 30% 40% 50%

Participación voluntaria de un colegio/organización

Participación voluntaria de una persona

Participación es determinada por una instancia externa a la institución

No se explicita

No aplica




19

Al analizar las poblaciones objetivo de los programas documentados se aprecian diferencias en relación al grupo de programas identificados. El 23,8% de los programas documentados dirige sus actividades a estudiantes de básica y media, un 19% se dirige a la comunidad escolar e igualmente otro 19% se dirige a estudiantes de enseñanza media. Un 14,3% de los programas se dirige a estudiantes de básica y otro 14,3% a jóvenes en contextos no escolares, y el 4,8% se dirige a docentes y otro 4,8% combina estudiantes de todo el ciclo educativo (pre-básica, básica y media). En síntesis, la comunidad escolar es el objetivo más frecuente entre los programas identificados y los estudiantes de básica y media entre los programas evaluados en su implementación para documentación.

d5. Contenido

Al considerar los contenidos que declaran desarrollar los programas, encontramos que en 57 de los programas identificados, el 22.8% de los programas se propone el desarrollo integral (declaran esa orientación considerando conocimientos, habilidades y actitudes), un 17.5% se plantea el desarrollo de actitudes, un 15.8% el desarrollo de habilidades, un 13,5% el desarrollo de conocimientos y actitudes, y un 8.8% el desarrollo de conocimiento

0% 5% 10% 15% 20% 25% 30%

Pre-Básica

Básica

Media

Pre- Básica y Básica

Básica y Media

Pre-Básica, Básica y Media.

Comunidad Escolar (Inclusivo).

Jóvenes en contextos no escolares

Docentes




20

y habilidades. Menos representados aparecen los programas que combinan el desarrollo de habilidades y actitudes y aquellos que desarrollan conocimientos. Un 14% de los programas no explicita información respecto de sus contenidos y/o no es posible inferirlo con la información proporcionada en los instrumentos.

Figura Nº 5. Descripción de los contenidos que declaran desarrollar los programas.

Estos porcentajes cambian al analizar los contenidos de los programas evaluados en su implemenación. Un 40% de estos programas se orienta al desarrollo de actitudes, un 20% al desarrollo de habilidades, un 15% se orienta al desarrollo integral. Nuevamente, aparecen menos representados los programas focalizados sólo en conocimientos, en conocimientos y habilidades, y aquellos que combinan habilidades y actitudes. Un 10% de los programas evaluados en su implementación no explicita información respecto de sus contenidos.

0% 5% 10% 15% 20% 25% 30% 35% 40% 45%

Conocimiento

Habilidades

Actitudes

Integral

conocimiento y habilidades

Habilidades y actitudes

Conocimiento y actitudes

No se explicita




21

d6. Tipo de Institución

En la muestra estudiada, existe una variedad de instituciones que diseña o crea los programas de formación ciudadana. Entre los 58 programas identificados, el 37.9% ha sido creado por instituciones privadas u ONG’s; el 12.1% por Universidades; otro 12.1% por Ministerios o secretarias de educación, un 12.1% por un conjunto de instituciones y el 10.3% por otra institución pública. Comparativamente los porcentajes de programas creados por una empresa, organismos internacionales y colegios son menores. Entre los programas evaluados en su implementación se observa un perfil similar. El 35% de los programas ha sido creado por organizaciones privadas u ONG’s, el 25% por Universidades, el 20% por ministerios o secretarias de educación, el 10% por colegios, y porcentajes menores por otras organizaciones.

Figura nº 6. Descripción de las instituciones que crean o desarrollan los programas.

En algunos de los países participantes del estudio, existe mayor homogeneidad (e.g., México) en el tipo de instituciones u organizaciones creadoras de los programas; en cambio, en otros (e.g., Colombia) se constata una mayor variabilidad de instituciones. En México, los 11 programas evaluados en su implementación corresponden a iniciativas estatales y federales. Seis de ellos son generados por la Secretaría de Educación Pública y son de alcance nacional. Los otros cinco programas son generados por el Instituto Federal Electoral (IFE) y se ofrecen a escuelas o entidades que lo soliciten. En el caso de Colombia,

0% 5% 10% 15% 20% 25% 30% 35% 40%

Ministerios o secretaría de …

Otra institución pública

Universidad

organización privada u ONG

Empresa

Conjunto de instituciones

Organismo Internacional

Colegio

No se explicita




22

los programas identificados pertenecen a una variada gama de instituciones, organizaciones privadas u ONGs e incluso uno de ellos proviene de una universidad.

d7. Lugar de Implementación

Al considerar los espacios en que se implementan los diferentes programas se aprecia que en el caso de los 53 programas identificados, un 43,4% se ejecuta en establecimientos educacionales, un 7,5% en una variedad de espacios, un 5,7% en espacios privados, y un 5,7% en espacios públicos. Los espacios educacionales son los principales contextos de implementación de los programas de formación ciudadana identificados por el estudio, aunque se debe considerar que en un 37,7% de los casos no explicita información respecto de esta dimensión.

Figura Nº 7. Descripción de los lugares en que se implementan los programas.

Entre los 21 programas evaluados en su implementación , se cuenta con información completa respecto de esta dimensión. Los establecimientos educacionales son el principal escenario en que se llevan a cabo los programas documentados (76,2%); en segundo lugar, aparecen los programas que desarrollan sus actividades en espacios públicos y comunitarios (14,3%). Con menor frecuencia los programas desarrollan sus actividades en espacios privados (4,8%) o en una variedad de espacios (4,8%).

0% 10% 20% 30% 40% 50% 60% 70% 80%

Establecimientos educacionales

Espacios Privados

Espacios Publicos y comunitarios

Variedad de Espacios

No se explicita




23

d8. Cobertura

Entre los 57 programas evaluados en su formulación, se observa que el 29.8% tiene cobertura de nivel nacional; el 24.6% tiene cobertura de nivel local o de ciudad; el 14% tiene cobertura internacional, el 17.5% sólo abarca un establecimiento educacional; un 7% cobertura de varios establecimientos educacionales a nivel de una región y un 7% tiene una cobertura que abarca más de una región. Comparativamente, entre los programas evaluados en su implementación, el 38,1% tiene cobertura de nivel nacional; el 14,3% tiene cobertura de nivel local o de ciudad; el 14,3% sólo abarca un establecimiento educacional; y el 14,3% tiene cobertura de varios establecimientos educacionales a nivel de una región. Solo el 9,5% tiene cobertura internacional, y otro 9,5% tiene una cobertura que abarca más de una región.

Figura Nº 8. Descripción del nivel de cobertura de los programas.

d9. Evaluación

Un primer aspecto de esta dimensión refiere a si los programas cuentan o no con algún sistema de evaluación y la mayoría de los programas estudiados declara tenerlo. Comparativamente. La evaluación es más frecuente en los programas evaluados en su implementación para documentación (95,2%) que en los programas identificados (66%).

0% 10% 20% 30% 40%

Un establecimiento educacional

Nivel local o ciudad

Varios establecimientos

nivel reginal

Mas de una región

Nivel nacional

Internacional




24

Un 29% de los programas identificados declara no tener sistema de evaluación comparado con sólo un 4,8% de aquellos documentados.

Figura Nº 9. Descripción de los tipos de evaluaciones declaradas en los programas.

Tal como se aprecia en la Figura Nº9, el tipo de evaluación con que cuentan los programas es variada y, de acuerdo a la información disponible en los instrumentos e informes de los estudios, no es posible discriminar más finamente entre categorías que señalan tipo y fuente de la evaluación. Entre los programas identificados, el 19.4% cuenta con evaluación internacional, el 27.4% con evaluación externa, el 4.8% con evaluación de proceso y el 1.6% con evaluación de resultado. Comparativamente, los porcentajes de evaluación internacional (38,1%) y de proceso (9,5%) son más altos en la muestra de programas documentados. Los datos disponibles no permiten distinguir si las evaluaciones que se declaran externas son además de proceso o resultado; igualmente, no se sabe si las declaradas de proceso o resultado son internas o externas.

d10. Fuente de Financiamiento:

El análisis de las fuentes de financiamiento de los programas estudiados indica que de los 53 programas identificados, en un 41,5% de los casos no se explicita la fuente de financiamiento. Del resto que se cuenta con esta información, el 35,8% refiere que su

0% 10% 20% 30% 40%

Externa

De proceso

De resultados

No se explicita

No aplica

Internacional

Sistema Con varios momentos e instrumentos




25

financiamiento es principalmente público y el 17% refiere financiamiento privado. Un perfil similar se observa en el financiamiento de los 21 programas documentados, de los cuales un 47,6% recibe financiamiento público y un 33,3% privado. El financiamiento mixto e internacional se ve representado en un porcentaje menor, un 9,5% mixto y un 4,8% de organismos internacionales, respectivamente.

Figura Nº 10. Descripción de las fuentes de financiamiento de los programas.

d11. Equipo Ejecutor

A través del análisis de la procedencia y composición de los equipos ejecutores de los 53 programas identificados, se constata que en un 39,6% no se explicita dicha información al respecto. En el 24,5% de los casos, los equipos que ejecutan los programas están compuestos por docentes pertenecientes a los establecimientos educacionales o diplomados; en el 20,8% de los programas, los ejecutores son equipos internos junto con otras personas capacitadas, en el 9,4% de los programas los equipos ejecutores pertenecen al programa mismo (externos a la institución en donde se ejecuta el programa) y la combinación de personal del programa más colaboradores que ejecutan es menor (5,7%). Dentro de los 21 programas evaluados en su implementación, en un 33,3% de los casos los equipos ejecutores son equipos docentes (internos a la institución en donde se ejecuta el programa) y equipos del programa (externos a la institución en que se

0% 10% 20% 30% 40% 50% 60%

Publico

Privado

Mixto

organismos internacionales

no se explicita




26

ejecuta) junto con personal capacitado para este fin. En un 19% de los casos quienes llevan a cabo las actividades son los equipos ejecutores del programa (externos a la institución en que se ejecuta) y, en el 9,5% de los casos, los ejecutores incluyen el equipo del programa más otros profesionales colaboradores (externos a la institución que ejecuta).

Figura Nº 11. Descripción de la procedencia de los equipos ejecutores de los programas.

0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50%

Equipo del programa (profesionales y técnicos externos a la institución)

Equipo del programa mas personal capacitado (ej. Equipos docentes, universitarios)

Equipo del programa mas profesionales colaboradores

Equipos docentes (de establecimientos y diplomados)

No se explicita




27

d12. Productos

Solamente 13 del total de programas identificados y documentados, refiere haber generado productos, lo que equivale a un 19,7% de los programas identificados y a un 61.9% de los programas evaluados en su implementación.

Figura Nº 12. Descripción de los productos declarados. Los 13 programas declaran 25 productos generados desde sus programas.

En total, los 13 programas declaran 25 productos, de lo que se desprende que algunos programas han generado más de un producto en el transcurso de su implementación (e.g., Programa de Formación Ciudadana Ciudad Naleb del estudio de Guatemala, Escuela Mundo Karol: Gobierno Escolar de Niños y Niñas del estudio de Chile). Respecto al tipo de productos declarados, en la figura Nº 17 se aprecia que los Materiales educativos y/o guías para docentes son los que se generan con mayor frecuencia (36%), y en segundo lugar, los Materiales audiovisuales (20%) y los Cuadernos de trabajo para estudiantes (16%). Otros productos más específicos (e.g., guías de formación ciudadana, creación de cursos, capacitación de jóvenes, estudios y eventos) aparecen mencionados con menor frecuencia.

0% 10% 20% 30% 40% 50%

Matarial educativo y/o Guía para docentes

Cuaderno de trabajo para estudiantes

Material audiovisual

Guía de formación ciudadana

Jóvenes Capacitados (diplomados)

Creación de cursos

Estudios

Eventos

13 de los Identificados y Seleccionados


28

e. Análisis Cuantitativo de la Evaluación de la Formulación (escrita) de los Programas

Los resultados descritos en esta sección se basan en el análisis de la evaluación de indicadores de calidad de la formulación de los programas a través del Cuestionario de Evaluación (Etapa IIa). Los estudios de cada país evaluaron los criterios definidos para cada dimensión de los objetos (i.e., Objetivos, Metodología, Gestión y Resultados) y sus correspondientes indicadores a partir de la información contenida en las fichas descriptivas de los programas, la revisión de documentos, páginas web e información proporcionada por informantes clave. En Colombia, por ejemplo a estas estrategias se agrega la entrevista a los directores de cada programa, aun cuando esta estrategia se había sugerido para la evaluación de la implementación de los programas (Etapa IIb). En el conjunto de los programas identificados, la muestra para estos análisis corresponde a 62 programas.

Para cada uno de los indicadores evaluados en cada objeto (i.e., objetivos, metodología, gestión y resultados), se calculó el promedio de la evaluación del conjunto de programas evaluados en su formulación en cada país. Para cada indicador evaluado, se presenta una figura que describe el promedio muestral (e.g., muestra de programas de los 6 estudios) y el promedio del país.

f. Evaluación de los Objetivos del Programa.

Los resultados de la evaluación de Objetivos de los programas indican que en los 7 indicadores, la evaluación del planteamiento de los objetivos en aspectos de claridad, especificación de conocimientos, especificación de actitudes, especificación de habilidades, diferenciación etaria, fundamentación, alusión al contexto nacional es positiva y fluctúa entre 3,06 y 3,71 en una escala de 1-4, en la cual 1 corresponde a “no se cumple” y 4 a “se cumple totalmente”. Como se aprecia en la Figura Nº10, los promedios de evaluación de cada indicador observan algunas diferencias por pais. Los programas de la muestra de República Dominicana reciben evaluaciones bajo la media general en 5 de los 7 los indicadores de calidad de la formulacion de objetivos, con excepción del indicador referido a la fundamentacion de los objetivos en valores o ideas de la formación ciudadana y su alusión al contexto nacional. Similarmente, los programas evaluados en el estudio de guatemala obtienen puntuaciones bajo la media general en 4 de los 7 indicadores evaluados, específicamente, en la medida que los objetivos especifican habilidades y la medida en que se fundamentan en ideas o valores de formación


29

ciudadana, como también en la medida en que aluden a problemáticas del contexto nacional.

En la muestra de Guatemala, el indicador referido al “planteamiento diferenciado de objetivos de acuerdo a la edad de los usuarios” fue calificado sólo en uno de los programas seleccionados, por lo cual no pudo computarse el promedio para la muestra de este país.

Figura Nº 13. Distribución de medias por país para la evaluación de Objetivos (formulación)


30

Comparativamente con las actitudes y habilidades de formación ciudadana, los programas evaluados se proponen en menor medida objetivos relativos al desarrollo de conocimientos. Finalmente, los programas evaluados en los 6 estudios están claramente fundamentados en ideas o valores de la formación ciudadana.

1,0 2,0 3,0 4,0

Los objetivos del programa son claros y comprensibles a la lectura

Los objetivos especifican conocimientos estipuladas en el marco conceptual (Matriz

SREDECC)

Los objetivos especifican actitudes estipuladas en el marco conceptual (Matriz SREDECC)

Los objetivos especifican habilidades estipuladas en el marco conceptual (Matriz SREDECC)

Se plantean objetivos diferenciados según la edad de los usuarios (niñez o adolescencia)

Los objetivos están fundamentados en ideas o valores acerca de la formación ciudadana

El marco conceptual y/o los objetivos hacen alusión a problemáticas del contexto nacional

Rep. Dominicana Paraguay Mexico Colombia Guatemala Chile PromedioGeneral (n=62)


31

g. Evaluación de la Metodología de los Programas.

Referente a la metodología de los programas, 7 de los 8 indicadores fueron evaluados con un promedio sobre 3. Estos resultados indican que, en general, los programas fueron evaluados positivamente en su explicitación de actividades, el grado de adecuación de las actividades con los objetivos, la concordancia de la metodología con los objetivos y la cualidad participativa de la metodología del programa. Comparativamente, el indicador peor evaluado es la medida en que los programas explicitan recursos económicos para cada uno de los objetivos (2.79).

Al analizar la distribución de puntajes es importante tener en cuenta que en los estudios de México y República Dominicana no se reportaron información referente a algunos de los indicadores evaluados en esta sección por lo que las medias generales no fueron calculadas con datos completos en los diferentes países. En el indicador “El programa explicita tiempos para cada uno de los objetivos” faltan datos de los programas de Republica Dominicana y en el indicador “El programa explicita recursos económicos para cada uno de los objetivos” faltan datos de los programas de México y Republica Dominicana. Se observa que la muestra de Guatemala observa puntajes bajo la media en 5 indicadores, mientras que las muestras de Colombia y Chile observan puntajes sobre la media en la mayoría de los indicadores.

Figura Nº 14. Distribución de medias por país para la metodología


32

1,0 1,5 2,0 2,5 3,0 3,5 4,0

El programa explicita actividades para cada uno de los objetivos

El programa explicita tiempos para cada uno de los objetivos

El programa explicita recursos económicos para cada uno de los objetivos

El número de actividades propuestas es apropiado a los objetivos formulados por el programa

Los tiempos considerados por el programa son apropiados para los objetivos

La metodología formulada es concordante con los objetivos que se propone el programa

La metodología del programa es participativa ( ver marco conceptual Anexo 6)

Las actividades han sido diseñadas de acuerdo a las características del ciclo evolutivo de sus

usuarios



33

h. Evaluación de la Gestión de los Programas.

Las evaluaciones de los dos indicadores de gestión (número adecuado de personal y evaluaciones realizadas) de los programas revelan promedios más bajos en comparación con las evaluaciones de objetivos y metodología de los programas. El atributo evaluado más negativamente son las evaluaciones realizadas (promedio 3.08). Este promedio, sin embargo, no revela las diferencias observadas por país, pues México y República Dominicana comparativamente, evalúan con puntajes más bajos este atributo en sus programas.

Figura Nº 15. Distribución de medias por país para la gestión, en la etapa de identificación.

La evaluación del número de personal para la implementación de los programas, en promedio recibe un puntaje de 3.47, y es evaluado positivamente en 4 de los 6 países. Solamente República Dominicana muestra un puntaje bajo la media general, en cambio México y Paraguay sobre la media general. Similarmente, el indicador que refiere a las evaluaciones realizadas en los programas es evaluado positivamente en 5 de las 6

1,0 1,5 2,0 2,5 3,0 3,5 4,0

El programa contempla un número adecuado de personal

para su implementación

Evaluaciones realizadas



34

muestras con excepción del estudio de México que se ubica bajo la media en este indicador.

i. Evaluación de los Resultados de los Programas.

La evaluación del objeto Resultados de los Programas incluyó dos indicadores, la vinculación de los objetivos y actividades con otros actores de la comunidad, y la presencia de una estrategia institucional para la vinculación de la comunidad escolar.

Figura Nº 16. Distribución de medias por país para los resultados, en la etapa de identificación.

Tal como indica la Figura Nº 16, en cinco de los seis estudios se evalúa positivamente la medida en que los programas vinculan a los usuarios con otros actores de la comunidad (promedio 3.55). Solamente la muestra de México presenta puntajes ligeramente bajo el promedio. En cuanto al segundo atributo, éste recibe un puntaje medio de 3.02. Solamente los programas de Paraguay y Republica Dominicana reciben puntuaciones más altas en la presencia de estrategia institucional para involucrar a todos los actores de la comunidad escolar en el programa de formación ciudadana. Comparativamente, las muestras de México y Guatemala reciben puntuaciones bajo el promedio general.

1,0 1,5 2,0 2,5 3,0 3,5 4,0

Los objetivos y/o actividades proponen vincular a los usuarios con otros actores de la comunidad como son

las familias, organizaciones vecinales, etc.

Se identifica una estrategia institucional para involucrar a todos los actores de la comunidad escolar (dirección,

profesores, estudiantes, administrativos) en la formación ciudadana

Rep. Dominicana Paraguay Mexico Colombia Guatemala Chile PromedioGeneral (n= 62)


35

j. Síntesis de los hallazgos referidos a los programas evaluados en su Formulación.

A través de los análisis cualitativos se ha intentado caracterizar a los programas estudiados en dimensiones relacionadas con su diseño, contenidos, población objetivo, y modalidad de implementación de manera de relevar tendencias en la muestra de programas estudiados. Es importante notar que la información descriptiva de los programas recopilada a través de los estudios nacionales no es comparable en todas las dimensiones creadas. Por lo mismo, es importante tener cautela en la interpretación de estos resultados pues pueden contener inexactitudes.

Del conjunto de programas de los cuales se dispone de información, la mayoría constituye versiones adaptadas de otros programas y, en una proporción menor, son programas de diseño propio , cuyo diseño frecuentemente está integrado al programa educativo y, en otros casos, pensado en forma actividades extraescolares.

En cuanto a población objetivo, la gran mayoría de los programas evaluados, ya sea en su formulación como en su implementación, está dirigido a estudiantes de los distintos niveles de enseñanza escolar. Los programas evaluados en su formulación, con mayor frecuencia, declaran estar dirigidos a la comunidad escolar en su conjunto, y a estudiantes de enseñanza media y básica. Alternativamente, los programas evaluados en su implementación, están dirigidos con mayor frecuencia a estudiantes de enseñanza básica y media, y solamente de enseñanza media o a la comunidad escolar en su conjunto. Los programas dirigidos a docentes representan cerca del 5% tanto de los programas evaluados en su formulación como de los evaluados en su implementación. Concordante con lo anterior, en su gran mayoría los programas estudiados se implementan en establecimientos educacionales. Los hallazgos anteriores reflejan apropiadamente las prioridades del estudio SREDECC en el sentido de que los estudios nacionales han identificado programas dirigidos a jóvenes en el sistema escolar.

Al analizar los principales contenidos que desarrollan los programas se observan similitudes entre las dos muestras. Entre los programas identificados se observa una representación balanceada de diferentes contenidos. En proporciones similares, los programas fomentan el desarrollo integral de competencias ciudadanas y de actitudes y, con menor frecuencia, de habilidades para la formación ciudadana. En la muestra de programas documentados, la mayor parte se enfoca al desarrollo de actitudes y, con menor frecuencia, a habilidades ciudadanas y al desarrollo integral.

En cuanto al tipo de instituciones que diseña o imparte los programas se observa variedad entre las muestras de los países. En algunos (México) priman las instituciones públicas, en otros (Colombia) diversas instituciones imparten programas. En el conjunto de cada muestra las ONG’s y luego las universidades son las instituciones que con mayor frecuencia crean o imparten programas de formación ciudadana.


36

Las muestras estudiadas tienen representación de programas con diferente amplitud en su cobertura. La mayoría de los programas se implementa a nivel nacional y, en segundo lugar, a nivel de una localidad o una ciudad; en tercer lugar de frecuencia aparecen programas acotados a un establecimiento educacional.

Alrededor de un tercio de los programas seleccionados no cuenta con evaluación, porcentaje que se reduce a un mínimo en los programas evaluados en su implementación. La cifra anterior provee evidencia indirecta de que la selección de programas para documentación fue apropiada en el sentido de haber incluido un mayor número de programas que contaban con algún tipo de evaluación. Con respecto a los tipos de evaluación realizadas la información disponible es imprecisa y no permite concluir respecto de los tipos de evaluaciones disponibles como tampoco del carácter de ésta (i.e., interna versus externa).

En cuanto a la evaluación cuantitativa de indicadores de calidad, podemos observar que, en su conjunto, los programas tienen fortalezas en la claridad de formulación de sus objetivos, como también en la medida en que sus objetivos traducen apropiadamente actitudes, habilidades o conocimientos de formación ciudadana. Adicionalmente, los programas tienen un marco conceptual o valórico acerca de la formación ciudadana que orienta su accionar, y reflejan problemáticas del contexto nacional de los estudiantes. En cuanto a su metodología, aparecen fortalezas en el uso de pedagogías participativas, concordantes con los objetivos que se proponen los programas y desarrollan actividades apropiadas a la etapa evolutiva de los usuarios. Aspectos débiles en la metodología de los programas son la adecuación de los tiempos y la insuficiencia de recursos económicos para el cumplimiento de los objetivos

Comparativamente, la evaluación de los indicadores de gestión es mas baja, tanto en la cantidad de personal de que disponen los programas como en las evaluaciones realizadas; sin embargo, es importante tener presente que existen claras diferencias por países en la evaluación de estos indicadores.

Finalmente, respecto de la evaluación de los indicadores de resultados destaca la capacidad de los programas de vincular, a través de los objetivos y actividades, a los usuarios con otros actores de

la comunidad. En cambo, las estrategias institucionales para la vinculación de la comunidad puede ser menos atingentes dependiendo de los objetivos y modalidad de implementación del programa.


37

IV. EVALUACIÓN DE LA IMPLEMENTACIÓN DE PROGRAMAS DE FORMACIÓN CIUDADANA (ETAPA IIB)

El objetivo de esta etapa fue evaluar y documentar en cada país 5 programas evaluados en su implementación, según los criterios de calidad previamente establecidos (Cuestionario Etapa IIB). La evaluación en esta etapa se focaliza en la implementación y el desarrollo del programa. La muestra está constituida por 21 programas de formación ciudadana evaluados en su implementación por los estudios de 4 países (5 programas de México, 5 de Colombia, 5 de Chile y 6 de Guatemala). Como se recordará, no fue posible disponer de la información de Paraguay y República Dominicana.

a. Criterios para selección y descarte de programas.

Para seleccionar los programas a ser evaluados en su implementación, los consultores utilizaron como criterio principal el puntaje obtenido por cada programa en la evaluación de la formulación los cuatro objetos descrita en la sección anterior. Sin embargo, en tres de los estudios, se consideraron otros criterios para seleccionar, para descartar y/o para reemplazar programas.

En México, de los 5 programas evaluados en su implementación por puntaje, se debió descartar uno por no encontrarse vigente al momento del estudio. Para reemplazarlo no sólo se utilizó el criterio del puntaje, sino también el de representatividad, en este caso se privilegió ampliar la representación en la muestra de instituciones diseñadoras de los programas de formación ciudadana. El criterio de representatividad también fue utilizado en el estudio de Chile, en cuyo caso se privilegió ampliar el tipo de programas presentes en la muestra.

El estudio de Guatemala realizó el trabajo de campo paralelamente a la revisión documental, y descartó algunos programas debido a que la documentación era incompleta y, la observación en la práctica del programa, no correspondía a objetivos de formación ciudadana.

b. Metodología


38

Los instrumentos utilizados en esta etapa corresponde a las pautas de entrevista a directivos, grupos focales a equipos ejecutores y usuarios y observación de actividades de los programas. Esta información en su conjunto fue utilizada para evaluar los criterios de calidad definidos para la implementación de los programas (Cuestionario Para La Evaluación De Criterios Etapa IIb).

En su mayoría los 4 estudios que llevaron a cabo esta etapa completaron todos los instrumentos diseñados en los términos de referencia (TOR), a saber, revisión de documentos, entrevistas con el /la director/a del programa, observaciones, grupos focales con el equipo ejecutor y grupos focales con los usuarios del programa. En un 33,3% de los programas documentados no fue posible realizar la observación de actividades por motivos logísticos relacionados con el cierre o inminente término del año académico escolar en los establecimientos o lugares en que se desarrollaba el programa.

Figura Nº 17. Descripción de los procedimientos de documentación llevados a cabo para los programas evaluados en su implementación.

c. Análisis cuantitativo de la evaluación de la implementación de los programas Los resultados que se describen a continuación corresponden al análisis cuantitativo de los resultados de la evaluación de los indicadores de calidad previamente establecidas para la implementación de los programas. Los datos para este análisis provienen del Cuestionario de Evaluación de Criterios que evalúa indicadores de la calidad de la

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

70,0%

Todas las actividades Faltó observación

21 Programas Evaluados


39

implementación en cuatro objetos: objetivos (3), metodología (6), gestión (3) y resultados (4).

Para cada uno de los indicadores evaluados en cada objeto (i.e., objetivos, metodología, gestión y resultados), se calculó el promedio de la evaluación del conjunto de programas evaluados en su implementación en cada país. Para cada indicador evaluado, se presenta una figura que describe el promedio muestral (e.g., muestra de programas de los 4 estudios) y el promedio del país.

d. Resultados

Como se aprecia en la Tabla Nº 3, los indicadores definidos para cada uno de los criterios de la evaluación de la implementación son distintos en la mayoría de los casos a los indicadores de la evaluación de la formulación de los programas, lo que agrega información nueva y de fuentes diferentes para aquellos programas que fueron evaluados en su implementación.

Tabla Nº3. Comparación de criterios evaluados para cada Objeto en las etapas de selección y evaluación de los programas.

Etapa de Selección Etapa de Evaluación

Objetivos Los objetivos del programa son claros y comprensibles a la lectura

Los integrantes del equipo ejecutor pueden explicar los objetivos del programa

Los objetivos especifican conocimientos estipuladas en el marco conceptual (Matriz SREDECC)

Los objetivos del programa que el equipo ejecutor explica son concordantes entre sí

Los objetivos especifican actitudes estipuladas en el marco conceptual (Matriz SREDECC)

Los objetivos de formación ciudadana responden a la realidad sociopolítica y cultural de sus usuarios

Los objetivos especifican habilidades estipuladas en el marco conceptual (Matriz SREDECC)

Las actividades están conectadas con problemáticas del contexto nacional

Se plantean objetivos diferenciados según la edad de los usuarios (niñez o adolescencia)

Los objetivos están fundamentados en ideas o valores acerca de la formación ciudadana

El marco conceptual y/o los objetivos


40

hacen alusión a problemáticas del contexto nacional


41

Metodología El programa explicita actividades para cada uno de los objetivos

Existen actividades para el logro de los objetivos

El programa explicita tiempos para cada uno de los objetivos

El número de actividades es apropiado a los objetivos propuestos

El programa explicita recursos económicos para cada uno de los objetivos

Los tiempos utilizados son suficientes para las actividades


La metodología implementada es concordante con los objetivos propuestos

Los tiempos considerados por el programa son apropiados para los objetivos

La metodología que implementa el programa es participativa (ver Marco Conceptual)

La metodología formulada es concordante con los objetivos que se propone el programa

Las actividades implementadas por el programa corresponden a las características del ciclo evolutivo de los usuarios

La metodología del programa es participativa ( ver marco conceptual Anexo 6)

El programa pone en práctica un clima de aceptación, respeto a las diferencias y a los valores ciudadanos

Las actividades han sido diseñadas de acuerdo a las características del ciclo evolutivo de sus usuarios

Gestión El programa contempla un número adecuado de personal para su implementación

Existen equipos destinados a la implementación del programa

Evaluaciones realizadas Existen espacios destinados a la implementación del programa

Existen materiales destinados a la implementación del programa

Se dispone de recursos económicos suficientes para la implementación del programa

El personal del programa es adecuado en número

El equipo ejecutor del programa tiene jornadas laborales adecuadas a los requerimientos (coordinación y planificación) de su implementación

Los miembros del equipo ejecutor han sido capacitados en formación ciudadana

Resultados


42

Los objetivos y/o actividades proponen vincular a los usuarios con otros actores de la comunidad como son las familias, organizaciones vecinales, etc.

En la implementación del programa los usuarios se vinculan con otros actores de la comunidad

Se identifica una estrategia institucional para involucrar a todos los actores de la comunidad escolar (dirección, profesores, estudiantes, administrativos) en la formación ciudadana

Se desarrolla una estrategia institucional para involucrar a todos los actores de la comunidad escolar (dirección, profesores, estudiantes, administrativos) en la formación ciudadana.

Buenos resultados en la evaluación interna del programa

Buenos resultados en la evaluación externa del programa (pruebas nacionales o internacionales)

El programa ha generado publicaciones, campañas, y actividades de extensión

A continuación se presentan los resultados de los indicadores evaluados para cada objeto (Objetivos, Metodología, Gestión y Resultados) de la implementación de los programas.

d1. Evaluación de los Objetivos de los Programa.

En su conjunto, los puntajes de evaluación de los indicadores de calidad en la implementación de objetivos revelan escasa dispersión intra e inter-estudios y son muy positivas (media sobre 3,6 de un máximo de 4; rango 3,2-4.0). Tal como se aprecia en la Figura 17, dentro de la muestra de cada país, los rangos de fluctuación de los puntajes son mínimos. Comparativamente, los programas del estudio de México presentan los puntajes más bajos, y los de Colombia los más altos en la evaluación de la implementación de los objetivos.


43

Figura Nº 18. Distribución de medias por país para los Objetivos, en la etapa de Documentación.

d2. Evaluación de la Metodología de los Programas.

Tal como lo indica la Figura Nº19, los puntajes promedio de las evaluaciones de los atributos metodológicos de los programas documentados son altos y fluctúan entre 3,33 y 4.0, siendo 4 el máximo puntaje. Al analizar la dispersión de puntajes por criterio, se observa que la evaluación tiende a ser más positiva respecto al tipo de actividades y al número de actividades que los programas implementan para lograr sus objetivos. En cambio, otros aspectos de la metodología como son su concordancia con los objetivos del

1,0 1,5 2,0 2,5 3,0 3,5 4,0

Los integrantes del equipo ejecutor pueden explicar los objetivos del programa

Los objetivos del programa que el equipo ejecutor explica son concordantes entre sí

Los objetivos de formación ciudadana responden a la realidad sociopolítica y cultural de sus usuarios

Las actividades están conectadas con problemáticas del contexto nacional

México Colombia Guatemala Chile PromedioGeneral


44

programa, la medida en que son participativas y crean un clima de aceptación fueron evaluadas en forma más diversa en los diferentes estudios.

Sin embargo, al analizar los puntajes de evaluación de cada criterio por país se revelan diferencias importantes. La muestra de México recibe evaluaciones bajo la media en todas las dimensiones presentadas e incluso con mayores diferencias en los atributos referentes a la concordancia de la metodología con los objetivos (2,6) y la cualidad participativa de la metodología (2,2). Así mismo, los programas de Guatemala también presentan evaluaciones más bajas en algunos de los indicadores (e.g., medida en que el programa pone en práctica un clima de tolerancia, respeto a las diferencias y a los valores) en relación a los puntajes del resto de los países. Alternativamente, las puntuaciones de la muestra de Colombia son los más altos en 7 de los 8 indicadores (puntajes de 4 o muy cercanos a 4) y en el caso de Chile en 5 de los 8 indicadores.


45

Figura Nº 19. Distribución de medias por país para la evaluación de metodología.

d3. Evaluación de la Gestión de los Programas.

Las evaluaciones de los indicadores de gestión en la implementación de los programas evidencian mayor variabilidad entre las muestras de los países. Tal como se observa en la Figura Nº 20, los promedios muéstrales de cada indicador son altos y fluctúan entre 3,0 y 3,81 por indicador.

1,0 1,5 2,0 2,5 3,0 3,5 4,0

Existen actividades para el logro de los objetivos

Los tiempos utilizados son suficientes para las actividades

El tipo de actividades implementadas es apropiado a los objetivos propuestos


La metodología implementada es concordante con los objetivos propuestos

La metodología que implementa el programa es participativa (ver Marco Conceptual)

Las actividades implementadas por el programa corresponden a las características del ciclo

evolutivo de sus usuarios

El programa pone en práctica un clima de aceptación, respeto a las diferencias y a los valores

ciudadanos

México Colombia Guatemala Chile PromedioGeneral


46

Figura Nº 20. Distribución de medias por país para la Evaluación de Gestión

Los indicadores más positiva y uniformemente evaluados fueron la existencia de espacios y de materiales apropiados para la implementación del programa, aunque la existencia de equipos destinados a la implementación también muestra una evaluación uniforme y positivo excepto en la muestra de Guatemala que obtuvo un puntaje bajo el promedio del criterio. En cambio, la disponibilidad de recursos económicos suficientes fue evaluada bajo

1,0 1,5 2,0 2,5 3,0 3,5 4,0

Existen equipos destinados a la implementación del programa

Existen espacios destinados a la implementación del programa

Existen materiales destinados a la implementación del programa

Se dispone de recursos económicos suficientes para la implementación del programa

El personal del programa es adecuado en número

El equipo ejecutor del programa tiene jornadas laborales adecuadas a los requerimientos

coordinación y planificación) de su implementación

Los miembros del equipo ejecutor han sido capacitados en formación ciudadana

México Colombia Guatemala Chile PromedioGeneral (n=21)


47

la media en 3 de los 4 países. La disponibilidad de personal fue evaluada levemente sobre 3 puntos promedio siendo las muestras de Chile y Colombia las que observan los puntajes más altos en este criterio (3.4 en ambos casos). En cuanto a la adecuación de las jornadas laborales el promedio también está levemente sobre 3, y en este caso, las muestras de Chile, Guatemala y México tienen puntuaciones bajo la media (menor a 2.8). Solamente la muestra de Colombia tiene una puntuación alta (4 puntos), siguiendo la tendencia general del país que evalúa todos los criterios de gestión sobre la media. Finalmente, la capacitación de los equipos ejecutores en formación ciudadana es evaluada con una media de 3.19, siendo Colombia y Guatemala los países que más se distancian de ese puntaje, con puntajes de 3.8 y 2.7 respectivamente.

Al analizar variaciones en la distribución de puntajes por pais, observamos que la muestra de programas de Colombia observa puntuaciones máximas en 4 de los 7 indicadores de calidad. En cambio, la muestra de Guatemala tiene puntuaciones consistentemente bajo la media en estos indicadores, y la de México en 4 de los 7 indicadores.

d4. Evaluación de los Resultados de los Programas.

Comparativamente, los indicadores de calidad de los resultados reciben puntuaciones más bajas que otros objetos de evaluación, exceptuando el indicador que refiere a los productos generados (e.g., campañas, publicaciones y actividades) desde los programas, el cual es evaluado positiva y uniformemente en las muestras de los 4 países.


48

Figura Nº 21. Distribución de Medias por País para la Evaluación de Resultados.


49

Los programas de Chile y de Guatemala tiene puntajes sobre la media (2,85) en su capacidad de vincular a los usuarios con otros actores de la comunidad; los de la muestra

1,0 2,0 3,0 4,0

En la implementación del programa los usuariosse vinculan con otros actores de la comunidad

Se desarrolla una estrategia institucional parainvolucrar a todos los actores de la comunidadescolar (dirección, profesores, estudiantes,administrativos) en la formación ciudadana.

Buenos resultados en la evaluación interna delprograma

Buenos resultados en la evaluación externa delprograma (pruebas nacionales o internacionales)

El programa ha generado publicaciones,campañas, y actividades de extensión

Mexico Colombia Guatemala Chile PromedioGeneral


50

de Colombia en cambio tienen puntuaciones bajo la media, México se ubica en la media general. Exceptuando México, los programas de los otros tres países obtienen puntuaciones sobre la media (2.3) en su capacidad de generar una estrategia institucional para involucrar a todos los actores de la comunidad escolar. Finalmente, la evaluación del indicador referido a buenos resultados en evaluaciones externas muestra gran variación entre países (media 3). Los programas de Chile y Colombia obtienen máximo puntaje y los de Guatemala en la media, y los de México muy por debajo del promedio.

En la evaluación de los indicadores de resultados, es importante mencionar que existen vacíos de información (i.e., no se puede observar) en los estudios de varios países. La tabla N°5, detalla el número de programas que fueron evaluados en cada criterio en la muestra de cada país. Como puede apreciarse el criterio de evaluaciones externas se observó con menor frecuencia en los programas documentados (e.g., en el estudio de Colombia fue observado sólo en 1 programa, en los de Chile y Guatemala en 2 programas, y en México en 3 de sus programas).

Tabla Nº 4. Detalle de los programas que reportan información en la evaluación de los Resultados.

Indicadores

Chile (5) Guatemala (6) Colombia (5) México (5)

En la implementación del programa los usuarios se vinculan con otros actores de la comunidad

4 5 5 5

Se desarrolla una estrategia institucional para involucrar a todos los actores de la comunidad escolar (dirección, profesores, estudiantes, administrativos) en la formación ciudadana.

4 5 5 5

Buenos resultados en la evaluación interna del programa

4 5 5 3

Buenos resultados en la evaluación externa del programa (pruebas nacionales o internacionales)

2 2 1 3

El programa ha generado publicaciones, campañas, y actividades de extensión

4 5 5 5


51

Para este análisis de las variables pre-establecidas se consideró los puntajes asignados por los consultores en los correspondientes cuestionarios, pero también su análisis intra-país de las fortalezas, debilidades, similitudes y diferencias entre programas.

e. Dificultades

No obstante los procedimientos descritos en los términos de referencia, es importante considerar las variaciones en metodología que se presentaron en los estudios. En algunos casos, por consideraciones de factibilidad se alteró el procedimiento de la evaluación, en otros se redujo el número de instrumentos (e.g., estudio de Guatemala), o se varió el tipo de información (e.g., uso de videos en estudio de Colombia). Estas variaciones dan cuenta de que en algunos programas, las evaluaciones cuantitativas (Cuestionario Etapa IIb) estén basadas en un número desigual de fuentes.

En relación al trabajo de campo, la principal dificultad fue llevar a cabo la observación de actividades de los programas, que no fue posible realizar en los estudios de Colombia y Guatemala por término de periodo escolar, situación que también dificultó otras instancias de recolección de datos. En el estudio de Colombia, también se presentaron dificultades para acceder a algunas regiones donde se desarrollaban programas, por las condiciones del territorio.

Finalmente, una complicación compartida por varios países es la falta de recursos para el desplazamiento del equipo a los lugares en que se desarrollan los programas con el fin de realizar las actividades de evaluación en terreno.

f. Síntesis de los hallazgos

En un porcentaje mayor al 40 % no se explicita la fuente de financiamiento de los programas estudiados. Del conjunto de programas en los cuales se dispone de esta información, el financiamiento habitualmente es público y, en segundo lugar de frecuencia, privado.

Similarmente, en un 40% de los programas identificados no fue posible determinar la composición del equipo ejecutor del programa. En los restantes, el equipo ejecutor habitualmente está compuesto por el equipo del programa más personal capacitado y, en menor frecuencia, el equipo ejecutor está constituido por docentes del establecimiento educacional. Esta tendencia se repite en la muestra de programas documentados.


52

Cerca del 20 % de los programas identificados y sobre el 60% de los documentados ha generado productos, en su mayoría, material educativo impreso y material audiovisual.

El análisis de los indicadores de la calidad de los programas documentados indican que la evaluación de la implementación de los objetivos, es en general, es positiva en cuanto a la apropiación de los objetivos del programa por parte del equipo ejecutor, la vinculación de los objetivos de los programas con la realidad sociopolítica y cultural de los usuarios y la conexión de las actividades con problemáticas del contexto nacional, hallazgos que relevan la validez ecológica de los programas estudiados.

La evaluación de criterios de calidad en la implementación de la metodología de los programas presenta mayores diferencias. La evaluación del tipo y número de actividades que los programas implementan para lograr sus objetivos es positiva; sin embargo la cualidad participativa de la metodología y la medida en que los programas crean un clima de aceptación y respeto a valores cívico, presenta mayores diferencias en las muestras de los distintos países. En estos indicadores se aprecia asimismo, que las muestras de Colombia y Chile observan puntajes sistemáticamente más altos en cambio la de México, sistemáticamente más bajos que la media muestral.

Dos de los indicadores de calidad en la implementación de la gestión, específicamente la existencia de espacios y materiales apropiados así como también la existencia de equipos destinados a la implementación del programa fueron evaluados positivamente. En cambio, la disponibilidad de recursos económicos, la disponibilidad de personal y la adecuación de las jornadas laborales del personal del programa fueron evaluados menos favorablemente, lo que señala puntos de vulnerabilidad en la implementación de los programas de formación ciudadana en general.

Los resultados de los programas documentados fueron evaluados positivamente así como también la medida en que los programas vinculan a los usuarios con otros actores de la comunidad y desarrollan una estrategia institucional para vincular a los actores de la comunidad escolar. En cambio, es difícil concluir respecto de la calidad de los resultados que obtienen los programas por la menor disponibilidad de estos datos y las diferencias entre las muestras de distintos países (e.g., Colombia y Chile evaluaciones más positivas versus Guatemala y México evaluaciones menos favorables). Los hallazgos de la calidad de los resultados de evaluaciones externas de los programas son menos confiables y deben interpretarse con cautela considerando que falta esta información en varios de los programas de la muestra. En su conjunto, sin embargo, estos hallazgos indican que la evaluación es uno de los aspectos que requiere atención en los programas de formación ciudadana.


53

g. Comparación de la evaluación de formulación e implementación de los programas

Tal como se aprecia en la Tabla N°5, la comparación de los resultados de la evaluación de

los indicadores de calidad de la formulación y de la implementación por programa

muestra consistencia en la mayoría, como también evaluaciones de la implementación

más bajas en relación a su formulación (7 programas) y evaluaciones de la

implementación más altas en relación a las de su formulación (5 programas). Las

evaluaciones discordantes se concentran en los indicadores de gestión y resultados. Al

analizar las tendencias por país, se observa que los programas del estudio de Colombia

observan mayor consistencia entre sus evaluaciones de formulación e implementación, y

los de México la mayor variación entre ambas evaluaciones.

Tabla Nº5. Comparación de los promedios generales de cada programa en cada objeto evaluado en dos

momentos: formulación e implementación.

País Nombre del Programa

Objetivos Metodología Gestión Resultados

Form

ulac

ión

Impl

emen

taci

ón

Form

ulac

ión.

Impl

emen

taci

ón.

Form

ulac

ión.

Impl

emen

taci

ón.

Form

ulac

ión.

Impl

emen

taci

ón.

Chile

Civit@s, Alfabetización Digital para Ciudadanos en Red 3.6 4.0 3.4 3.8 4.0 3.7 4.0 2.6

Despega. Quien te Quiere te Respeta. 3.7 3.5 4.0 3.8 4.0 3.4 2.5 3.5

Escuela Mundo Karol: Gobierno Escolar de Niños y Niñas 3.7 4.0 4.0 3.8 3.5 3.1 3.5 4.0

Modelo de Naciones Unidas 3.9 3.3 4.0 3.9 4.0 3.4 3.5 3.3

PPC, Programa de Atención a Niños y Jóvenes 3.7 3.5 3.6 3.8 3.0 3.4 4.0 3.8

Gua

tem

ala

Academia Juvenil de Formación y Capacitación para un nuevo liderazgo. 3.8 4.0 3.0 3.6 4.0 1.5 2.5 3.0

Escuelas Visionarias, evidenciando Ciudadanía 3.7 4.0 4.0 4.0 4.0 3.9 4.0 3.8

Programa de Educación Ciudadana en Valores NQATOQI 3.6 2.8 3.0 3.4 4.0 3.6 3.5 2.5

Programa de Formación Ciudadana Ciudad Naleb 3.6 3.5 3.9 4.0 4.0 3.9 3.0 3.0

Programa de mediación de conflictos en el ámbito escolar 3.7 4.0 4.0 3.0 2.0 2.4 3.5 2.5

Proyecto: Diplomado, Democracia y Ciudadanía. Un espacio para fortalecer el liderazgo juvenil.

4.0 4.0 3.5 3.9 2.0 4.0 1.0 3.3

Colo

mbi

a

Aulas en paz 4.0 4.0 3.8 4.0 4.0 3.7 3.5 3.7

Constructores de paz 3.6 4.0 3.6 4.0 2.0 3.9 3.0 3.0

Habilidades para la vida 3.9 4.0 3.9 3.8 4.0 4.0 3.5 3.0

Proyecto ciudadano 3.7 4.0 3.8 4.0 3.5 3.7 3.0 3.5

Salidas que enseñan ciudad 3.7 3.8 3.4 3.6 4.0 3.9 4.0 3.0


54

Mex

ico

Asignaturas estatales 4.0 3.5 3.2 2.4 3.5 3.2 2.5 2.3

Ejercicio infantil y juvenil 3.5 3.8 4.0 3.8 2.5 3.1 2.5 2.6

FCE Secundaria 4.0 3.0 4.0 3.5 3.0 3.3 3.5 2.6

PIFCyE Primaria 4.0 4.0 4.0 3.5 3.0 3.1 4.0 2.6

Programa Escuela Segura 3.7 3.0 3.4 2.1 3.5 3.1 4.0 2.5


55

V. DOCUMENTACION DE DE BUENAS PRÁCTICAS

a. Análisis Intra-país.

a1. Estudio Colombia.

El estudio de este país identificó cinco prácticas, cada una de ellas ejecutada por uno de los programas seleccionados y evaluados en su implementación. La tabla Nº 6 detalla las prácticas identificadas.

Tabla Nº 6. Descripción de Buenas prácticas reportadas por Colombia.

Programa Práctica Descripción

Salidas que enseñan ciudad. Fundación Terpel

Salidas al entorno

Actividad donde estudiantes pueden establecer vínculos con su comunidad cercana, ejerciendo competencias ciudadanas en contextos reales y cercanos. Con objetivos asociados a la identidad, inclusión, la cultura ciudadana o la responsabilidad social.

Aulas en paz. Universidad de los Andes

Grupos heterogéneos

Conformación de grupos heterogéneos como apoyo al aprendizaje en el aula. Reúne a seis niños con diferente nivel de agresión y actitud pro-social. Se reúnen semanalmente en espacio extracurricular.

Proyecto ciudadano. Fundación Presencia

Visitas a organizaciones Públicas y entrevistas con sus funcionarios

Su objetivo es que estudiantes identifiquen problemas de política pública en su comunidad, los analicen, comprendan y propongan plan de acción. Visitan entidades asociadas a problemática escogida.

Constructores de paz. Fundación Centro internacional de educación y desarrollo humano

Creación de grupos de multiplicadores

Grupos que lideran actividades semanales de construcción de paz en sus instituciones. Compuestos por 6 estudiantes (aprox.) y 2 docentes. Son capacitados para ello.

Habilidades para la vida, fe y alegría.

Comprensión de emociones y sentimientos

Actividades lúdicas insertas en módulo “aprendiendo a manejar mi mundo afectivo”. Se hace símil con el mar y un viaje en barco que puede terminar en naufragio.


56

Todas las prácticas identificadas corresponden a estrategias o metodologías utilizadas para el trabajo en distintas temáticas y/o el logro de distintos objetivos. La excepción se observa en la práctica Comprensión de Emociones y sentimientos que sería una estrategia más bien acotada a un objetivo específico y módulo del programa. Otra similitud entre las prácticas es que, en su totalidad, están dirigidas a los estudiantes y/o usuarios de los programas.

Sin embargo, es posible apreciar la heterogeneidad de las prácticas en cuanto a su vinculación con la comunidad y por tanto las acciones que implican. En tres de ellas, el involucramiento de la comunidad resulta evidente ya que consideran salidas y/o visitas al entorno o instituciones externas, o al menos, involucran a la comunidad constituida por su institución completa en espacios extra curriculares. En cambio, las otras dos prácticas se desarrollan completamente en el aula.

a2. Estudio Guatemala.

El estudio de este país identificó cuatro prácticas, dos de las cuales pertenecen al programa Escuela Visionaria de la Fundación Pantaleón, programa que se define como un gobierno escolar. Las otras dos prácticas, corresponden a programas diferentes. A continuación se describen las prácticas identificadas (Ver Tabla Nº7).

Tabla Nº 7. Descripción de Buenas prácticas reportadas por Guatemala.


Escuela Visionaria de la Fundación Pantaleón Y

El gobierno escolar como mecanismo para la formación ciudadana en la comunidad educativa

Forma de gestión de la vida escolar que está a cargo de los estudiantes con asesoría de docentes y autoridades educativas. Proceso se inicia con fiesta o elecciones ciudadanas.

Escuela Visionaria de la Fundación Pantaleón

La comunicación como herramienta de formación ciudadana en la comunidad educativa

Actividad incluye una radio escolar y boletines: “prensa líder estudiantil” y “prensa líder juvenil”. A través de la radio se da la bienvenida diariamente a los estudiantes, sirve para entrevistar a visitas y apoyar acciones del gobierno escolar. Los boletines son semanales.

Diplomado democracia y

Adaptación de la metodología de aprendizaje al grupo

Modalidad pedagógica permanente que realizan los ejecutores para el desarrollo de sus cursos. Se adapta la metodología a las


57

ciudadanía objetivo características de cada grupo.

Programas vinculados al sistema escolar

El diálogo como herramienta para la formación y la práctica de la ciudadanía.

Se usa en el aula para tratar distintos temas, también en las asambleas generales y para mediar conflictos, estableciendo normas y procedimientos compartidos y conocidos por todos.

Las prácticas identificadas corresponden, en su totalidad, al dominio de la metodología del programa, específicamente a estrategias transversales utilizadas para el desarrollo de distintos objetivos. Sin embargo, existen diferencias en cuanto a su nivel de amplitud de la práctica, por ejemplo, entre el Gobierno escolar y la Comunicación o el Diálogo como herramienta.

En cuanto a la población a la que están dirigidas las prácticas también se observan diferencias. Las práctica del Dialogo como herramienta y del Gobierno escolar están dirigidas a los estudiantes. En la práctica Gobierno escolar implica promover la participación de los estudiantes, involucrándolos de manera activa en la gestión de la vida escolar y en sus medios internos de comunicación. En el Diplomado Democracia y Ciudadanía, la práctica está explícitamente dirigida a docentes, pero en calidad de usuarios.

Las prácticas descritas en Guatemala sólo involucran a la comunidad educativa pero en diferentes niveles. Las que pertenecen al programa Escuelas Visionarias involucran a toda la comunidad, en cambio las demás son estrategias desarrolladas a nivel de aula.

Cabe señalar que la práctica que considera el Diálogo como herramienta es la única que se define como presente en varios programas del país. Finalmente, las prácticas identificadas en Guatemala son actividades permanentes en sus programas.

a3. Estudio México.

En el estudio de este país se identificaron seis prácticas, las cuales se insertan en tres de los programas documentados. A continuación se detallan los programas y las prácticas asociados a cada uno (Ver Tabla Nº8).


58

Tabla Nº 8. Descripción de Buenas prácticas reportadas por México.


Programa integral de Formación Cívica y ética para la educación primaria

Trabajo Transversal

Reuniones periódicas de docentes del mismo grado para articular la formación ciudadana y ética con las asignaturas, con formulación de estrategias e intercambio de experiencias.


Investigación Docentes plantean a alumnos la exploración de elementos de su entorno, sistematizan la información y la presentan en la clase. Docentes facilitan ambiente de escucha activa y reflexión.


Recuperación de ideas y perspectiva de los alumnos

A través del planteamiento de preguntas y registro de respuestas en un espacio visible.

Formación Cívica y Ética secundaria

Recuperación de ideas de los alumnos

Práctica metodológica en que docentes exploran con alumnos nociones relacionadas con la asignatura y se contrastan con información documental. Alumnos comparan sus ideas iniciales con información recabada y las reformulan

Formación Cívica y Ética secundaria

Vinculación de contenidos con experiencias personales de los alumnos

Práctica metodológica en que se identifican elementos de la experiencia personal de alumnos asociados a diferencias culturales, democracia, papel del estado. Se hacen acercamientos a lo que viven otros adolescentes en otros contextos. Se estimulan acciones de colaboración y participación en el entorno.

Ejercicio de Participación Infantil y Juvenil

Participación en la organización de actividades

Práctica de gestión y metodología en que se promueve la participación libre y voluntaria en procesos como formación de comisiones, elecciones democráticas, votación, jornadas de consulta, entre otras.


59

colectivas

En relación a su población objetivo, dos de las practicas identificadas están dirigidas a los docentes como actores centrales en el proceso de ejecución de los programas (i.e., prácticas de trabajo transversal y de investigación). Las cuatro restantes están orientadas a los estudiantes como actores centrales en la ejecución de las prácticas (e.g., principalmente, recuperación de perspectivas de los alumnos, recuperación de ideas de los alumnos, vinculación de contenidos con experiencias personales de los alumnos, participación en la organización en actividades colectivas).

Las prácticas identificadas, en general, corresponden a programas que se implementan en espacios de aula, pero dos de ellas explicitan la intención de considerar variables del entorno, investigando temáticas asociadas o estimulando acciones de colaboración y participación en el entorno.

a4. Estudio Chile.

El estudio en Chile identificó siete prácticas, que se enmarcan en cuatro de los seis programas documentados por el equipo consultor. A continuación se describen las prácticas identificadas (Ver Tabla N°9)

Tabla Nº 9. Descripción de Buenas prácticas reportadas por Chile.


Programa de atención a niños y jóvenes, PPC Chasqui

Práctica Reflexiva (combinación de acción y reflexión)

Consiste en la combinación de acción y reflexión en las actividades desarrolladas. Mientras se realizan las actividades se suscitan conversaciones y reflexiones sobre su experiencia, conflictos, etc. Y se evalúa la actividad en conjunto con ellos.

Programa de atención a niños y jóvenes, PPC Chasqui

Vinculación con usuarios (apoyo y preocupación por cada niño)

Es una práctica transversal a las actividades que se expresa en el modo de relacionarse con os usuarios, paciencia para explicar, mediación de conflictos y modelaje para su resolución, visitas a las familias, interés en las motivaciones de los jóvenes.

Alfabetización Digital para

Temas significativos (actividad sobre

Es uno de los módulos contemplados por el programa a través del computador y


60

ciudadanos en red, Civitas PUCV

política y poderes existentes)

siguiendo las instrucciones planteadas los estudiantes identifican actores de la sociedad con poder de decisión político y legislativo, aprendiendo de los poderes del estado y así de la realidad en que viven.

Alfabetización Digital para ciudadanos en red, Civitas PUCV

Aprendizaje activo (introducción y módulos)

Los alumnos directamente en el computador se informan de la actividad que deben desarrollar, contando con un video introductorio y van siguiendo las indicaciones presentadas en el módulo en su ventana digital. Para esto cuentan con la facilitación del profesor y alumnos tutores. Los temas tratados son de interés de los estudiantes.

Modelo de Naciones Unidas, MNU UDP

Capacidad de empatía, negociación y decisión (juego de rol naciones unidas)

Participantes definen roles para ser representantes de países pertenecientes a las naciones unidas y realizan asambleas generales y de comisiones específicas.

Gobierno Escolar Mundo Karol

Asertividad y Resolución (no se queje, reclame)

Se canalizan reclamos y sugerencias por escrito de niños, apoderado y profesores, se habla con los implicados y dirección canaliza soluciones.

Gobierno Escolar Mundo Karol

Refuerzo y confianza en las capacidades (supermerkarol)

Supermercado interno con materiales y mercadería de donaciones y actividades del colegio. Con dinero, denominado karolmérito que todos los niños obtienen mensualmente

En el caso de Chile, las prácticas también son identificadas en el área metodológica, pero en distintos niveles. Algunas de ellas (e.g., práctica reflexiva y vinculación con usuarios y capacidad de empatía) son de carácter transversal, es decir, contribuyen a la consecución de diversos objetivos, mientras que otras (ej. temas significativos) corresponden a estrategias mas bien acotadas a un objetivo o módulo del programa. Otro aspecto que resulta significativo en el análisis es que todas las prácticas identificadas están dirigidas a los estudiantes y/o usuarios de cada programa.

Algunas de las prácticas se desarrollan en el aula (e.g., aprendizaje activo) o al interior de los programas, involucrando solo a sus usuarios directos, sin embargo, algunas prácticas incluyen la consideración de las familias u otros actores.


61

b. Análisis Comparativo de Buenas Prácticas

Aún cuando el total de prácticas identificadas en los estudios de cada país es de veintidós, para este análisis se consideran solamente 16 prácticas, que pertenecen a los programas de los cuatro estudios que realizaron la evaluación de la implementación de programas (i.e., Colombia, México, Guatemala y Chile). En adelante, este conjunto se denomina Buenas Prácticas (BP), y está constituido por aquellas prácticas que cumplieron los dos criterios propuestos en los Términos de Referencia del estudio, específicamente, acuerdo entre el equipo ejecutor y los usuarios de que es una buena práctica, y buen puntaje en la evaluación de resultados del programa.

Como se aprecia en la Figura N°18, la media de acuerdo en la selección de las buenas prácticas fue de 3,65 (S=0,5) y la distribución de los puntajes posibles de acuerdo se muestra la Figura Nº2 e indica que la mayoría de las BP fueron elegidas con el grado de acuerdo más alto de la escala.


62

Figura Nº 22. Detalle del grado de acuerdo con respecto a las BP identificadas y las BP elegidas para análisis

general.

En el análisis de las buenas prácticas se consideraron algunos criterios incluidos en la ficha que los consultores completaron para la documentación de cada práctica identificada. Del análisis de la información contenida en los informes de cada país emergieron post hoc dimensiones que se consideraron relevantes para caracterizar las prácticas identificadas. Los resultados de este análisis de las BP se presentan a continuación.

b1. Identificación de la Práctica

En lo referido al quien identifica la práctica, se aprecia que en un 72,7% de los casos, las BP fueron identificadas por el equipo ejecutor y por los usuarios del programas; en un 13,6% las BP fueron identificadas sólo por los usuarios del programa y en 13,6% fueron identificadas solamente por el equipo ejecutor.

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

3

4

Grado de acuerdo22 identificadas

Grado de Acuerdo16 cumplen con criterios TOR


63

Figura Nº 23. Detalle de quienes identificaron las Buenas Prácticas.

Lo anterior da cuenta además, del grado de visibilidad de las BP ya que la identificación de las BP se realizó a partir de la información otorgada por diferentes actores involucrados en los programas.

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Equipo Ejecutor Usuarios Equipo Ejecutor y UsuariosIdentificado por…


64

Tabla Nº 9. Detalle de las BP Identificadas por el Equipo Ejecutor y los Usuarios de los programas.

País Programa Práctica

Colombia Salidas que enseñan ciudad. Fundación Terpel Salidas al entorno

Aulas en paz. Universidad de los Andes Grupos heterogéneos

Proyecto ciudadano. Fundación Presencia Visitas a organizaciones Públicas y entrevistas con sus funcionarios

Constructores de paz. Fundación Centro internacional de educación y desarrollo humano

Creación de grupos de multiplicadores

Habilidades para la vida, fe y alegría. Comprensión de emociones y sentimientos

Guatemala Escuela visionaria de la Fundación Pantaleón El gobierno escolar como mecanismo para la formación ciudadana en la comunidad educativa

Programas vinculados al sistema escolar El diálogo como herramienta para la formación y la práctica de la ciudadanía.

México Programa integral de Formación Cívica y ética para la educación primaria

Trabajo Transversal

Investigación

Recuperación de ideas y perspectiva de los alumnos

Formación Cívica y Ética secundaria Recuperación de ideas de los alumnos

Vinculación de contenidos con experiencias personales de los alumnos

Chile Programa de atención a niños y jóvenes, PPC Chasqui

Vinculación con usuarios (apoyo y preocupación por cada niño)

Modelo de Naciones Unidas, MNU UDP Capacidad de empatía, negociación y decisión (juego de rol naciones unidas).

Gobierno Escolar Mundo Karol Asertividad y Resolución (no se queje, reclame)

Refuerzo y confianza en las capacidades (supermerkarol).

A continuación se caracteriza el conjunto de prácticas que fueron identificadas por el Equipo ejecutor y los usuarios (ver Tabla Nº 9. de acuerdo a su foco, población objetivo y amplitud de su alcance.


65

b2. Tipo de Práctica

Para describir el tipo de BP se consideraron los criterios definidos en la ficha de las prácticas en que se debía clasificar el dominio al que pertenece cada una: la metodología del programa, la gestión o ambos. Tal como muestra la Figura N° 24, las BP documentadas fueron clasificadas principalmente en la Metodología del programa (87.5%).

Figura Nº 24. Detalle de la tipología de la BP considerando el nivel en que se ubica, metodológico o de

gestión.

Las BP clasificadas a nivel de gestión del programa corresponden solamente al 6.3% y aquellas prácticas que fueron ubicadas en ambos dominios alcanzan el 6.3%. Los porcentajes anteriores reflejan una orientación de los programas a realizar actividades que apuntan a lo práctico, específicamente, a nivel de traducir objetivos y metas en acción.

b3. Población Objetivo

Con esta variable se hace referencia al grupo al que se dirige cada una de las prácticas documentadas, intentando dar cuenta a) si se prioriza a los usuarios o estudiantes, tal como ocurre en el análisis de la implementación de los programas; b) si la práctica se orienta a los equipos ejecutores o si apunta a ambos. Por tanto, los niveles de ésta variable son: la BP se dirige a los usuarios del programa, la BP se dirige al equipo ejecutor del programa o la BP se dirige a ambos grupos.

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Metodología del programa Gestión del programa Metodología y Gestión del programa

Tipo de práctica


66

Figura Nº 25. Descripción de la población objetivo de las BP.

Como se aprecia en la Figura N° 25, en su mayoría, las BP están orientadas a los usuarios del programa (92.8%), un hallazgo concordante con la orientación metodológica de los programas en relación a su población objetivo. Los porcentajes de BP dirigidas al equipo ejecutor del programas y, al equipo y usuarios, son significativamente menores (i.e., 6.2% y 0% respectivamente).

b4. Frecuencia de la ejecución

Esta variable se define como la cantidad de veces en que se lleva a cabo cada práctica en un periodo de tiempo determinado. Para dar cuenta de la frecuencia de ejecución de las BP, se definieron 3 categorías a) una o pocas veces al año; b) mensual o menor a mensual y c) semanal o diaria. Como se aprecia en la Figura N° 26, del total de BP, un 50% son declaradas con una frecuencia recurrente (i.e., al menos semanal); un 37.5% de las BP presentan una frecuencia al menos mensual, y un 12.5% presenta una frecuencia menor que las categorías anteriores (i.e., al menos unas pocas veces al año). En su mayoría, las BP tienen una frecuencia alta en términos de la cantidad de veces que son realizadas en el marco de los programas en los que se identificaron.

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Usuarios del programa Equipo ejecutor Ambos grupos

Población Objetivo


67

Figura Nº 26. Descripción de las frecuencias con se realizan las BP.

b5. Transversalidad de la práctica.

Finalmente, otra de las variables observadas fue la amplitud o transversalidad de las BP, definida como la medida en que la práctica está acotada a objetivos o módulos específicos o que está instaurada de modo transversal en el programa al cual pertenece, contribuyendo al logro de distintos objetivos. Para evaluar este criterio se identificaron tres grandes categorías. Como se aprecia en la Figura N° 27, un 43.8% de las BP detalladas corresponden a prácticas acotadas a contenidos de objetivos o módulos específicos, sin intención de transversalidad; un 31.3% de las BP presenta es de mayor amplitud en términos de estar inserto de modo más transversal en las actividades del programa en el cual fue identificada. Por último, un 25% de las BP tiene una intención declarada de transversalidad en el programa del cual provienen e inclusive prácticas transversales a más de un programa como es el caso de una BP de Guatemala.

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Una vez o pocas veces al año Mensual o menor Semanal o diaria

Fecuencia


68

Figura Nº 27. Descripción de la cobertura que se declara respecto a las BP.

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Práctica con actividades acotadas a temas de trabajo.

Práctica con actividades intermedias, en términos de

amplitud de temas y cobertura del contexto en que se aplica.

Práctica amplia, en términos de insumos de actividades necesarias

para su realización.

Amplitud


69

c. Síntesis y discusión de los hallazgos referidos a las Buenas Prácticas.

Los instrumentos y criterios definidos permitieron la identificación de BP y, en general, las BP resultaron visibles y percibidas concordantemente como prácticas efectivas tanto por el equipo ejecutor como por los usuarios. Las BP identificadas corresponden a 12 programas que representan a los estudios de los cuatro países. En su gran mayoría, las BP corresponden a la metodología de los programas de formación ciudadana, están orientadas a los usuarios, y se realizan con una frecuencia semanal.

Dada la diversidad de modalidades de programas, para efectos de la evaluación, se distinguió entre buenas prácticas de espectro mayor (por ejemplo un enfoque pedagógico, que puede ser transversal a varios objetivos o actividades del programa (metodología o gestión), de buenas prácticas acotadas a ciertos objetivos de aprendizaje o módulos. En términos de su amplitud, el conjunto de BP identificadas incluye prácticas acotadas a objetivos o módulos específicos, prácticas de amplitud media, y prácticas instauradas de modo transversal en que pueden servir al cumplimiento de varios objetivos del programa

Es razonable pensar que los programas bien evaluados desarrollan buenas prácticas. El universo del cual se identificaron buenas prácticas en estos estudios son los programas que fueron bien evaluados en su formulación y, posteriormente, en su implementación. Considerando que las muestras seleccionadas en los estudios no agotan los buenos programas de formación ciudadana, es importante tener en cuenta las limitaciones de la representatividad del conjunto de BP documentadas. Adicionalmente, los estudios realizados sólo identificaron buenas prácticas en los objetos predefinidos para evaluación (i.e., objetivos, metodología, gestión y resultados) en los términos de referencia, de manera que pueden haber omitido buenas prácticas no relacionadas con estos objetos. Finalmente, uno de los criterios definidos para la identificación de una BP en los términos de referencia es la evidencia de buenos resultados del programa. Considerando que la evaluación de calidad de los resultados no siempre está disponible en los programas documentados, ante la falta de datos provenientes de otras fuentes de evaluación independientes de los ejecutores del programa, se plantean dudas en cuanto a la validez de las BP identificadas, aspectos que requieren continua investigación en estudios futuros.

Dada la diversidad de contextos sociales, culturales y educacionales en los cuales se desarrollan los programas y la importancia de que sus objetivos y metodologías estén anclados en estas características, se plantea la especificidad del contexto al momento de pensar en replicar la BP. Es posible separar la BP y sus posibles resultados del contexto del programa de formación ciudadana en el cual se implementa. ¿Puede la BP exportarse a otros contextos?


70

Los datos disponibles no permiten respuestas definitivas a esta pregunta, pero considerando la diversidad de realidades socioculturales de los estudiantes, sus familias, sus escuelas y comunidades, debiera prestarse atención al calce entre la BP y el contexto que crea cada programa de formación ciudadana.


71

VI. CONCLUSIONES GENERALES Y SUGERENCIAS PARA FUTUROS ESTUDIOS Y POLITICA EDUCACIONAL

En primer lugar, los estudios lograron identificar una muestra diversa de programas con objetivos focalizados en diferentes dimensiones de la formación ciudadana. En segundo, las dos etapas de evaluación definidas permitieron identificar fortalezas y debilidades en la formulación de los programas y, en una submuestra, de su implementación.

Es importante considerar que los instrumentos utilizados pueden no haber sido suficientemente sensibles para detectar variaciones en las dimensiones evaluadas. Un mayor refinamiento en la explicitación de criterios para puntuar el nivel de logro de cada indicador puede facilitar, en futuros estudios, la evaluación más específica por parte de los evaluadores. Es importante recordar al mismo tiempo, que la factibilidad de estudios de esta naturaleza exige un balance entre simplicidad y exactitud de las mediciones.

En general, los resultados relevan fortalezas en la formulación de objetivos y las metodologías de los programas estudiados. Comparativamente, aspectos de la gestión y evaluación de los resultados de dichos programas están menos elaborados y requieren mayor estudio. En el conjunto de programas evaluados en su implementación, este estudio ha logrado identificar un conjunto de 16 Buenas Prácticas, las cuales en su mayoría reflejan orientaciones metodológicas de los programas y están dirigidas a los usuarios.

El estudio regional ha cumplido el objetivo de identificar y evaluar un conjunto de programas de formación ciudadana que están dirigidos a estudiantes de los diferentes niveles de la enseñanza y que se implementan en el contexto escolar. Sus hallazgos indican que los programas de formación ciudadana se implementan principalmente en establecimientos educacionales, lo que corrobora el reconocimiento del colegio como un espacio privilegiado para la formación en ciudadanía.

No obstante lo anterior, los resultados de este estudio deben ser interpretados con cautela dados los aspectos metodológicos, de distinto orden, que limitan la generalización de los hallazgos. En primer lugar, las muestras de programas estudiados son diversas y razonablemente indicativas de las realidades nacionales pero no necesariamente representativas. Los tiempos definidos para cada etapa de los estudios probablemente limitaron la inclusión de programas que, por razones diversas, no respondieron oportunamente a la invitación de participar.

Metodológicamente, los estudios realizados representan una diversidad de contextos (e.g., la muestra de México está compuesta por programas de formato similar y diversidad


72

regional en su implementación versus las muestras de Chile y Guatemala que incluyen mayor diversidad en formatos de programas), por lo cual necesariamente se debe reconocer la naturaleza anidada de los datos al menos en dos niveles, en programas y en países. Se ha considerado esta variación en la descripción cualitativa de los hallazgos, pero los tamaños muestrales reducidos no permiten analizar la variación cuantitativa entre diferentes contextos.

Las limitaciones de los instrumentos diseñados para medir con mayor precisión el cumplimiento de los indicadores de calidad definidos también introduce error en la medición. Adicionalmente, en cada estudio los consultores puede haber hecho variaciones leves en la aplicación de los criterios para evaluar la calidad de cada indicador y/o pueden haber operado sesgos en la asignación de puntajes que limiten la confiabilidad de los hallazgos.

Adicionalmente, la falta de recursos suficientes destinados a la fase de evaluación de la implementación de los programas seleccionados limitó, en algunos países, la inclusión de programas de regiones. Asimismo, los tiempos definidos, en varios casos, no fueron compatibles con aquellos del sistema escolar y no permitieron tener una observación directa de algunos aspectos de los programas. Por lo mismo, los datos recolectados no permiten tener una visión completa de la implementación de los programas. Finalmente, la muestra de programas evaluados en su implementación fue extraída del conjunto de programas evaluados en su formulación, y auto selecciona aquellos programas bien evaluados en su formulación escrita. Dentro de los que no fueron seleccionados para evaluación de la implementación, pudieran existir otros con buena calidad de implementación y resultados que no están representados en los 21 programas evaluados pues su formulación escrita no fue bien evaluada.

No obstante las consideraciones relativas a la validez interna y externa como a la confiabilidad de los resultados del estudio, es posible reflexionar en torno a varios aspectos centrales para la formación ciudadana que relevan los resultados obtenidos en este estudio regional.

Diseño de los programas

En su mayoría, los programas estudiados son adaptados de otros programas previamente diseñados. Una reflexión relevante en torno a esta observación, es el grado de adecuación al contexto sociopolítico que tienen como posible limitación las adaptaciones de un programa diseñado para contextos y visiones de ciudadanía particulares, por tanto su


73

importación o adaptación no necesariamente recoge los aspectos de la formación ciudadana desde los asuntos nacionales y/o locales.

El análisis de la información descriptiva de los programas estudiados, indica que efectivamente un grupo considerable de ellos han sido adaptados de otros programas, es importante estudiar con qué consideraciones se eligen los programas a ser adaptados y de que manera su adaptación considera las particularidades del contexto escolar, sociocultural y político de las instituciones que los adoptan como también las características de los usuarios. Considerando que la formación ciudadana debe estar fuertemente anclada en las realidades sociales, políticas y culturales de las naciones, otro aspecto central de analizar es en qué medida las concepciones de ciudadanía a la base de estos programas son apropiadas o prioritarias a la construcción de ciudadanos en otras realidades. Aún cuando los programas adoptados hayan sido bien evaluados en el logro de sus objetivos, un desafío importante es la integración entre asuntos globales y locales de la formación ciudadana en los países que los adaptan.

Poblaciones objetivo

Los hallazgos de los estudios nacionales muestran que los públicos objetivos a los que están dirigidos los programas son principalmente los estudiantes de educación Básica, Media y, en algunos casos, toda la comunidad escolar. Si bien la adecuación de los objetivos y metodologías de los programas a las particularidades de la etapa vital de los usuarios es un aspecto bien evaluado, en la medida que los programas se orientan a grupos etareos diversos agregan complejidad a la formulación de objetivos y medición de resultados, aspectos que debieran incorporarse a su diseño de evaluación.

Un grupo importante de programas define la comunidad escolar como su objetivo, una unidad de análisis social que requiere indicadores de evaluación de procesos y resultados diferentes de aquellos de programas que se dirigen al estudiante individual. Aún cuando esta formulación sea comprensible desde una perspectiva teórica—crear una cultura escolar o una pequeña polis en la escuela—sería importante que estudios futuros determinaran qué significa el enfoque en la comunidad en su conjunto, en qué medida en su implementación estos programas difieren, e impactan diferencialmente en los resultados que obtienen en relación a programas dirigidos a los estudiantes únicamente, como también estudiar la mantención de sus resultados en el tiempo relativos a sus costos de inversión.


74

Contenidos de la formación ciudadana

Los programas estudiados, tiene un mayor énfasis en el desarrollo de actitudes, habilidades y, comparativamente menor, en el desarrollo de conocimientos. No es posible determinar si este es un sesgo de la muestra de los estudios o efectivamente los contenidos reciben menor atención en los objetivos de los programas. Puesto que la formación ciudadana implica el aprendizaje de un conjunto diverso de competencias, sería importante en futuros estudios analizar, más específicamente, en qué medida los programas existentes incluyen diferentes componentes y particularmente en relación a las características evolutivas de los usuarios. Asimismo, los programas evaluados en su implementación tienen como finalidad el desarrollo integral de la ciudadanía lo que requeriría desarrollar indicadores específicos para evaluar los resultados de esta integración. Es posible pensar que el relativo menor énfasis en conceptos de formación ciudadana refleje vacíos de información o incongruencias entre objetivos declarados y la implementación.

Si bien parece razonable un enfoque que integre diferentes componentes de la formación ciudadana, esta integración debe evaluarse en la práctica y ver hasta qué punto constituye un anhelo declarado de los programas o, efectivamente, los programas integrales logran desarrollar múltiples competencias (congruencia entre lo declarado en las intenciones de los programas y el logro efectivo de resultados). La evaluación de procesos y resultados de diferentes enfoques para diferentes usuarios aportaría conocimiento relevante acerca de las modalidades más apropiadas para la implementación de programas de formación ciudadana en contextos particulares.

Gestión de los programas

A lo largo de las diferentes etapas de los estudios se hizo evidente que la información sobre aspectos de la gestión de los programas era escasa o de más difícil acceso. La gestión no parece ser reconocido como un aspecto central del diseño y de la implementación de los programas de formación ciudadana.

En los países participantes de este estudio, exceptuando México, los programas de formación ciudadana son desarrollados habitualmente por instituciones privadas de distinto tipo. Al mismo tiempo, los fondos para su financiamiento, en su mayor parte, provienen del sector público. Estos hallazgos indican que, con frecuencia, la implementación de los programas involucra a varios actores institucionales y sugieren que debiera atenderse los modelos de gestión que operan, es decir a las formas en que las


75

instituciones de distinto sectores de la sociedad se coordinan y colaboran para optimizar la implementación de los programas de formación ciudadana. Esta coordinación debiera ser diseñada y evaluada en su proceso de manera que tenga un efecto sinérgico en el logro de los objetivos de los programas y que permita diferenciar qué aspectos de los modelos de gestión o coordinación son efectivos. Por ejemplo, en los estudios nacionales, la identificación de una estrategia institucional que permita involucrar a todos los actores de la comunidad, fue un aspecto evaluado más bajo que otros criterios. Considerando que en muchos casos, son organizaciones externas a los colegios las que desarrollan los programas de formación ciudadana, la creación de estrategias institucionales efectivas ofrece dificultad y puede limitar el impacto de los programas.

La política pública puede intencionar en las instituciones que financian los programas de formación ciudadana la inversión en la definición de buenos modelos de gestión y coordinación intersectorial. Adicionalmente, es fundamental contar con criterios para asegurar un gasto eficiente de los recursos fiscales.


76

Disponibilidad de recursos financieros y humanos

Los resultados del estudio indican que los recursos financieros y humanos (e.g., disponibilidad de tiempo) que disponen los programas para su implementación es insuficiente, aspecto que se ve reflejado en distintos indicadores de los informes. Tanto la explicitación como la disponibilidad de recursos económicos son valoradas más bajo que otros aspectos de gestión de los programas. Si bien los recursos humanos son bien valorados en los programas, la disponibilidad horaria de las personas no lo es. Estos hallazgos permiten reflexionar respecto a consideraciones mínimas para el desarrollo efectivo de los programas de formación ciudadana.

La complejidad de las habilidades y actitudes que se pretende formar requiere tiempos de aprendizaje de alcance, siendo necesario considerar los recursos humanos y económicos correspondientes para lograr los objetivos. En muchos casos los programas de formación ciudadana tienen que ser iniciativas mantenidas en el tiempo de manera de evaluar los logros en los estudiantes y la comunidad escolar.

La insuficiente disponibilidad de tiempo que poseen los profesores para implementar estos programas (que muchas veces descansan en su buena voluntad y dedicación fuera del horario escolar), como la realidad del escenario escolar con múltiples contingencias y demandas puede afectar la marcha y los resultados esperados de los programas en varios aspectos. En primer lugar, reducir el tiempo para la implementación real de los programas de formación ciudadana y/o amenazar la sustentabilidad de estos en el tiempo. Además, la evidente falta de planificación de los recursos humanos necesarios, y las deficiencias en la gestión de las personas que integran los equipos ejecutores, desgasta a los profesores o adultos encargados, compromete la calidad del programa y sus resultados. Como resultado de esta realidad se evidencian equipos sobre exigidos, que no siempre cuentan con un respaldo institucional para las iniciativas de formación ciudadana que han iniciado. Lo anterior suscita una interrogante respecto de la posibilidad de masificar los programas más allá de quiénes, tanto profesores como alumnos, muestran un compromiso personal con los objetivos de los programas. Paradojalmente, en un contexto de formación ciudadana, los desgastes de los equipos crean situaciones que afectan los derechos y el bienestar de las personas a cargo de esta formación.

A través de los estudios se constata que, frecuentemente, el diseño de los programas no incluye una estimación apropiada de los recursos humanos y financieros. Este análisis frecuentemente está ausente y se descubre prontamente durante la implementación de los programas. Las estimaciones certeras de recursos financieros y humanos son centrales al momento de decidir sobre la viabilidad y/o replicabilidad de


77

iniciativas de formación ciudadana exitosa ya que deben asegurar las condiciones mínimas para el funcionamiento de programas. Las capacidades técnicas de planificación y desarrollo de la gestión debieran ser incorporadas en los equipos que diseñan e implementan los programas. Si la política educativa se propone intencionar una estrategia de formación ciudadana debiera presupuestar el desarrollo de experticia técnica en la planificación, gestión y evaluación en las instituciones públicas y privadas que financian programas de formación ciudadana. La asignación efectiva de recursos es central al evaluar la prioridad real o la relevancia de la formación ciudadana dentro de los objetivos educacionales y de la política educativa.

Evaluación de los programas

La evaluación de los programas, tanto en sus aspectos formativos como de resultados, es uno de los aspectos más débiles en los programas estudiados. En muchos casos, los programas no cuentan con evaluaciones y, en varios casos en que declaran tener sistemas de evaluación, no fue posible obtener información suficiente y adecuada respecto al tipo, la calidad y los resultados asociados a ellos. Por ejemplo, no es posible describir en muchos casos en qué consiste la evaluación que se define como interna, qué información genera, y qué implicancias tiene para la evolución del programa en cuestión. Asimismo, a través del estudio, no se obtuvo evidencia de evaluación sistemática de los resultados ni del impacto de los programas.

La evaluación sistemática de los programas es una tarea prioritaria para la política pública. Los esfuerzos por catastrar y sistematizar en cada país las experiencias de programas que se están implementando, su continuidad y resultados constituirán un recurso valioso para el diseño de estudios más acuciosos del impacto y resultados de los programas de formación ciudadana en la región.

Documents

Informe Regional Final - mineducacion.gov.co...Evento público X La información recopilada a través de las estrategias de pesquisa descritas fue organizada en la Ficha Descriptiva