0

Secretaría de Desarrollo Social

Meta evaluación 2007-2012 del Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas,

para Implementar y Ejecutar Programas de Prevención de la Violencia contra las Mujeres

Informe Final

Institución a cargo del proyecto:

Universidad Autónoma de Chiapas

Centro Universidad – Empresa

Coordinador General:

Jorge Mario Soto Romero

Responsable Administrativo

Alfredo Martínez de la Torre

Investigadores:

Rosalva Pineda Juárez

Alida Marcela Gutiérrez Landeros

Marco Antonio Lara Martínez

Blanca I. Catillejos Suástegui

Tuxtla Gutiérrez, Chiapas

23 de octubre de 2012

1

Resumen ejecutivo La presente Meta evaluación 2007-2012 del Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas, para Implementar y Ejecutar Programas de Prevención de la Violencia contra las Mujeres (PAIMEF), tiene como objetivo analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad que permitan al programa obtener mejores resultados. Así, los principales resultados del PAIMEF en materia de evaluación son los siguientes: Principales fortalezas y oportunidades:

El PAIMEF es uno de los instrumentos más importantes para desarrollar proyectos relacionados con la prevención, detección y atención de la violencia de género en México.

El programa ha hecho más transparente y eficiente el proceso para la asignación de recursos.

Ha fortalecido el proceso de validación de proyectos, a través de las mesas de validación, particularmente al eliminar la discrecionalidad con la instalación de una instancia externa conformada por la academia, la sociedad civil y el sector público.

El programa cuenta con acciones de monitoreo y seguimiento de los proyectos para atender mujeres que sufren situaciones de violencia.

Tiene procedimientos claros y mecanismos ágiles para los trámites relacionados con la presentación, revisión, selección, seguimiento y evaluación de proyectos de las Instancias de Mujeres en las Entidades Federativas (IMEF).

Principales debilidades y amenazas:

El presupuesto es bajo en relación con la magnitud del problema que se quiere atender: el fortalecimiento institucional de las IMEF para prevenir y atender la violencia de género.

El programa no tiene evaluaciones que reflejen sus resultados, tanto en la disminución de la violencia contra las mujeres como en el fortalecimiento institucional de las IMEF.

Carece de una especificación lógica-conceptual de cómo sus acciones permiten materializar el objetivo de fortalecer institucionalmente a las IMEF, y de cómo estas a su vez contribuyen a disminuir la violencia de género.

Las IMEF solamente reportan acciones realizadas y presupuesto ejercido, sin una orientación a resultados en términos de su capacidad para prevenir y atender la violencia de género.

No existe una planeación estratégica de mediano y largo plazo. Hallazgos sustantivos y metodológicos relevantes de otros programas similares:

El fortalecimiento de las capacidades institucionales y la efectividad de los programas y políticas contra la violencia de género se puede medir y evaluar rigurosamente1. Se pueden

1 Si bien, no se ubicaron evaluaciones de impacto de programas que contribuyen a disminuir la violencia contra las

mujeres, existen metodologías que pueden considerarse técnicamente adecuadas para evaluar el PAIMEF, ya sea

2

utilizar índices compuestos o variables y dimensiones relevantes específicas, considerando mediciones de desempeño organizacional así como encuestas propias y de organismos oficiales especializados, para trabajar con información basal y de seguimiento.

Las experiencias de otros programas que buscan ampliar las capacidades de las organizaciones sociales, pueden ser de gran ayuda para refinar y levantar mediciones sobre el Índice de Fortalecimiento Institucional que calcula el PAIMEF. Tal es el caso del Hispanic Capacity Project (HCP), que incorpora la herramienta Organizational Assessment Tool (OAT).

Para medir la efectividad de las políticas contra la violencia de género, es pertinente revisar Violence Against Women: The State of Batterer Prevention Programs, el cual revisa información científica sobre la efectividad de los programas. También es conveniente revisar los Lineamientos para realizar evaluaciones de los proyectos que apoya la Entidad de las Naciones Unidas para la Igualdad de Género y el Empoderamiento de las Mujeres.

Propuesta de Agenda de evaluación:

2013: Diagnóstico y propuestas de atención

2014: Evaluación de diseño

2015 y 2016: Evaluación de impacto

2017: Evaluación de procesos

2018: Evaluación de consistencia y resultados Sugerencias para la evaluación de impacto:

Investigación basada en métodos mixtos, con mediciones cuantitativas y cualitativas.

En la parte cuantitativa, para el nivel de Fin y en la forma en que se define actualmente, la medición resulta especialmente difícil, dada la magnitud y complejidad del problema de la violencia contra las mujeres así como los limitados recursos del programa. Como una aproximación prometedora, se recomienda medir la variación en la prevalencia y probabilidad de que las mujeres sufran violencia de género, por entidad federativa y ajustando por los recursos que las IMEF y el PAIMEF asignan a la prevención y atención de este fenómeno. El modelo estaría basado en una regresión que deberá probarse con diferentes especificaciones, con datos de la ENDIREH o la ENVIM así como de registros administrativos. Habría retos y limitaciones metodológicas relevantes, pero se debe empezar a abordarlas. Asimismo, para el nivel de Propósito se recomienda la medición antes y después de un índice de capacidad institucional para prevenir y atender la violencia contra las mujeres, compuesto de dimensiones y variables relevantes para medir el fortalecimiento de las IMEF.

En la evaluación cualitativa se recomienda realizar estudios de caso con proyectos de las IMEF, para arrojar más luz sobre los procesos de fortalecimiento institucional y valorar su

porque utiliza una estrategia que ha sido empleada en un contexto diferente (como el fortalecimiento institucional, que si ha sido evaluado) o porque existen programas con objetivos con las mismas dimensiones como las del PAIMEF.

3

relación con el PAIMEF. Asimismo, ante la dificultad de medir cuantitativamente el impacto sobre la disminución de la violencia de género, los estudios en torno a proyectos pueden proveer evidencia casuística pero relevante de cómo una mayor capacidad de las IMEF para prevenir y atender la violencia contra las mujeres, puede eventualmente disminuir la incidencia de este fenómeno.

Para la parte cuantitativa, las fuentes de información propuestas se basan en información de gabinete, complementada en su caso con una encuesta específica aplicada a las IMEF. La parte cualitativa requiere de observación en sitio, entrevistas semiestructuradas y entrevistas profundas con operadores y responsables de las IMEF así como con beneficiarias de los proyectos apoyados.

En materia de monitoreo, y considerando el diseño actual del programa, se emiten las siguientes recomendaciones: Propuesta para mejorar los resúmenes narrativos:

Fin: Contribuir a la disminución de la violencia contra las mujeres, mediante el fortalecimiento de las capacidades de las Instancias de Mujeres en las Entidades Federativas.

Propósito: Las Instancias de Mujeres en las Entidades Federativas fortalecen sus capacidades institucionales para prevenir y atender la violencia contra las mujeres.

Propuesta para mejorar los indicadores:

Fin: a) Variación promedio en la tasa de prevalencia de violencia contra las mujeres por entidad federativa, ajustada por los recursos per cápita que las IMEF asignan a la prevención y atención de la violencia y la proporción de estos que representa el PAIMEF; o b) variación de la probabilidad de que las mujeres sufran violencia de género.

Propósito: Variación anual promedio en el Índice de fortalecimiento institucional para prevenir y atender la violencia contra las mujeres de las IMEF.

Las principales reflexiones y recomendaciones complementarias del metaevaluador son:

El problema focal del programa, centrado en la capacidad institucional limitada de las IMEF para prevenir y atender la violencia contra las mujeres, no es consistente con el objetivo general, centrado la prevención y atención de la violencia contra las mujeres. Asimismo, en la lógica causal del programa, no queda claro que para prevenir y atender la violencia contra las mujeres sea necesario y suficiente fortalecer institucionalmente a las IMEF, siendo que hay otras instancias públicas y civiles que también tienen acciones en esta materia, y que hay otros enfoques de intervención que pueden tener igual o mayor impacto. Así, en todo caso las IMEF podrían ser sólo unas entre diversas instancias, y el fortalecimiento institucional sólo uno entre otros componentes.

Así, el PAIMEF trata con dos problemas distintos, en niveles distintos de lógica causal, por lo que se recomienda redefinir el problema focal y los objetivos para fortalecer su diseño y mejorar sus resultados. Ello implica definirse por la prevención y atención de la

4

violencia contra las mujeres —lo cual se considera adecuado— o alternativamente por el fortalecimiento de las IMEF para mejorar su capacidad de intervención.

Derivado de lo anterior, las poblaciones potencial y objetivo, referidas al fortalecimiento de las IMEF, son inconsistentes con el objetivo general, referido a la violencia contra las mujeres. Se recomienda redefinir ambas poblaciones, alineándolas a su vez con la redefinición propuesta para el problema focal. Ello implica reenfocar el programa para dar prioridad a las mujeres violentadas o con alto riesgo de sufrir violencia —que a juicio del equipo metaevaluador es lo más adecuado— o mantenerlo centrado en las IMEF.

Cualquier decisión que se tome puede significar mover el foco de atención, modificar la operación y replantear los resultados esperados. Sin embargo, arrastrar las inconsistencias actuales necesariamente afectará de forma negativa el desempeño del programa, pues no quedaría claro siquiera qué se debe esperar del mismo.

5

Índice de contenidos

1 Introducción .................................................................................................................... 7

2 Descripción del programa................................................................................................. 8 2.1 ANTECEDENTES Y OBJETIVOS ................................................................................................................ 8

2.2 PROBLEMA FOCAL Y ÁRBOL DE PROBLEMAS ............................................................................................. 9

2.3 POBLACIÓN POTENCIAL Y OBJETIVO...................................................................................................... 11

2.4 APOYOS OTORGADOS ........................................................................................................................ 11

2.5 EVOLUCIÓN DE LA COBERTURA ............................................................................................................ 13

3 Reporte de evaluación ................................................................................................... 14 3.1 PRINCIPALES HALLAZGOS DE LAS EVALUACIONES 2007-2011 .................................................................. 15

3.1.1 Evaluación de Diseño (ED 2007) .............................................................................................. 15

3.1.2 Evaluación Específica de Desempeño 2008 (EED 2008) .......................................................... 16

3.1.3 Evaluación de Procesos 2009 (EP 2009) .................................................................................. 17

3.1.4 Evaluación Específica de Desempeño 2009 (EED 2009) .......................................................... 18

3.1.5 Evaluación Específica de Desempeño 2010 (EED 2010) .......................................................... 19

3.1.6 Evaluación de Consistencia y Resultados 2011 (ECR 2011) ..................................................... 20

3.2 ANÁLISIS DE EVALUACIONES DE RESULTADOS O DE IMPACTO EN EL ÁMBITO NACIONAL O INTERNACIONAL DE

PROGRAMAS SIMILARES .................................................................................................................................. 22

3.2.1 Hispanic Capacity Project (HCP), Estados Unidos .................................................................... 22

3.2.2 Violencia contra las mujeres: el estado de los programas de prevención, Estados Unidos y

Canadá 27

3.2.3 Lineamientos para la evaluación de resultados o impactos de los proyectos financiados por el

Fondo de la UNIFEM para eliminar la violencia contra las mujeres ..................................................... 31

3.2.4 Comentarios del metaevaluador: ............................................................................................ 33

3.3 PROPUESTA DE AGENDA DE EVALUACIÓN PARA EL PERÍODO 2013-2018 .................................................. 33

3.3.1 2013: Diagnóstico y propuestas de atención........................................................................... 35

3.3.2 2014: Evaluación de Diseño ..................................................................................................... 36

3.3.3 2015-2016: Evaluación de Impacto ......................................................................................... 37

3.3.4 2017: Procesos ......................................................................................................................... 37

3.3.5 2018: Evaluación de Consistencia y Resultados ...................................................................... 38

3.4 ANÁLISIS DE VIABILIDAD Y PERTINENCIA PARA LAS EVALUACIONES DE IMPACTO ........................................... 39

3.4.1 Pertinencia de la evaluación .................................................................................................... 39

6

3.4.2 Aspectos a evaluar ................................................................................................................... 40

3.4.3 Metodologías y fuentes de información .................................................................................. 40

3.4.4 Viabilidad técnica y financiera ................................................................................................. 45

3.5 PRINCIPALES FORTALEZAS, OPORTUNIDADES, DEBILIDADES, AMENAZAS Y RECOMENDACIONES DERIVADAS DE LAS

EVALUACIONES 2007-2011 Y DE LA METAEVALUACIÓN 2012 .............................................................................. 47

3.6 REFLEXIONES Y RECOMENDACIONES COMPLEMENTARIAS DEL METAEVALUADOR .......................................... 56

4 Reporte de monitoreo .................................................................................................... 61 4.1 INTRODUCCIÓN ................................................................................................................................ 61

4.2 ANÁLISIS HISTÓRICO DE LA MATRIZ DE INDICADORES PARA RESULTADOS 2007-2012 ................................. 62

4.2.1 PRINCIPALES CAMBIOS DE LA MATRIZ DE INDICADORES 2007-2012 ......................................................... 62

4.3 Principales comentarios a la Matriz de Indicadores 2007-2012 ............................................. 71

4.4 ANÁLISIS DEL RESUMEN NARRATIVO DE LA MATRIZ DE INDICADORES PARA RESULTADOS 2012 ..................... 85

4.4.1 Análisis de la MIR y vínculo con las ROP .................................................................................. 85

4.4.2 Propuesta de mejoras para MIR 2013 ..................................................................................... 86

4.5 ANÁLISIS DE LOS INDICADORES DE FIN Y DE PROPÓSITO ........................................................................... 87

4.5.1 Indicadores de la MIR 2012 ..................................................................................................... 87

4.5.2 Propuesta de mejoras para indicadores MIR 2013 ................................................................. 87

5 Conclusiones generales .................................................................................................. 90

6 Bibliografía .................................................................................................................... 92 6.1 DOCUMENTOS SOBRE EL PROGRAMA ................................................................................................... 92

6.2 DOCUMENTOS DE OTROS PROGRAMAS SIMILARES .................................................................................. 93

6.3 DOCUMENTOS NORMATIVOS Y PROGRAMÁTICOS ................................................................................... 93

6.4 DOCUMENTOS TEÓRICOS Y METODOLÓGICOS ........................................................................................ 94

7 Anexos ........................................................................................................................... 96 7.1. ANEXO 1 “SÍNTESIS DE EVALUACIONES 2007-2012”. .................................................................................. 96

7.2. ANEXO 2 “SÍNTESIS DE EVALUACIONES DE PROGRAMAS SIMILARES INTERNACIONALES”. ..................................... 96

7.3. ANEXO 3. “AGENDA DE EVALUACIÓN” ....................................................................................................... 96

7.4. ANEXO 4. “FODA” ................................................................................................................................. 96

7

1 Introducción Conforme a los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal (Lineamientos), el numeral vigésimo cuarto, define a las evaluaciones complementarias, como aquellas que no se encuentran previstas en el Programa Anual de Evaluación (PAE), y cuya aplicación está a consideración de las necesidades que identifiquen las dependencias o entidades. En este sentido, al ser interés particular de la Sedesol contar con información acerca del desempeño y resultados de los Programas Sociales, y con base en la información disponible de evaluación y monitoreo, se plantea una evaluación complementaria, denominada “Meta-evaluación 2007-2012 para el Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas”. El objetivo general de la metaevaluación es analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas, que permitan al programa obtener mejores resultados en el periodo 2013-2018. Este objetivo general posteriormente se desarrollará en una serie de objetivo específicos, a los cuales se les da cumplimiento formal en los diversos apartados del documento. El desarrollo de la metaevaluación del PAIMEF comienza con la descripción general del programa a partir de lo establecido en diversos documentos normativos y técnicos básicos, así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, en el Reporte de evaluación se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012; se revisan artículos y documentos sobre experiencias internacionales relacionadas con el PAIMEF, ya sea en sus objetivos o en su estrategia de apoyo; se propone una agenda de evaluación para el periodo 2013-20118; se enuncian las principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones derivadas de las evaluaciones realizadas al programa, y se exponen las conclusiones y recomendaciones más relevantes del equipo metaevaluador. En el Reporte de Monitoreo se hace un análisis de la evolución de la Matriz de Indicadores de Resultados (MIR) del programa durante el período 2007-2012. El análisis histórico identifica los principales cambios en los resúmenes narrativos y en los indicadores que componen la Matriz, que surgieron como resultado de las observaciones y recomendaciones de diversas instancias normativas y fiscalizadoras, así como de evaluaciones externas realizadas al programa. Asimismo, se incluye una serie de recomendaciones del equipo metaevaluador para mejorar la matriz hacia el inicio de la próxima administración federal. Finalmente, se presentan las conclusiones y recomendaciones resultantes de la metaevaluación y se incluye una serie de anexos que refiere el contenido del documento.

8

2 Descripción del programa En este apartado se presenta una descripción general del programa a partir de lo establecido en diversos documentos básicos, tales como las Reglas de Operación del Programa (ROP) 2012, el Diagnóstico de la Capacidad Institucional Frente al Problema de la Violencia contra las Mujeres de 2009 (en adelante, el Diagnóstico), la Nota de Actualización de la Población Potencial y Objetivo de 2011 (en adelante, la Nota), así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, se describen los diferentes apoyos que otorga el programa a sus beneficiarios, se identifica y cuantifica la población potencial y objetivo, y se da cuanta de la evolución de la cobertura durante los años recientes. 2.1 Antecedentes y objetivos El Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas, para implementar y ejecutar Programas de Prevención de la Violencia contra las Mujeres (PAIMEF), con clave programática S155, inició sus operaciones en 2006 y depende del Instituto Nacional de Desarrollo Social (Indesol), órgano desconcentrado de la Secretaría de Desarrollo Social (Sedesol). En sus inicios, el programa fue establecido en el Presupuesto de Egresos de la Federación (PEF) como Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas, con el fin de elaborar un Diagnóstico sobre la Violencia contra las Mujeres, que dio paso, a partir de 2006, al PAIMEF. Este programa es parte de los compromisos adquiridos por México en el marco de la Convención Interamericana para prevenir, sancionar y erradicar la violencia, conocida como la “Convención Belem do Para”. Asimismo, en la Convención sobre la eliminación de todas las formas de discriminación contra la mujer (CEDAW, por su acrónimo en inglés), en el marco de las Naciones Unidas. Finalmente, este programa también se enmarca en los compromisos que México adquirió con la firma de la Declaración y Plataforma de Acción de Beijing que promueve la defensa, garantía e impulso de la plena aplicación de los derechos y la dignidad humana de mujeres y hombres. Las Reglas de Operación del Programa (ROP) 2012 señalan que su objetivo general es: “Contribuir a prevenir y atender la violencia contra las mujeres, a través de las acciones que realizan las Instancias de Mujeres en las Entidades Federativas.” Este objetivo se pretende cumplir atendiendo el objetivo específico que es “fortalecer a las Instancias de Mujeres en las Entidades Federativas para prevenir y atender la violencia contra las mujeres.” El medio que utiliza el programa para la consecución de sus objetivos es el apoyo a proyectos anuales con acciones específicas que, a iniciativa y a través de las IMEF, ejecuten los gobiernos estatales en tres vertientes: (a) Acciones tendientes a la institucionalización de la prevención y la

9

atención de la violencia contra las mujeres, (b) Acciones y prácticas de prevención de la violencia contra las mujeres, dirigidas a la población en general conforme a las características sociodemográficas y necesidades de los diferentes grupos a atender, y (c) Atención especializada a las mujeres, y en su caso, a sus hijas e hijos, en situación de violencia, desde la perspectiva de género y en el marco de los derechos humanos, el desarrollo humano y la multiculturalidad. 2.2 Problema focal y árbol de problemas En el Diagnóstico 2009 y la Nota 2011 el problema central se definió como “Capacidad institucional limitada frente al problema de la violencia contra las mujeres”. El Diagnóstico del PAIMEF destaca que en México, recientemente se ha comenzado a conocer, cuantificar, legislar, y, por ende, a estructurar una respuesta institucional ante el problema de la violencia contra las mujeres. No obstante, a pesar de los esfuerzos por reconocer y atender dicha problemática, existe una limitada capacidad institucional para tomar acciones ante este fenómeno. Las causas principales del problema son: 1) la deficiente procuración e impartición de justicia, 2) Instancias de mujeres en las entidades federativas con limitaciones institucionales, 3) Escasa y deficiente oferta institucional de servicios especializados de atención directa a las mujeres en situación de violencia, 4) No reconocimiento de la violencia contra las mujeres como problema y 5) Escasa coordinación entre actores sociales. Por su parte, los efectos más importantes del problema son la pérdida de credibilidad en las instituciones y el no ejercicio de derechos, el ineficaz ejercicio de recursos, y la limitada y desigual cobertura de servicios. Estos efectos en conjunto llevan a una alta incidencia y prevalencia de casos de violencia contra las mujeres. A continuación se presenta el árbol de problemas que el programa construyó en torno al problema focal.

10

Árbol de problemas del PAIMEF

Fuente: INDESOL s/f. Diagnóstico de la Capacidad Institucional Frente al Problema de la Violencia Contra las Mujeres, p.6. http://www.Sedesol.gob.mx/es/Sedesol/Diagnosticos_de_los_Programas_ de_Desarrollo _Social

11

2.3 Población potencial y objetivo La población potencial del PAIMEF, es decir, el conjunto de la población que presenta el problema principal, se definió en el Diagnóstico 2009 y la Nota 2011 como las 32 Instancias de Mujeres de las Entidades Federativas (IMEF) que pueden ser Institutos o Secretarías. Las IMEF son actores relevantes para el PAIMEF por las funciones que desempeñan y las competencias que tienen, entre ellas:

Elaborar y ejecutar los Programas Estatales de las Mujeres.

Generar estadísticas.

Canalizar a las instancias correspondientes los casos de violencia.

Operar y coordinar refugios de mujeres violentadas en caso de que se cuente con ellos en la entidad.

Apoyar con las diferentes instancias de la administración pública federal, estatal y municipal y cooperar con ellas en la formulación de políticas públicas gubernamentales, así como promoverlas en la sociedad.

Proponer y promover la creación de Consejos o Institutos de la Mujer en cada uno de los municipios del estado.

Promover estudios e investigaciones para instrumentar un sistema de información, registro, seguimiento y evaluación de las condiciones sociales, políticas, económicas y culturales de las mujeres en los distintos ámbitos de la sociedad, entre otras.

En la Nota 2011 se establece que la población objetivo que pretende atender el programa son las 32 Instancias de Mujeres en las Entidades Federativas que desarrollan acciones para prevenir y atender la violencia contra las mujeres. 2.4 Apoyos otorgados De acuerdo con sus ROP, el PAIMEF está financiado por los subsidios del Ramo 20 para apoyar instancias de mujeres a efecto de Implementar y Ejecutar Programas de Prevención de la Violencia contra las Mujeres en las entidades federativas. Asimismo, dentro de este marco, el programa apoya proyectos anuales con acciones específicas que se realizan a través de las IMEF; se desarrollan acciones de detección, prevención y atención de la violencia contra las mujeres que ejecuten los gobiernos estatales relacionados con alguna de las siguientes temáticas:

Proyectos de acciones tendientes a la institucionalización de la prevención y la atención de la violencia contra las mujeres en planeación y desarrollo organizacional; procesos de formación, actualización y profesionalización (para las IMEF, dependencias gubernamentales de los tres órdenes de gobierno, organizaciones de la sociedad civil, instituciones académicas, medios de comunicación, magisterio e instituciones educativas, líderes sociales y promotores comunitarios); gestión del conocimiento; mecanismos de

12

monitoreo, seguimiento, evaluación y sistematización de la información, y creación y consolidación de sinergias interinstitucionales e intersectoriales que impulsen la agenda y la política pública en la materia.

Proyectos de acciones y prácticas de prevención de la violencia contra las mujeres, dirigidos a la población en general, conforme a las características sociodemográficas y a las necesidades de los diferentes grupos a atender en materias de información y sensibilización sobre temas relativos a los derechos humanos de las mujeres y la violencia de género; difusión y promoción de los servicios especializados de atención que brinda la IMEF; proyectos de atención especializada a las mujeres, y en su caso, a sus hijas e hijos en situación de violencia, desde la perspectiva de género y en el marco de los derechos humanos, el desarrollo humano y la multiculturalidad para la creación y apoyo de servicios especializados e integrales de atención ya sean jurídicos, psicológicos, de trabajo social y derivación médica en servicios de atención externa y de protección y atención; acciones para la promoción de la autonomía económica y para el empoderamiento de las usuarias de los servicios como contención emocional y autocuidado personal.

De acuerdo con las ROP, todas las IMEF son susceptibles de ser apoyadas. Para conocer el desempeño de los proyectos de las IMEF en años anteriores, los integrantes de las mesas de revisión podrán utilizar el Índice de Fortalecimiento Institucional (IFI), que caracteriza las diferencias en los avances entre las entidades federativas, ponderando cuatro dimensiones (dicho índice se encuentra en proceso de actualización):

IMEF corresponsable. Comparten la responsabilidad las distintas instituciones involucradas en el logro de los objetivos de prevención y atención de la violencia contra las mujeres, con relación a factores como la mezcla de recursos federales y estatales, la continuidad en el personal y las plazas presupuestales.

IMEF con capacidades institucionales básicas. Son los atributos organizacionales para ejercer las responsabilidades, establecer objetivos y mover recursos para alcanzar las competencias necesarias. Los factores considerados para este rubro son el Reglamento de la Ley General de Acceso a las Mujeres a una Vida Libre de Violencia, la información sobre la problemática estatal en materia de prevención y atención de la violencia contra las mujeres, la planeación estratégica, el establecimiento de un Programa Institucional, la institucionalización de los programas de prevención y atención, la sistematización de la información, la capacitación del personal y, finalmente, el desarrollo de capacidades.

IMEF con operación eficiente y calidad operativa. Es el grado de optimización del uso del tiempo y recursos utilizados para la operación de los programas, procesos y actividades de las organizaciones para que éstas sean eficientes. Los factores considerados son los siguientes: calidad del proyecto, desarrollo de protocolos interinstitucionales, continuidad operativa, atención directa institucionalizada, modelos validados de atención y la operación del PAIMEF.

IMEF eficaz en sus resultados. Mide la brecha entre las metas y los objetivos planteados, y su ejecución y la administración de recursos humanos, financieros, técnicos y físicos.

13

Entre las variables consideradas están la capacidad instalada de atención externa y albergues y la presencia del tema de violencia de género en la agenda estatal.

2.5 Evolución de la cobertura El PAIMEF tiene cobertura nacional. La última evaluación de Consistencia y Resultados ofrece datos de la cobertura para el período 2008 a 2011, donde se constata un comportamiento constante de la misma. En este último año se atendieron 31 IMEF lo que equivale a 96.88% de la población objetivo y el mismo porcentaje de la potencial, pues en este programa ambas poblaciones se cuantifican con igual cantidad de unidades.

Cuadro 1: Cobertura del PAIMEF

Fuente: ECR 2011-2012, Anexo 11

La Nota 2011 del PAIMEF menciona las acciones que ha llevado a cabo el Programa para la distribución de recursos a nivel nacional. En el periodo 2006-2007 la distribución fue equitativa. No obstante, para 2008 se comenzó a considerar factores que permitieran reconocer las diferencias entre las entidades federativas para hacer un uso eficiente de los recursos. Por ello, para ese ejercicio fiscal se utilizó el Índice de Rezago Social del CONEVAL y el porcentaje de mujeres mayores de 15 años con algún tipo de violencia establecido en el Índice de Rezago Social de la Encuesta Nacional sobre la Dinámica de las Relaciones en los Hogares (ENDIREH 2006), publicada por el INEGI. Para 2009 y 2010, los recursos se asignaron también utilizando el 90% del monto base para distribuir a entidades federativas, además de lo ya mencionado. Finalmente, para 2011, la Unidad de Planeación y Relaciones Internacionales, y el Órgano Interno de Control de la Sedesol recomendaron incluir un componente poblacional y reducir el componente inercial, ofreciendo 70% de monto base para entidades; 15% de componente poblacional, según la Encuesta Nacional de Ocupación y Empleo (ENOE) del INEGI, y otro 15% del componente del Índice de Rezago Social.

14

3 Reporte de evaluación En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas más relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento de las evaluaciones —el Anexo 1 facilita una visión esquemática de este ejercicio. Para establecer un punto de referencia con experiencias a nivel internacional, posteriormente se muestra una síntesis de artículos y documentos que pueden tener relación con los objetivos, las estrategias del PAIMEF, o incluso por la relevancia del sus recomendaciones. Se trata de obtener información útil para valorar en qué medida las acciones o estrategias del programa han obtenidos resultados en otras realidades, así como de analizar y aprovechar aquellos aspectos del esquema metodológico es posible para próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de estos documentos. A continuación, se propone una agenda de evaluación para el período 2013-2018, que pretende ser una guía para orientar los ejercicios que deberán hacerse al programa conforme a la normatividad en la materia. La agenda propuesta plantea los objetivos para cada evaluación y el período de duración, señala los componentes específicos para analizar, hace una justificación de cada ejercicio con base en necesidades o recomendaciones identificadas en esta metaevaluación, y propone un conjunto de insumos necesarios para llevar a cabo las evaluaciones durante todo el período. La esquematización de la propuesta puede observarse en el Anexo 3. Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una propuesta más detallada para someter al programa a una evaluación de impacto. Se describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de las características específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de viabilidad técnica y financiera. En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e implicaciones para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en el Anexo 4.

15

Finalmente, se incorpora una sección de conclusiones y recomendaciones del metaevaluador, que si bien en su mayoría se construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño, la cobertura y los impactos del programa, y son responsabilidad exclusiva del metaevaluador. 3.1 Principales hallazgos de las Evaluaciones 2007-2011 En esta sección se presenta una síntesis para cada una de las evaluaciones externas realizadas al programa durante el período 2007-2012. En ellas se especifican la metodología, los principales resultados y se enuncian las recomendaciones que los evaluadores derivaron en su momento de las evaluaciones —el Anexo 1 facilita una visión esquemática de las mismas. Cabe señalar que los resultados aquí presentados reflejan lo encontrado en cada evaluación en el momento en que estas se llevaron a cabo, y no reflejan la opinión del equipo metaevaluador. Asimismo, es necesario enfatizar que, conforme a la normatividad respectiva, los principales hallazgos y recomendaciones de las evaluaciones externas se incorporaron en un mecanismo de seguimiento y derivaron en aspectos susceptibles de mejora, que en su momento fueron atendidos por los responsables de los programas. Sin embargo, por el diseño del propio mecanismo de seguimiento y la naturaleza de los problemas que les dieron origen, algunos hallazgos y recomendaciones importantes pueden seguir siendo vigentes a la fecha en que se realiza la presente metaevaluación. En los casos en que esto ocurra, a juicio del metaevaluador, dichos hallazgos y recomendaciones se retomarán en el análisis FODA de la sección 3.5. 3.1.1 Evaluación de Diseño (ED 2007) Esta evaluación tuvo como objetivo evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la dependencia o entidad, el diseño del programa. Lo anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa. La institución encargada de realizar la evaluación fue la Universidad Autónoma de la Ciudad de México (UACM). A continuación se exponen los aspectos más relevantes de los temas que comprende la misma. Características del programa

El problema está identificado y claramente definido en términos de favorecer el desarrollo de procesos interinstitucionales para prevenir, detectar y atender la violencia contra las mujeres.

No hay diagnóstico sobre la problemática detectada.

16

Tiene definidas las poblaciones potencial y objetivo como las IMEF.

El Fin y el Propósito están claramente definidos y corresponden a la solución del problema.

Tiene como respaldo o fundamento las ROP, no se mencionan estudios ni investigaciones nacionales ni internacionales.

Se establece una relación con el Plan Nacional de Desarrollo respecto de Ia igualdad de Oportunidades e Igualdad entre hombres y mujeres.

Matriz de indicadores para resultados (MIR)

Componentes necesarios y suficientes para el logro del Propósito.

El logro del Propósito contribuye al logro del Fin, desde la MIR.

Los indicadores son claros, relevantes, económicos, adecuados y monitoreables.

Los indicadores incluidos en la MIR tienen identificada su línea de base y temporalidad.

En la lógica horizontal de la MIR, no se observa la consistencia de los supuestos de la MIR.

La lógica horizontal de la MIR no es válida en su totalidad por la falta de consistencia de los supuestos.

Población potencial y objetivo

La Población Objetivo está cuantificada mas no caracterizada.

Existe información sistematizada y actualizada de quiénes reciben los apoyos. Vinculación con las ROP

Los criterios y mecanismos para determinar las unidades de atención están establecidos en las ROP, mas no son los adecuados.

Los objetivos de las ROP no coinciden con el fin ni el propósito de la MIR. Coincidencias, Complementariedades y Duplicidades

No hay programas con los que debía haber habido complementariedad o sinergia.

Probabilidad de duplicidad si no se logra articular la transversalidad de género a partir del PND 07–12.

No existe información que detecte complementariedades y/o duplicidades. 3.1.2 Evaluación Específica de Desempeño 2008 (EED 2008) El Colegio de la Frontera Norte, realizó la presente evaluación siendo coordinada por René Martín Zenteno Quintero, en ésta se reportaron los avances en materia de indicadores conforme a la información disponible así como para identificar los avances en los Aspectos Susceptibles de Mejora (ASM).

17

Indicadores

En cuanto a los resultados de la MIR, se menciona que cuatro de cinco indicadores estratégicos presentan resultados por encima de la meta, en un rango de 28.5 a 119 puntos porcentuales.

Respecto de los indicadores de gestión, tres de cinco están por encima de la meta.

Algunos indicadores tienen dificultades de definición, por lo que es necesario especificar acciones y poblaciones a atender, para una mejor medición de los alcances.

Los indicadores estratégicos de acciones tienen dificultades en su definición mientras que los de gestión están formulados con mayor claridad y precisión.

Cobertura

En materia de cobertura, las poblaciones potencial, objetivo y atendida tienen las mismas unidades de medida y se encuentran claramente definidas.

Se presentan datos de cobertura 2008, pero no es posible valorar su evolución.

La cuantificación de las poblaciones es de 32 IMEF, es decir, en este año existe una cobertura de 100%.

Aspectos Susceptibles de Mejora

En los Aspectos Susceptibles de Mejora se identificaron cinco aspectos de mejora: perfeccionar las ROP, la realización de una MIR más completa, un documento para detectar duplicidades y sinergias con otros programas, y mecanismos de evaluación externa.

3.1.3 Evaluación de Procesos 2009 (EP 2009) La evaluación fue realizada por el Instituto Nacional de Salud Pública, y se llevó a cabo con el objetivo de analizar de manera sistemática la operación del Programa, mediante trabajo de gabinete, entrevistas y observación directa en los distintos niveles en que opera. El documento integra la descripción de las características de los procesos, examina sus ventajas, presenta los problemas que enfrenta el Programa y emite recomendaciones. Descripción de los procesos

Se describen y se detectan los procesos operativos: difusión, presentación de los proyectos, validación, revisión de proyectos, ajuste de los proyectos, suscripción del instrumento jurídico, entrega y ejercicio de los recursos, informe parcial, informe final, acta de terminación, control y auditoría.

Identificación y clasificación de los procesos

El modelo de procesos contempla el diseño del programa, planeación, difusión, solicitud de apoyos, selección de beneficiarios, producción y compra de apoyos, entrega de apoyos, seguimiento a la utilización de apoyos y evaluación de resultados.

18

Análisis y medición de atributos Diseño

Dado que las IMEF tienen sus propios procedimientos, no existe un diseño homogéneo al que puedan sujetarse.

No hay procesos uniformes para la aplicación de recursos en los estados.

Planeación

La planeación que realizan las IMEF no integra objetivos de largo plazo para el PAIMEF y se reduce a una planeación operativa. Difusión

No existe una estrategia de difusión general, ya que a nivel estatal las IMEF son las que hacen difusión de sus acciones. Solicitud de apoyos

Opera por oferta y no mediante recepción de solicitudes, de tal forma que no existe un proceso de discriminación de proyectos. Selección de beneficiarios

No existe un proceso de discriminación de proyectos. Entregas y ejercicio de apoyos

Para realizar las entregas y el ejercicio de apoyos, existen documentos que especifican características y necesidades del apoyo. Seguimiento a la utilización de apoyos

Existen planes y mecanismos de seguimiento de los apoyos federales, mas no de los estatales ni municipales.

La entrega de apoyos va en función de la disponibilidad a través de planes en función de la demanda. Transversales

No se cuenta con un sistema informático optimizado; sin embargo, la información del PAIMEF está sistematizada.

Será necesario considerar la creación de estos sistemas para agilizar los procesos internos del Programa.

3.1.4 Evaluación Específica de Desempeño 2009 (EED 2009) El Colegio Mexiquense realizó la presente evaluación siendo coordinada por Israel Benegas González, en ésta se reportan los avances en materia de indicadores conforme a la información disponible así como para identificar los avances en los ASM.

19

Indicadores

En los indicadores de la MIR, se observa que casi todos superaron sus metas y la mayor parte fue sustituida durante 2008.

En los indicadores de resultados es necesario reelaborar indicadores que tengan relación con el problema que se desea atender a nivel de Fin y de Propósito.

La medición de la institucionalización de las IMEF es un buen paso de mejora de los indicadores.

En los indicadores de gestión hay aciertos en la medición de las etapas de aprobación, financiamiento y ejecución de proyectos, pero es necesario un número menor de indicadores y corregir algún error de medición.

Las cuatro vertientes cuentan con al menos un indicador pertinente, relevante y confiable.

Cobertura

La población potencial y objetivo son las mismas (32 IMEF); estos componentes son claros y definidos.

Las ROP establecen que la población objetivo son las IMEF de las 32 entidades federativas.

La población atendida difiere porque la IMEF de Nuevo León declinó participar. Aspectos Susceptibles de Mejora

El documento de trabajo señala que se realizaron las acciones al 100%.

En el Documento Institucional se observa la incorporación de los lineamientos de la Evaluación de Diseño 2007.

Se elaboró la Matriz de Marco Lógico, el diagnóstico de capacidad institucional del país, la MIR y un diagnóstico.

Se realizaron dos evaluaciones externas y se analizó la duplicidad con otros programas. 3.1.5 Evaluación Específica de Desempeño 2010 (EED 2010) C-230 Consultores S.C., realizó la presente evaluación siendo coordinada por Raúl Abreu Lastra, en ésta se reportan los avances en materia de indicadores conforme a la información disponible así como para identificar los avances en los ASM. Indicadores

La valoración final de esta evaluación menciona que cinco de siete indicadores cumplen sus metas o las rebasan.

Los indicadores de Propósito y de Componente no alcanzaron sus metas, aunque este último presentó un avance de 96%.

En avances de mejora se apoyaron 11 proyectos en 10 entidades federativas.

20

Las Mesas de Recepción de Proyectos acordaron criterios homólogos para valorar propuestas.

Se instrumentan acciones para medir el Índice de Fortalecimiento Institucional de las IMEF.

Se integró el Documento Metodológico para visitas de seguimiento físico.

Se instalaron y ajustaron las Mesas de Recepción. Cobertura

En cuanto a la cobertura, la población potencial, y objetivo son las mismas; son claras, definidas y cuantificadas.

La población atendida es de 31 IMEF, igual que en 2008 y 2009, y no se cuenta con información desagregada por municipio de la atendida.

La IMEF de Tamaulipas declinó participar. El Sistema de Evaluación de Desempeño no reporta la o las razones por las que decidió declinar.

Aspectos Susceptibles de Mejora

Los Aspectos Susceptibles de Mejora sugieren elaborar un documento marco de monitoreo y seguimiento físico de proyectos que implementan las IMEF.

Garantizar la continuidad de los proyectos IMEF en cambios de administración.

Implementar acciones de fomento estratégico y desarrollo organizacional de las IMEF.

La valoración final de los ASM señala que en los Reportes de Avances de 2008 a 2010, se encontraron ocho aspectos, de los cuales en siete se ha tenido un porcentaje de avance de 100%.

Sin embargo, no ha sido finalizada la elaboración de un documento de Planeación Estratégica, el cual reporta un avance de 70%.

3.1.6 Evaluación de Consistencia y Resultados 2011 (ECR 2011) La evaluación fue realizada por El Colegio de México y los objetivos de la misma fueron:

Analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas federales.

Identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados.

Examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazos y los avances presentados en el ejercicio fiscal evaluado.

Analizar los principales procesos establecidos en las ROP o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas.

Identificar si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de sus beneficiarios y sus resultados, y

21

Examinar los resultados del programa respecto a la atención del problema para el que fue creado.

Diseño:

El problema se encuentra identificado en las ROP 2011 y cuenta con un diagnóstico de 2009, en el que se observa la limitada capacidad institucional de las IMEF para atender el problema; asimismo, está vinculado con el Programa Sectorial y el Plan Nacional de Desarrollo, y de manera indirecta con las Metas del Milenio.

La población potencial y objetivo son iguales y se encuentran definidas en documentos oficiales.

Falta claridad y consistencia en la MIR, pero es posible identificarla en las ROP.

Del 85% al 100% de las Fichas Técnicas así como de las metas de los indicadores tienen las características establecidas.

Existe complementariedad con otros programas federales.

La información sobre la población beneficiara no está sistematizada, pero sí cuenta con mecanismos documentados para su actualización.

Del 85 al 100% de las metas de los indicadores tienen las características establecidas. Planeación Estratégica

El PAIMEF tiene un programa anual de operación, pero no de planeación de mediano y largo plazos.

Se ha identificado que se han solventado la mayor parte de los ASM (85%), y la implementación de las acciones para ello están de acuerdo con lo establecido en los documentos de trabajo e institucionales.

Cobertura y Focalización

Tiene una estrategia de cobertura documentada para atender a su población objetivo.

Durante los últimos tres años la cobertura ha sido de 96.88%, con respecto a las metas de coberturas anuales.

Sin embargo, no tiene estrategia de cobertura de mediano y a largo plazos. Operación

No cuenta con información sistematizada para conocer la demanda total de apoyos y las características de los solicitantes

Dispone de procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo

La selección de beneficiarios incluye criterios de elegibilidad que están estandarizados y difundidos públicamente, pero el proceso no está sistematizado.

Cumple con los mecanismos de transparencia y rendición de cuentas. Percepción de la población objetivo

No cuenta con un instrumento de medición de la satisfacción de las IMEF.

22

Resultados

Documenta los resultados de Fin y de Propósito con la Evaluación Específica de Desempeño y con los informes trimestrales.

Los resultados a nivel Fin muestran problemas para su medición, aunque éste retoma la contribución del programa por disminuir la violencia, el indicador seleccionado refiere al número de mujeres atendidas a través de los servicios, que son un medio para lograr el Fin.

No tiene evaluaciones de impacto.

Las evaluaciones externas han identificado faltas relacionadas con el Fin y el Propósito, tales como las metodologías para calcular los indicadores. Sin embargo, no identificaron las dificultades de la lógica vertical ni la horizontal de la MIR.

3.2 Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o

internacional de programas similares El equipo metaevaluador realizó una busqueda de programas diseñados para reducir la violencia contra las mujeres que hubieran pasado por un proceso de evaluación para medir su desempeño en el logro de sus objetivos. A pesar de que existan políticas a nivel nacional o internacional para reducir la violencia de género, no se encontraron evaluaciones de impacto sobre estos programas. Por ello, se recurrió al análisis de programas que utilizan los mecanismos de apoyo del PAIMEF, artículos académicos; así como una guía de evaluación para este tipo de programas. A continuación se presenta una síntesis de los principalez hallazgos. 3.2.1 Hispanic Capacity Project (HCP), Estados Unidos Nombre de la evaluación: Can Government Funding Stengthen the Third Sector? The Impact of Capacity Building Program n Faith-Based and Community-Based Organizations Año de la evaluación: 2008-2010 Objetivos de la evaluación:

Estimar la efectividad de los programas federales para la construcción de capacidades necesarias en las organizaciones no gubernamentales y religiosas que trabajan con grupos étnicos específicos.

Determinar qué factores influyen en la sostenibilidad de estas organizaciones. Metodologías empleadas:

23

Se realizó un diseño mixto de evaluación para medir la efectividad y el impacto del HCP. Se trataron 140 organizaciones de seis regiones geográficas distintas establecidas en los Estados Unidos orientadas a la población latina que fueron observadas durante tres años. Para todas ellas se realizó una medición de una línea basal estableciendo cuatro niveles de desarrollo organizacional en función de sus objetivos, logros, programas que ofrecen, necesidades y niveles de desarrollo de capacidades.

Los resultados del enfoque cuantitativo están orientados en el crecimiento organizacional, la sostenibilidad organizacional medida como la capacidad o diversificación de los fondos que obtienen las organizaciones, el desarrollo de las redes de la sociedad civil y la diversificación de los servicios. En este orden de ideas, es importante definir algunos conceptos utilizados en la evaluación.

En primer lugar, la capacidad de financiamiento se refiere a la habilidad de la organización para obtener financiamiento de fuentes distintas a sus propios miembros utilizando fondos existentes y disponibles para este tipo de organizaciones; el objetivo es utilizar el fondo del HCP como palanca para diversificar las fuentes de financiamiento de la organización.

En segundo lugar, las redes de la sociedad civil están definidas como tres o más organizaciones o grupos de la sociedad civil que se unen voluntariamente con un objetivo común de desarrollo social o comunitario.

Finalmente, la diversificación de servicios se refiere a la habilidad de la organización para utilizar encuestas de satisfacción del cliente y otras mediciones de efectividad para mejorar los servicios existentes en dicha organización, mientras la oferta de estos servicios se incrementa o ajusta en función de las necesidades de la población objetivo que atienden.

Para la selección de grupos para la muestra se utilizaron los recursos existentes para atraer la atención de organizaciones latinas de base religiosa y/o líderes en la comunidad latina. Para el proyecto fueron seleccionadas 140 organizaciones: 87% de ellas se autodefinían religiosas y 13% fueron organizaciones basadas en la comunidad. Todas ellas fueron invitadas a participar en la evaluación. Un dato relevante es que 131 de estas 140 organizaciones permanecen activas después de los 3 años de la evaluación. Dichas organizaciones estaban divididas en seis regiones geográficas distintas establecidas en los Estados Unidos orientadas a la población latina que fueron observadas durante tres años.

El equipo de trabajo del HCP definió una herramienta para la evaluación de las organizaciones que permitió determinar el estado inicial de cada una de ellas a la que llamaron “Organizational Assessment Tool (OAT), traducida como herramienta de evaluación organizacional”. En esta herramienta se definieron, a criterio de los evaluadores, cuatro niveles de desarrollo organizacional midiendo 16 áreas específicas y 5 categorías de capacidad organizacional: liderazgo estratégico, estructura organizacional, administración y operaciones, evaluación de programas, recursos y desarrollo de recursos. Los cuatro niveles de desarrollo de la organización son los siguientes:

o El primer nivel (organizaciones incipientes) busca principalmente construir infraestructura y aumentar su área de influencia, sus alcances y objetivos son

24

principalmente reactivos, sus programas son de corto plazo respondiendo a las necesidades inmediatas de la población, y dentro de sus principales necesidades como organización están: mejorar habilidades, recursos para financiar sus servicios actuales y definir su estatus legal.

o En el segundo nivel (organizaciones principiantes) se tiene como propósito la búsqueda de construir y expandir sus capacidades de gestión, dentro de sus objetivos y alcances están el desarrollo de un programa y la sostenibilidad organizacional, sus programas son de corto plazo dependiendo de los fondos disponibles y sus necesidades están enfocadas a obtener recursos para tener una estabilidad fiscal, tener programas más robustos y el desarrollo de redes.

o En el tercer nivel (organizaciones intermedias) se tiene como propósito articular y expandir su misión y objetivos, entre sus alcances y objetivos está mejorar la administración de la infraestructura y evaluar para robustecer sus impactos, sus programas tienden a buscar un cambio sostenible en la comunidad en aras del desarrollo y construcción de la comunidad, y dentro de sus necesidades estarían el desarrollo de financiamiento y la diversificación de redes.

o En el cuarto nivel (organizaciones avanzadas) se tiene como propósito la diversificación y expansión de servicios y áreas objetivos, entre sus objetivos y alcances se encontrarían convertirse en intermediarios regionales, servir de mentores, pares para capacitación, modelos para mejores prácticas, entre otros; sus programas son complejos y desarrollados, y sus necesidades están enfocadas al mejoramiento de su posición como líderes de redes de la sociedad civil, diversificación de fondos y desarrollo de éstos.

Con la información antes referida, se realizó una medición inicial sobre el perfil de las organizaciones como: características de la organización, etnicidad de los líderes, tipo de servicios otorgados, fuentes de financiamiento, entre otros.

A todas las organizaciones se les otorgaron 510 horas de capacitación sobre gobierno, aspectos legales, tecnología, evaluación de programas, planeación, recursos humanos, procuración de fondos, entre otros. Cada una de las capacitaciones fue evaluada ex post.

También, dentro del tratamiento aplicado, todas las organizaciones fueron beneficiadas con asistencias técnicas con una inversión aproximada de $342,986 USD con 239 visitas en las seis regiones uno a uno o en pequeños grupos.

Finalmente, el proyecto otorgó un monto total de $1,539,900.00 USD para fondear la diversificación y el desarrollo de habilidades de las propias instituciones para buscar fondos diversos que obtuvieron a través de las asistencias técnicas y capacitación antes mencionada.

Síntesis de los principales resultados:

El proyecto fue evaluado en tres puntos en el tiempo. Como se ha mencionado anteriormente, los resultados de esta evaluación tienen sólo antes y después sin grupo de control. Uno de los primeros resultados que arroja la investigación es que 95% de las organizaciones apoyadas, siguen operando después del tercer año del tratamiento. Esto quiere decir que la gran mayoría fue sostenible en el tiempo. No obstante, no es posible

25

determinar con certeza si la sostenibilidad se debe a la participación de dichas organizaciones en el proyecto.

La efectividad de los apoyos se refleja en los resultados específicos en las organizaciones. En la situación inicial cuando se aplicó el Organizational Assessment Tool (OAT) la mayor parte de las organizaciones eran incipientes (37%) o principiantes (47%). Solamente 11% de las organizaciones eran nivel tres y 5% son nivel cuatro. Después de recibir el tratamiento, 69% de las organizaciones apoyadas se movieron al menos un escalafón en el nivel de desarrollo. Esto implica que basados en los estudios organizacionales establecidos al inicio del proyecto, la mayor parte de las organizaciones eran de tamaño mediano y con limitada experiencia en el otorgamiento de servicios, y muy pocas de ellas habían tenido acceso a fondos importantes y después de los apoyos, se creó el capital social para mover la organización a otro nivel.

En específico, se tienen resultados importantes derivados de las capacitaciones y asistencias técnicas. No obstante, el resultado más significativo es la contribución que tuvieron para la creación de capacidades organizacionales con la incorporación legal de 68 organizaciones que obtuvieron su certificación de entidades no lucrativas, lo cual posiciona a las organizaciones para su crecimiento e incrementa la posibilidad de obtener financiamiento sustancial en el futuro para ser sostenibles en el tiempo. De las 16 áreas en donde fue provista la asistencia técnica las que tuvieron mejores resultados fueron: estructura organizacional, gobernabilidad, aspectos legales, tecnología y evaluación de programas; mientras que las capacitaciones con resultados menos satisfactorios fueron: planeación, administración de recursos humanos y recaudación de fondos. Para esta última a pesar de que en el resultado global (OAT) la recaudación de fondos se incrementó, el promedio de la evaluación de las capacitaciones se mantuvo bajo.

Para el caso de la recaudación de fondos se realizó un análisis sobre las habilidades iniciales de las organizaciones para atraer fondos públicos y privados, diversificar sus fuentes de financiamiento y construir una credibilidad social para la atracción de fondos externos. Una de las observaciones más relevantes hechas por esta evaluación fue que la credibilidad que se genera entre los diferentes donadores y agencias en las comunidades, genera también mayor visibilidad hacia afuera, permitiendo la diversificación de su fondeo. Las organizaciones participantes lograron recolectar cerca de 15 millones de dólares de fondos externos gracias a la capacitación, asistencia técnica y al apalancamiento del fondo creado por HCP.

Las redes de la sociedad civil organizada son conocidas en el mundo por su capacidad para incrementar el desarrollo social de los grupos vulnerables y marginados. Asimismo, cuando grupos de la sociedad civil pertenecen a redes de la sociedad civil pueden generar redes para conseguir objetivos comunes y, adicionalmente, se generan sociedades que incrementan la legitimidad de los participantes de la organización. A nivel mundial, la sociedad civil organizada ha logrado tener la función democrática de alcanzar cambios sociales importantes para los grupos vulnerables. Dentro de los elementos a resaltar al final del HCP es que las organizaciones niveles uno y dos tienden a utilizar eventos informales para estar en contacto con sus redes; no obstante, las organizaciones niveles

26

tres y cuatro tienden a involucrarse intensivamente en redes de desarrollo comunitario y proyectos vecinales.

Finalmente, uno de los resultados importantes es que 68% de los participantes pudo incrementar el nivel de servicios a partir de la intervención del HCP. En particular, las organizaciones nivel uno tienden a ofrecer servicios de asesorías familiares, clases para mejorar la vida familiar, distribución de ropa y comida para necesitados y donaciones internacionales. Por otro lado, las organizaciones nivel dos tienden a tener programas más establecidos en servicios familiares como programas para padres solteros, violencia familiar, servicios de inmigración, servicios recreativos para jóvenes y cuidados para adultos mayores. Las organizaciones nivel tres tenían servicios relacionados con empleo, educación para adultos, preparación de inmigrantes para el trabajo, guarderías y estancias, ferias de salud, mejoramiento de espacios públicos y talleres para mejorar la economía familiar. Finalmente, las organizaciones nivel cuatro tenían un espectro completo de servicios para el empleo: capacitación, asesoría de vida y carrera, reclutamiento de personal, entre otros; también, programas de prevención contra el abuso de infantes, programas especializados para “jóvenes banda”; asesoría legal para inmigrantes; servicios de comidas y visitas para adultos mayores y otros muchos servicios de salud pública relacionados con la prevención: drogas, alcohol, educación sexual, nutrición, preparación para desastres e incluso, programas para emprendedores.

Valoración técnica:

A pesar de no tener grupo de control para establecer un contrafactual, el modelo de evaluación se considera adecuado para la medición de la creación de capacidades en una organización y de la derrama de servicios que ofrecen a población vulnerable.

Asimismo, la agrupación temática y por tipo de organización se considera un acierto para comparar los resultados entre los miembros del mismo grupo y la medición estándar de capacidades puede resultar adecuada para valorar los resultados de cada uno de los apoyos otorgados.

A pesar de que este modelo de evaluación no permite conocer si el hecho de que se dé seguimiento puntual a los proyectos y al otorgamiento de recursos produce efectos adicionales o bien, si dada la capacidad humana de las organizaciones se pudieran generar efectos similares, es posible identificar tendencias generales de los apoyos y cuantificar la efectividad en materia de recaudación de fondos privados como una derrama del programa inicial.

Esta evaluación no controla los factores que pudieran contribuir al crecimiento organizacional.

Resumen de las fortalezas, oportunidades, debilidades, amenazas y recomendaciones:

El programa tiene un modelo virtuoso que permite establecer una contribución compartida entre el gobierno federal como proveedor de fondos, las organizaciones intermedias que administran el proyecto y las organizaciones que son el principal motivo de este proyecto.

27

El proyecto generó las capacidades en las organizaciones para ser sostenibles, buscando fondos federales y privados que les permitan subsistir en el tiempo. En este sentido, los fondos públicos gubernamentales pueden complementarse con fondos privados que permitan a las organizaciones crecer y ser sostenibles para seguir apoyando a la población vulnerable generando capital social tanto en la organización que apoya el Programa como en la población que a su vez es apoyada por dicha organización.

Se creó un mayor nivel de credibilidad en las organizaciones involucradas dado el nivel de compromiso que mostraron.

Se apoyó a las organizaciones en la medición e identificación de las necesidades y esto se tradujo en un mejor desarrollo de las asistencias técnicas destinadas a las organizaciones latinas. Es necesario entender las necesidades que tienen las organizaciones de la sociedad civil para poder contar con mejores herramientas para su apoyo y así, lograr el fin último que es el de mejorar las condiciones en población vulnerable.

El estudio concluye que los apoyos financieros federales o estatales para organizaciones tienen un impacto positivo en la credibilidad y el desarrollo en las organizaciones no gubernamentales pequeñas para el crecimiento de las redes de la sociedad civil y apoya la sustentabilidad y la efectividad de estas organizaciones.

3.2.2 Violencia contra las mujeres: el estado de los programas de prevención, Estados

Unidos y Canadá Nombre del artículo: Violence against women: the state of batterer prevention programs Año: 2002 Objetivos:

Analizar la prevalencia y naturaleza de la violencia doméstica para identificar las normas en el tratamiento del agresor, reflejados en los programas de prevención de la violencia en Estados Unidos y Canadá.

Observar la naturaleza, efectividad y limitaciones de las normas para identificar si ellos son apropiados.

Explorar las implicaciones de la violencia de pareja y observar la eficacia del tratamiento hacia el agresor dentro de los programas de intervención.

Observar la experiencia del estado de Georgia en la atención al problema de la violencia doméstica con el involucramiento de la comunidad.

Observar la experiencia de Kentucky que trata la violencia doméstica como crimen. Metodologías empleadas:

28

Revisa información científica sobre la efectividad de los programas de intervención en el agresor doméstico y discute las implicaciones legales y sobre la política pública que ésos tienen. Se propone responder a las interrogantes de si los programas han sido efectivos o no; en qué dimensiones los programas están relacionados con un programa de efectividad; si hay cierta clase de programas más efectivos para ciertos individuos; el estado actual sobre los programas estatales certificados; sobre qué bases los estados certifican sus programas; qué sugieren los datos y la información sobre las dimensiones en las cuales los estados deberían certificar sus programas; cuál es la relación entre investigación científica, defensa y política pública sobre los programas de tratamiento a agresores.

Utiliza análisis y encuestas nacionales sobre normas de programas de intervención y prevención para agresores dirigidas por Juergen Dankwort y Juliet Austin. Las encuestas fueron producidas bajo contrato con el Centro Nacional de Recursos sobre la Violencia Doméstica, un proyecto de la Coalición de Pensilvania contra la Violencia Doméstica y Financiamiento de la Universidad de Houston.

La encuesta examina las normas existentes en Estados Unidos y Canadá para regular la práctica de trabajar con los autores de la violencia doméstica.

La encuesta se realizó en forma telefónica a las coaliciones y organizaciones contra la violencia doméstica, creando siete categorías temáticas: a) Filosofía de las normas; b) Propósitos y procedimientos de las normas; c) Protocolo y Programa d) Ética y calificaciones del equipo; e) Procedimientos de Ingreso; f) Intervención; formato, modo de contenidos y duración; y g) Criterios de descargo.

Síntesis de los principales resultados:

Las normas desarrolladas para tratar la violencia doméstica son más o menos uniformes desde los años 80. La racionalidad se enfoca en maximizar la seguridad para las víctimas y tratamientos de intervención para el agresor.

En Canadá, a través de comités designados, la racionalidad de las normas se basa en la necesidad de accesibilidad y rendición de cuentas de programas bajo el acuerdo de la agencia de financiamiento gubernamental en coordinación con servicios contra la violencia doméstica y seguridad de la víctima.

Existen dos categorías de normas: los impuestos por la ley, con o sin legislación, y las voluntarias a las cuales se adhieren algunos programas aunque hay pocos incentivos para el cumplimiento de ellas. Sin embargo, hay un mayor seguimiento a normas voluntarias que obligatorias porque se conocen mejor; pero es importante destacar que la obligatoriedad no implica una observancia estricta.

La contribución de las normas de los programas de violencia doméstica incluyen: a) promoción de la prioridad de la seguridad de la víctima y la rendición de cuentas del agresor; b) facilitación del proceso de trabajar conjuntamente con los interesados en la violencia doméstica; c) promoción de consistencia entre programas y la rendición de cuentas a la comunidad; d) educación y publicidad de contenidos de los programas y sus limitaciones; e) reconocimiento de la experiencia por la defensa de las víctimas; f) aliento

29

a la respuesta coordinada de la comunidad para parar la violencia doméstica; g) énfasis en las dimensiones sociales de la violencia doméstica; h) esfuerzo por desarrollar nuevos programas con base en los existentes y facilitar el desarrollo de normas en otras regiones y, i) legitimización de la necesidad de conocimiento y entrenamiento especializados, así como enfoques de intervención en relación con el trabajo de los agresores.

Las limitaciones encontradas se vinculan con lo siguiente: a) carecen de especificidad o falla para explicar su racionalidad; b) las normas no consideran como intervenir con personas de preferencia sexual diversa; c) las normas mandatadas se observan como un control no deseado si su modificación debe ser cabildeada; d) el cumplimiento con las normas es complejo y problemático en varios niveles, por ejemplo, se puede obtener aquiescencia superficial sin compromiso real por los practicantes; e) una ausencia de monitoreo de las normas; f) las normas son inadecuadas si sólo se requiere que los agresores atiendan un número de sesiones para completar el programa; g) las normas se han desarrollado sin incluir investigadores profesionales de la salud mental, sin los consejeros de los ofensores.

La seguridad de las víctimas y los programas hacia agresores son criterios decisivos por los cuales cualquier cambio propuesto en las normas debe ser medido.

En realidades sin evidencia científica concluyente el contenido soporte de las normas existentes debe ser el conocimiento basado en la experiencia adquirido por los movimientos feministas a lo largo de dos décadas como fundamento confiable para las prácticas de intervención.

Considerando que los programas de intervención deben verse en un contexto amplio con formas de violencia sofisticadas (amenazas, manipulación, maltrato emocional), la posibilidad de que la víctima no desee salirse de la relación, que falsee la información a la policía; que los hombres no se enrolan en programas de intervención; las estructuras culturales y sociales que aprueban la violencia, se apoyó a la Organización Hombres Parando la Violencia en el estado de Georgia para desarrollar normas mínimas para complementar las ya existentes sobre la seguridad de la víctima y la rendición de cuentas del ofensor. Con estas premisas el programa se conduce hacia las comunidades pues después de 24 semanas de tratamiento el agresor se lleva a la comunidad para testimoniar el trabajo hecho, así se corresponsabiliza a las comunidades en la agresión del problema de la violencia a la vez que se le permite desarrollar las soluciones.

En el estudio de Gondolf sobre percepción de las víctimas se encontró que 95% creen que sus agresores terminarán el tratamiento, pero sólo la mitad de ellos completaron el tratamiento, 95% de mujeres dijeron que sus victimarios aceptaron su problema, pero no hay relación respecto a la reincidencia, 60% de mujeres dijeron sentirse más seguras, 44% creen que no volverán a ser abusadas. Después de 4 años 47% de perpetradores han reincidido, sobre la misma o diferente víctima o en ambas.

En un estudio adicional sobre percepción del mismo autor resalta el hecho de que las víctimas se sienten más en riesgo cuando sus victimarios entran a los programas de atención. En la extensión del estudio a 2001 para analizar la percepción después de que los victimarios terminaron el tratamiento, se encontró que casi 2/3 de mujeres se sienten

30

mejor después de 15, 30 y 48 meses de tratamiento, 85% se siente más segura, y con bajas probabilidades de ser nuevamente abusada con 30 y 48 meses de tratamiento,

En un estudio de percepción de mujeres (Ver Austin 1999) sobre los programas de tratamiento del agresor se concluyó que las víctimas involucradas reportan sentirse más seguras, aumentado su bienestar, sentirse revaloradas y eliminar la culpa sobre el abuso, haber adquirido nuevos conocimientos sobre la violencia doméstica, todo en conjunto se observa en forma positiva.

Otro estudio (Ver Ferris) señala que 86% de las víctimas están satisfechas con los programas, 81% sienten protegida su confidencialidad, 25% reconocen al programa como el primer espacio para hablar de su problema; 25% se sintieron influenciadas para terminar su relación; 39% se sintieron impulsadas a buscar ayuda por sí mismas; 10% se sintieron influenciadas para interponer demandas por abuso infantil, 50% dijo haber enfrentado consecuencias.

Se requiere monitorear el comportamiento del agresor, así como dar soporte de seguimiento a las víctimas; tomar en cuenta el riesgo de reincidencia.

Las parejas no deben ser coaccionadas en conjunto.

Incluir en la discusión sobre los programas de tratamiento a agresores las voces de las víctimas y su defensa.

Con el propósito de rendir cuentas los programas deben proveer retroalimentación e información a las víctimas.

La perspectiva legislativa de Kentucky, que considera la violencia doméstica como crimen y que permitió la implementación de la Orden de Protección de Emergencia (EPO), ha demostrado tener resultados efectivos inmediatos porque faculta a la policía para intervenir y se limita el contacto entre la víctima, el agresor y su familia. En el estado se ha instituido una división especial de crímenes domésticos reconociendo la situación y necesidades especiales para su atención para su mejor manejo.

La intervención efectiva requiere necesariamente de una combinación efectiva entre los programas de intervención para los agresores y un sistema de castigos. Así funciona Kentucky y trabaja sobre ofensores jóvenes y con poco o ningún historial criminal; se trabaja en forma interdisciplinaria por 9 meses.

Kentucky ha concluido que la violencia en la familia alimenta muchas otras enfermedades que afectan a los contribuyentes para aplicar tratamiento médico y/o separar las víctimas de sus agresores.

Valoración técnica:

La metodología es acorde a la integración de un artículo de investigación. Resumen de las fortalezas, oportunidades, debilidades, amenazas y recomendaciones:

Fortalezas

Cada vez se atiende en forma más interdisciplinaria el problema de la violencia contra las mujeres.

Se avanza en la concientización del problema de la violencia doméstica incorporando formas de difusión y atención de la problemática.

31

Debilidades

Se requiere de hacer normas que atiendan a mujeres agredidas; personas de preferencia sexual diversa; origen cultural, étnico, racial y religioso de grupos minoritarios.

Dirimir las controversias en las normas entre la desviación y los enfoques de intervención y los métodos prácticos para la seguridad de las víctimas.

Alentar a los sistemas judiciales a funcionar en forma acorde con las normas.

Desarrollar formas económicas efectivas para el monitoreo y cumplimiento de programas e impulsar investigación innovadora adicional enfocada al impacto de los programas, planes de estudios deseables, protocolos de intervención y sobre todo, la efectividad e impacto de las normas.

Encontrar formas novedosas de manejar que la víctima no desee romper la relación motivada también por la dependencia económica.

Sigue confirmándose un problema cultural en la presencia de la violencia de género. 3.2.3 Lineamientos para la evaluación de resultados o impactos de los proyectos

financiados por el Fondo de la UNIFEM2 para eliminar la violencia contra las mujeres Nombre del documento: Guidelines for Impact or Outcome Evaluation for Projects Funded by the UNIFEM Trust Fund to Eliminate violence Against Women Características similares o tipos de apoyo que entrega el programa El UNIFEM, a través de su fondo fiduciario, apoya a ONG’s con experiencia en temas de género. Los apoyos consisten en proporcionar financiamiento (50 mil dólares en promedio) durante 1 o 2 años —se espera ampliar el rango de 100 mil a 200 mil para 2 o 3 años. El financiamiento incluye fondos para una evaluación de impacto —10% del total. Año del documento: 2006 Objetivos del documento:

Presentar las líneas generales para definir y diseñar una evaluación de impacto de intervenciones y modelos innovadores que buscan eliminar la violencia de género.

Proveer con bases sólidas, subvenciones a proyectos que puedan servir más tarde como ejemplos para ser replicados.

Facilitar el rigor y la consistencia necesarios para la evaluación de impacto del proyecto.

2 United Nations Entity for Gender Equality and the Empowerment for Woman (UNIFEM)

32

Reducir la brecha entre los mecanismos protectores y los beneficios reales en los beneficiarios últimos.

Metodología recomendada:

El diseño de la evaluación puede basarse en cuatro modelos aceptados por el Banco Mundial: 1) diseño aleatorio; 2) diseño cuasi-experimental o diseño de grupos de control; 3) comparación ex post de los beneficiarios con grupo de control y 4) evaluación o revisión ex post.

Para la evaluación de impacto se requiere que el proyecto a evaluar cuente con información que incluya objetivos realistas, alcanzables por el proyecto de la evaluación en tiempo y recursos definidos. Son importantes también aspectos como tener claramente delineados la población objetivo o los beneficiarios; que los objetivos sean verificables con indicadores. Es importante establecer hipótesis con una priorización previa del problema y vínculos coherentes entre las causas y efectos del problema y con la estrategia de intervención con la que se propone el cambio (árbol de problemas y árbol de objetivos).

Para poder someter a evaluación de impacto un proyecto, éste debe contar con objetivos específicos, medibles, ejecutables, realistas y relacionados con el tiempo; contar con una población objetivo bien definida, con indicadores de evaluación para verificar que el cambio se atribuya al programa y que ellos estén vinculados a los objetivos. Se requiere tener claros los supuestos para saber qué podría afectar o facilitar la consecución de objetivos; hacer un análisis jurídico y sobre derechos humanos.

La evaluación requiere de una estrategia de recolección de información primaria y secundaria, verificación de fuentes que incluya métodos cuantitativos y cualitativos; protocolo de entrevistas, método de análisis.

El muestreo es importante, ya sea que se haya definido en forma probabilística, aleatoria o intencional; su tamaño es fundamental para lograr representatividad de los datos. Como complemento, la muestra requiere de un grupo de comparación.

En la evaluación debe plantearse una estrategia de procesamiento y análisis de la información tanto del diferente tipo de fuentes como de la información cualitativa y cuantitativa.

Síntesis de los principales resultados: No aplica Valoración técnica: No aplica Resumen de las fortalezas, oportunidades, debilidades, amenazas y recomendaciones: No aplica

33

3.2.4 Comentarios del metaevaluador:

3.2.4.1 Hispanic Capacity Project (HCP

La evaluación del HCP proporciona evidencia empírica que indica que destinar recursos financieros a las organizaciones puede apoyar su fortalecimiento institucional —definido en parte como la mejora de las redes de la organización, así como su credibilidad. Este resultado sugiere que si el objetivo del PAIMEF es el fortalecimiento institucional de las IMEF, existe plena evidencia de los impactos pueden ser positivos, cuando el diseño del programa es adecuado —el metaevaluador considera que el diseño actual tiene áreas de oportunidad, ya que mantiene dos problemas, cada uno con diferentes poblaciones objetivo.3 De tal forma, el programa puede generar cambios importantes al interior de la organización, que le permita ser sostenible en el tiempo, mejorar los servicios que ofrecen a la población vulnerable e incluso, obtener financiamiento privado.

3.2.4.2 Violencia contra las mujeres: el estado de los programas de prevención, Estados Unidos y Canadá

El documento es un artículo que hace una revisión de las normas de tratamiento de la violencia de género y es concluyente respecto a la necesidad de abordar conjuntamente el problema con una óptica de seguridad de la víctima y un sistema adecuado de castigos con fuerte anclaje legal. La revisión bibliográfica incluye únicamente evaluaciones sobre percepción y encuestas telefónicas con organizaciones interesadas en la atención del problema. Una conclusión apuntaría a la necesidad de llevar a cabo otro tipo de evaluaciones como los propios autores refieren. 3.3 Propuesta de Agenda de Evaluación para el período 2013-2018 En esta sección se propone una agenda de evaluación para el periodo 2013-2018, incorporando una justificación técnica y/o empírica sobre la importancia que cada ejercicio tendría para el programa, con base en los principales resultados de las evaluaciones en el periodo 2007-2012 y el análisis de la información proporcionada. Se señalan también los periodos de ejecución y el orden en el que se deberán ir implementando cada una de las evaluaciones consideradas. Como referencia general para elaborar la agenda, tomaron los

3 Ver el apartado de conclusiones.

34

Lineamientos generales para la evaluación de los programas federales de la Administración Pública Federal, publicados en el DOF el 30 de marzo de 2007. El Anexo 3 facilita una visión esquemática de la propuesta. La agenda sugerida empieza con un Diagnóstico y propuestas de atención, a implementarse en el año 2013. Tiene como propósito identificar, definir y especificar de forma clara y rigurosa la problemática focal que se pretende resolver a través del programa, así como analizar, valorar y seleccionar las estrategias y mecanismos de atención que resulten más adecuados. Este estudio deberá cumplir cabalmente con los criterios y requisitos mínimos establecidos en los Lineamientos generales para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de Programas de Desarrollo Social, publicados el 7 de mayo de 2009, e incorporar asimismo las metodologías y mejores prácticas en la materia. Los resultados de este ejercicio pretenden brindar una base sólida de datos, análisis y estrategia para anclar sólidamente el diseño, la operación y los resultados del programa durante la siguiente administración federal, y de manera inmediata informar los cambios que se pretendan hacer durante el primer año de la misma. Para el año 2014 se propone una Evaluación de diseño. El ejercicio deberá analizar la justificación de la creación y diseño del programa, especificar su vinculación con la planeación sectorial y nacional, valorar la consistencia entre su diseño y la normatividad aplicable, así como identificar posibles complementariedades y/o coincidencias con otros programas federales. Esta evaluación deberá proveer información y análisis que retroalimente el diseño conceptual y operativo del programa, así como los resultados que se deben esperar del mismo. De forma inmediata, se pretende que sirva para valorar los cambios que se hayan hecho al programa del primer al segundo año de la gestión, y generar recomendaciones para refinarlos hacia el tercer año. Posteriormente, para 2015 y 2016 se recomienda una Evaluación de impacto, para identificar los cambios en la situación de la población objetivo del programa que se reflejan a través de los indicadores de resultados, y que son propiamente atribuibles a su intervención. Conforme a los estándares en la materia, se deberán utilizar metodologías rigurosas y fuentes de información confiables con representatividad nacional; para ello, se propone la combinación de enfoques cuantitativos y cualitativos así como el levamiento de información en campo a través de diversos instrumentos, los cuales de describen a mayor detalle en la sección subsecuente. La evaluación de impacto propuesta busca estimar en qué medida el programa está alcanzado sus objetivos y qué condiciones y factores pueden afectar sus logros, de forma tal que el programa pueda consolidar elementos clave de diseño y operación, o en su caso cambiarlos para mejorar su efectividad. Por sus características y complejidad se recomienda que la evaluación comprenda dos años —entre 18 y 24 meses, para ser más precisos— a efecto de poder realizar mediciones basales y de seguimiento. En el año 2017 se plantea hacer una Evaluación de procesos. Se pretende realizar un análisis sistemático de la operación del programa mediante trabajo de campo y de gabinete, con la

35

finalidad de conocer cómo sus procesos —traducidos en sus Componentes, productos o entregables— conducen al logro de los objetivos y metas a nivel de Propósito. Asimismo, se busca detectar los problemas operativos que enfrenta el programa y las buenas prácticas que realiza, de manera que se puedan detectar áreas de oportunidad y emitir las recomendaciones correspondientes. A través de una serie de preguntas específicas que descomponen la operación y la aplicación de técnicas especializadas para el mapeo y análisis de procesos, se pretende valorar el funcionamiento y la organización del programa, permitiendo así conocer los factores que sustentan la implementación y hacer ejercicios comparativos para la medición y la mejora de su gestión en el tiempo. Finalmente, para el año 2012 se propone una Evaluación de consistencia y resultados. Este ejercicio plantea una concatenación lógica de objetivos para analizar los aspectos más importantes del programa, incluyendo la lógica y congruencia de su diseño, los instrumentos de planeación y de orientación hacia resultados, la estrategia de cobertura y los avances presentados, los principales procesos establecidos en las ROP y en la normatividad aplicable, los sistemas de información y sus mecanismos de rendición de cuentas, los instrumentos para medir el grado de satisfacción de los beneficiarios y sus resultados, así como los logros respecto a la atención del problema para el que fue creado. El propósito de esta evaluación es contar con una visión integral y comprensiva de cómo ha sido, qué tan bien ha funcionado y cuáles han sido los logros del programa al cierre de la administración federal, a manera que la siguiente pueda tener una sólida base para tomar decisiones informadas. A continuación se presentan los detalles básicos de cada una de las evaluaciones propuestas, en el año y secuencia en que corresponden. 3.3.1 2013: Diagnóstico y propuestas de atención Objetivos

Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al programa, a partir de la identificación del problema que se busca resolver así como la caracterización y análisis detallado de los aspectos principales del mismo.

Plantear posibles alternativas de solución y seleccionar las más apropiada, a efecto de mejorar el diseño, la operación y los resultados del programa.

Componentes a evaluar

Identificación del problema

Caracterización del problema

Experiencias de atención a la problemática

Definición, cuantificación y caracterización de la población potencial y objetivo

Propuesta de diseño

Marco de actuación de la propuesta

Proyecciones financieras y metas para la solución propuesta

Previsiones para integración y operación de padrones

36

Justificación e importancia El Diagnóstico presenta inconsistencias importantes, particularmente en:

La definición del problema focal, ya que éste es más amplio que el definido en su diseño.

Los mecanismos idóneos para la asignación de recursos entre las IMEF, que no contemplan referencias directas al problema focal.

Adicionalmente, el diagnóstico no incluye una propuesta de atención, que:

revise otras experiencias nacionales e internacionales para atender el problema;

especifique, valore y seleccione las alternativas de atención, y

proponga elementos de rediseño así como proyecciones y previsiones para mejorar sustancialmente el desempeño del programa.

Insumos necesarios:

Metodologías robustas de planeación estratégica y marco lógico.

Información de censos, conteos y encuestas nacionales.

Información estadística interna de carácter operativo y financiero, actualizada y confiable.

Estudios y evaluaciones nacionales e internacionales sobre programas similares. Periodo de ejecución 3 -4 meses 3.3.2 2014: Evaluación de Diseño Objetivos El objetivo general es evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, el diseño del programa. Lo anterior con el fin de que las recomendaciones puedan retroalimentar el diseño y mejorar la gestión del programa. Objetivos Específicos:

Analizar el diseño del programa.

Identificar y analizar su vinculación con la planeación sectorial y nacional.

Analizar la consistencia entre su diseño y la normatividad aplicable.

Identificar posibles complementariedades y/o coincidencias con otros programas. Componentes a evaluar

Características del programa

Contribución a los objetivos estratégicos

Matriz de indicadores

Población potencial y objetivo

Vinculación con las ROP

37

Coincidencias, complementariedades y duplicidades con otros programas Justificación e importancia

Valorar la integración del marco conceptual y normativo construido con el Diagnóstico, en particular en cuanto a la redefinición de la población potencial y objetivo

Valorar el análisis para la selección de la alternativa de intervención, basado en la revisión de experiencias internacionales y nacionales

Constatar la correspondencia entre las ROP y la MIR Periodo de ejecución 3 – 4 meses 3.3.3 2015-2016: Evaluación de Impacto Objetivo Identificar con metodologías rigurosas la contribución, atribuible a la ejecución del programa, en la prevención de la violencia contra las mujeres así como otras variables asociadas al fortalecimiento institucional de los interesados y responsables de la intervención. Componentes a evaluar Valoración sobre los efectos e impactos esperados, incluyendo los indicadores de Fin y Propósito de la MIR, así como otras mediciones complementarias. Dependiendo del rediseño del programa se buscará medir:

Impactos en el fortalecimiento de las IMEF para mejorar la prevención y atención de la violencia de género.

Efectos sobre el comportamiento de los indicadores de violencia de género, asociados a los niveles de intervención del programa.

Justificación e importancia

El rediseño de un programa requiere medir su contribución en el cumplimiento de sus objetivos.

En más de 6 años no se han realizado evaluaciones de impacto rigurosas al programa, por lo que se desconoce en qué medida cumple con los objetivos establecidos.

Periodo de ejecución 12 - 16 meses. 3.3.4 2017: Procesos Objetivo

38

El objetivo consiste en realizar un análisis sistemático, mediante trabajo de campo y de gabinete, sobre la operación del programa con la finalidad de conocer cómo se conducen al logro de la meta a nivel propósito, así como detectar los problemas operativos a los que se enfrenta y las buenas prácticas que se realizan, de manera que se puedan emitir recomendaciones que permitan mejorar su gestión. Componentes a evaluar

Operación del programa.

Identificación y clasificación de los procesos.

Análisis y medición de atributos de los procesos.

Análisis global de la operación del programa. Justificación e importancia Evaluar si la operación del programa favorece el logro de la metas a nivel de Propósito, ya que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro de las metas de cada Componente establecido en la matriz de indicadores del programa y, por lo tanto, el logro del Propósito. Periodo de ejecución 3 -6 meses 3.3.5 2018: Evaluación de Consistencia y Resultados Objetivo Su objetivo consiste en evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la fortaleza del programa en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo y resultados. Lo anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa, para incidir positivamente en su desempeño. Componentes a evaluar

Diseño

Planeación Estratégica

Cobertura y Focalización

Operación

Percepción de la Población Objetivo

Resultados Justificación e importancia Se considera pertinente analizar el programa de forma global y sistemática, al menos una vez durante cada administración, a efecto de valorar la consistencia y los resultados del mismo.

39

Periodo de ejecución 6 meses 3.4 Análisis de viabilidad y pertinencia para las evaluaciones de impacto Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una propuesta más detallada para someter al programa a una evaluación de impacto. Se describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de las características específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de viabilidad técnica y financiera. 3.4.1 Pertinencia de la evaluación Desde su creación en 2006, el PAIMEF no se ha sometido a ninguna evaluación de sus efectos e impactos. En su periodo de existencia ha mantenido un presupuesto entre los 180 y 200 millones de pesos anuales, que entrega en apoyos económicos para desarrollar acciones de detección, prevención y atención de la violencia contra las mujeres que ejecuten los gobiernos estatales. Esto hace necesario medir el cambio generado por los apoyos en el fin último del programa que es impactar en la alta incidencia y prevalencia de casos de violencia contra las mujeres. Así, el programa ha venido ejerciendo recursos públicos y apoyando proyectos que en el agregado resultan sustanciales, sin poder realmente constatar si dichos apoyos efectivamente han hecho una diferencia en la capacidad institucional de las instancias para atender el problema de la violencia de género. Si bien el argumento anterior por sí mismo podría justificar la realización de una evaluación de resultados o impacto, existen otras razones que también apuntan en esa dirección. Por ejemplo, algunos de los efectos e impactos deseados del programa son observables sólo en el largo plazo. Además, las condiciones de contexto de las IMEF pueden cambiar a lo largo del tiempo; de hecho, se espera que pasen por el progreso derivado de sus propias dinámicas de gestión y de aplicación de sus recursos, en tanto que fueran resolviendo cada vez más y mejor por su cuenta el reto de la prevención y atención de la violencia contra las mujeres —independientemente de que existan factores que afecten su trayectoria de desarrollo, como procesos electorales, cambios en el personal, entre otros. Ello implica que algunos factores ligados a maduración o efectos de nivel asociados al trabajo de las IMEF, puedan incidir sobre la significancia y magnitud de los efectos del programa sobre diversas variables de interés. Cabe mencionar que el comportamiento prácticamente uniforme de la cobertura del Programa puede generar una serie de complicaciones metodológicas para realizar las

40

evaluaciones. Sin embargo, eso no obsta para que se busque medir el efecto real del programa en la disminución de casos de violencia contra las mujeres, utilizando técnicas y metodologías que se presentan más adelante. 3.4.2 Aspectos a evaluar En principio, se recomienda que los aspectos a evaluar de forma prioritaria sean aquellos que correspondan con los indicadores a nivel de Fin y Propósito de la matriz de indicadores, para cada uno de los componentes del programa. De esta forma, se alinea de manera más adecuada el sistema de monitoreo con el sistema de evaluación, dando consistencia y estabilidad a las mediciones de desempeño. Por otro lado, se puede tener información sobre el impacto diferenciado que cada componente aporta al Fin del programa y con ello tomar decisiones de política pública adecuadas o dirigidas a mejorar los resultados deseados. Para el nivel de Fin, considerando lo que aparece en el análisis del problema focal, en el resumen narrativo de la MIR vigente así como en el objetivo general de las ROP 2012, la variable básica de interés debe estar directamente asociada a la incidencia y prevalencia de la violencia contra las mujeres. Evidentemente, la medición de impacto con este tipo de variables resulta especialmente difícil, dada la magnitud y complejidad del problema así como los limitados recursos del programa. Sin embargo, al final del día lo que este busca, plasmado a lo largo de todos sus documentos normativos y técnicos, es precisamente contribuir a disminuir la violencia contra las mujeres; luego entonces, la medición del impacto del programa a nivel de Fin debe corresponder lógicamente con variables que midan directamente dicho fenómeno. Para medir el efecto del programa sobre el fortalecimiento de las instancias estatales, que es lo considerado actualmente en el nivel de Propósito, se sugiere desarrollar un índice de capacidad institucional de las IMEF o una medición equivalente. La construcción de dicho índice puede tener como referencia las experiencias del Índice de Fortalecimiento Institucional del mismo PAIMEF, y en el “Hispanic Capacity Project” (HCP) del “Organizational Assessment Tool” (OAT) antes expuesto, entre otros similares. Este tipo de índices puede servir al PAIMEF para identificar las dimensiones y las variables más relevantes que determinan la capacidad institucional de las IMEF, y se debe, por supuesto, centrar en las capacidades asociadas a la prevención y atención de la violencia contra las mujeres. 3.4.3 Metodologías y fuentes de información Para evaluar el impacto de un programa con el alcance del PAIMEF, es necesario combinar métodos, técnicas y fuentes de información diversas. Independientemente de las aproximaciones particulares que se tomen —esto es, cuantitativas y cualitativas, encuestas y entrevistas, levantamientos propios y registros oficiales, etc. La evaluación deberá partir de

41

un diseño de investigación robusto y adecuado para las variables de interés y los grupos de aplicación, que preferentemente hayan sido probadas en estudios similares, ya sea en el tema de atención o la estrategia empleada. La estrategia metodológica que se propone para la evaluación de impacto (para medir la capacidad institucional), requiere de una mezcla tanto de métodos cuantitativos, como cualitativos. El método cuantitativo se basa en mediciones del índice de capacidad institucional de las IMEF—sin embargo, también es posible realizar mediciones sobre la prevalencia y probabilidad de violencia contra las mujeres. El método cualitativo se basa en estudios de caso, en donde las unidades de análisis son las IMEF y sus proyectos. Es muy importante mencionar que para el PAIMEF, la decisión de realizar una evaluación de impacto involucra necesariamente ambos enfoques, dadas las limitaciones que se originan por el diseño y la operación actual del programa. Las características y relevancia de estos elementos de diseño se desarrollan a continuación. Cuantitativo y cualitativo

En el PAIMEF, es especialmente necesario establecer una estrategia metodológica compuesta, con procedimientos de acopio de información y técnicas analíticas tanto cuantitativas como cualitativas. Esto es así porque en una evaluación de impacto de este programa, no es posible realizar la construcción de grupos de control, ya sea para medir el fortalecimiento institucional como para la medición de la reducción de la violencia contra las mujeres4. El propósito es asegurar que se obtengan y examinen apropiadamente todos los datos requeridos, para lograr resultados válidos, generar conclusiones sólidas y proponer recomendaciones útiles. Así, el diseño se debe ubicar dentro de las evaluaciones de métodos mixtos (mixed-methods evaluation), vertiente que consideramos la más rica y adecuada para evaluar al PAIMEF.5 Este tipo de investigación evaluativa permite integrar no sólo aquellos datos y observaciones cuantitativas utilizadas en la evaluación de programas y proyectos sociales para medir fenómenos relevantes “objetivos” y “regulares”, estimando asimismo su variabilidad y grado de generalización, sino también para otros datos y observaciones

4 En el caso del fortalecimiento institucional, las 32 IMEF ya son o han sido beneficiarias del PAIMEF, por lo cual

no es posible hacer el grupo de control. En el caso de la prevención de la violencia contra las mujeres, se puede señalar que todas las mujeres del estado se pueden considerar como beneficiarias, llegando a la incapacidad de formal el contrafactual; para otras intervenciones es posible que los criterios de confidencionalidad o la diversidad de apoyos limieten este enfoque de evaluación. 5 Para un mayor desarrollo sobre las características de las evaluaciones de métodos mixtos, véase: Frechtling

and Sharp (1997). En el caso mexicano, entre los ejemplos más relevantes de este acercamiento metodológico son las evaluaciones recientes del Programa de Desarrollo Humano Oportunidades, que combinan diversas metodologías y técnicas tanto cuantitativas como cualitativas.

42

cualitativas que reflejan percepciones subjetivas y formas de interacción de los actores, que permiten entender mejor y describir con profundidad dichos fenómenos.6 En la evaluación del PAIMEF, los análisis a partir de datos y técnicas tanto cualitativas como cuantitativas se deberán diseñar con el mismo rigor lógico y metodológico buscando maximizar su validez para hacer inferencias descriptivas y causales en torno a los fenómenos, variables y condiciones que se busca apreciar y entender. La vertiente cuantitativa resulta más adecuada para observaciones relativamente abundantes o con “números grandes”, que normalmente se derivan de censos o encuestas. Por otro lado, la vertiente cualitativa se utiliza para observaciones relativamente escasas o con “números pequeños”, con datos obtenidos a partir de grupos de enfoque, entrevistas y observación en sitio, entre otras técnicas. Estas vertientes se encuentran en los extremos opuestos del compromiso —en el sentido de trade-off— que cualquier investigación con tiempo y recursos limitados se ve obligada a que hacer en cuanto a amplitud y profundidad de las observaciones. Se recomienda que la vertiente cuantitativa se oriente principalmente hacia la medición y valoración de las intervenciones y sus efectos, mientras que la cualitativa se utilice para describir los contextos en que dichas intervenciones y efectos ocurren, así como para entender los significados que los diversos actores involucrados les otorgan. Sin pretender simplificar excesivamente sus diferencias, es evidente que la evaluación necesita contar con ambas perspectivas para cumplir con su fin de ser útil para la toma de decisiones y la mejora del programa. Se pretende que las metodologías cuantitativas y cualitativas no sólo se complementen funcionalmente hablando —en el sentido de que lo que no se hiciera o lograra con unas se consiguiera con las otras— sino que además se integraran —en el sentido de que lo que se logre o consiga con unas sirva para informar, extender y refinar lo obtenido a través de las otras. Dicha complementación e integración se debe hacer de manera formal y explícita tanto en los estudios de caso como en los modelos estadísticos. Para evaluar el impacto del PAIMEF a nivel de Fin, como una aproximación prometedora se recomienda medir la variación en la prevalencia y en la probabilidad de la violencia contra las mujeres por entidad federativa—esto es, el porcentaje de mujeres que reportan haber sufrido algún tipo de violencia asociada a su condición de género— como variable básica de referencia. Por supuesto, no toda la variación que se observe en dicha variable se puede atribuir al PAIMEF y al trabajo de las IMEF, pues sobre la violencia hacia las mujeres inciden una amplia serie de factores culturales, económicos, sociales e institucionales ajenos a ambas instancias. Ello implica que los modelos de estimación a utilizar tengan que incorporar controles para al menos algunos de los factores más relevantes. En esta línea, para capturar mejor el impacto del programa, que es a su vez mediado por el trabajo de las IMEF, se debe

6 Para un mayor desarrollo de sobre las características básicas, utilización y complementación de las

metodologías cuantitativas y cualitativas, véase: Cortes (2002); y King, Keohane & Verba (1994, pp. 3-7).

43

ajustar al menos por los recursos que las IMEF asignan a la prevención y atención de este fenómeno y la proporción de estos que representa el PAIMEF. Entre los modelos que se sugiere explorar se encuentran los de regresión por mínimos cuadrados —ordinarios o generalizados— así como los de tipo probit y logit. Los primeros buscarían capturar el efecto del PAIMEF sobre la prevalencia, mientras que los segundos estarían buscando efectos sobre la probabilidad. Las fuentes de información a considerar serían la Encuesta Nacional sobre la Dinámica de las Relaciones Laborales (ENDIREH), la Encuesta nacional de violencia contra las mujeres, (ENVIM) para los años que se consideren relevantes, así como registros administrativos del programa y las IMEF. De cualquier forma que se haga, surgirán sin duda retos y limitaciones metodológicas y empíricas relevantes, que implicarán especificar y probar distintos modelos y construcciones particulares de las variables. Asimismo, ex ante no se puede garantizar si una medición con los modelos y aproximaciones sugeridas pueda efectivamente cumplir con los estándares normalmente a las evaluaciones de programas sociales en México. Sin embargo, considerando que al día de hoy no se tiene ninguna medición o referencia útil para valorar la efectividad del programa en el nivel de Fin, se debe empezar a abordarlos desde una perspectiva formal, por lo que sería necesario desarrollar a mayor detalle las distintas alternativas y valorar su pertinencia. Por otro lado, en el nivel de Propósito se recomienda una medición del tipo antes y después para el índice de capacidad institucional del programa. Este modelo de evaluación puede aplicar cuando no es posible identificar grupos de comparación o de referencia, siendo este el caso del PAIMEF: los beneficiarios directos son las IMEF, de las cuales todas han sido receptoras de fondos del PAIMEF. Por lo tanto, lo que se puede medir son los cambios en las variables y dimensiones asociadas con la capacidad de las IMEF para prevenir y atender la violencia contra las mujeres. Tanto en la medición de la prevalencia y probabilidad de la violencia contra las mujeres como en la de capacidad institucional para prevenirla y atenderla, la dificultad principal consiste en aislar el efecto atribuible al programa. Esto es porque las IMEF pueden disponer de recursos propios o de otras instituciones y organismos diferentes al PAIMEF para incrementar sus capacidades, así como también porque no toda la variación observable en los niveles de violencia se puede atribuir al trabajo de las IMEF y del PAIMEF. En este sentido, el equipo metaevaluador reconoce que, con las mediciones y metodologías cuantitativas propuestas, seguramente es posible que no se obtenga confiabilidad estadística de que los cambios observados en las variables de interés no se puedan lograr sin la ayuda del programa. Con todo, las mediciones pueden arrojar indicios sobre los efectos e impactos, y deberán en todo caso irse refinando en el futuro. Así, complementar el análisis cuantitativo con el cualitativo

44

resulta indispensable para brindar información útil y juicios útiles que guíen la toma de decisiones7. Estudios de caso Los estudios de caso aplican a efecto de obtener una visión más comprensiva y detallada del impacto del programa, así como de las condiciones que afectan su desempeño. En esta evaluación, los estudios de caso son indispensables para verificar si los cambios en la capacidad institucional observados en el índice de las IMEF, son atribuibles al PAIMEF. Las IMEF se deben seleccionar considerando una variabilidad de condiciones relevantes para el funcionamiento de las mismas, tales como número de empleados o colaboradores de tiempos completo (tamaño), tiempo de operación (experiencia), presupuesto ejercido anualmente en proyectos (recursos), entre otras. Los estudios de caso buscan combinar e integrar diversos métodos y técnicas tanto cualitativas como cuantitativas, a efecto de lograr una apreciación más informada y sólida de los actores, procesos y condiciones a analizar. Entre las herramientas empleadas se puede incluir, por la parte cuantitativa, el análisis de datos de los censos y conteos de población y vivienda, de registros administrativos y de inversión, así como de diversas encuestas propias; por la parte cualitativa, utilizar grupos de enfoque, entrevistas semiestructuradas con IMEF clave, así como la observación en sitio. En todos los estudios se deben utilizar las mismas herramientas para recolección y análisis de datos, a efecto de asegurar la mayor comparabilidad y aprovechamiento de la información posible, esto con algunas variaciones según lo ameritaron las condiciones particulares y de acuerdo a la metodología sugerida. El enfoque de los estudios puede ser etnográfico y explicativo para poder hacer inferencias descriptivas y causales relacionadas con el impacto del programa. Etapas de una evaluación de impacto

Las mejores prácticas en materia de evaluaciones de impacto (Véase Baker 2000) indican que los pasos para realizar este tipo de proyectos se pueden agrupar en dos rubros: la preparación de la evaluación y su implementación. A continuación se presentan los aspectos de cada rubro:

Preparación de la evaluación

7 La experiencia en evaluaciones cualitativas que complementan los trabajos cuantitavos es amplia en México.

El PDHO cuenta con una serie de trabajos basados en esta lógica.

45

1. Tomar la decisión sobre la realización del evaluación 2. Definir los objetivos de la evaluación 3. Examinar la disponibilidad de datos 4. Diseñar la evaluación 5. Formar el equipo de evaluación 6. Levantar información de campo (en caso de ser necesario)

a. Diseñar y seleccionar la muestra b. Elaborar instrumentos para recopilar datos c. Capacitar al personal de trabajo en campo d. Elaborar pruebas piloto e. Recopilar la información f. Administrar datos

Implementación de la evaluación

7. Recopilar datos (ex-post) a la implementación con una periodicidad alineada a las

variables de análisis 8. Analizar los datos 9. Redactar el reporte de resultados y analizarlos con las autoridades y otros interesados 10. Incorporar los resultados en el diseño del evaluación 3.4.4 Viabilidad técnica y financiera La viabilidad técnica radica en la capacidad de la institución para generar información y procesarla adecuadamente con propósitos evaluativos. En este sentido, la discusión anterior así como la experiencia en evaluación social en México, hacen patente que se puede alcanzar este objetivo, desde el punto de vista estrictamente técnico. Es importante insistir que cualquier evaluación de impacto requiere que con anterioridad (de 1 a 2 años), se revisen las bases de datos disponibles, generar aquellas que se requieran, y/o en su caso realizar los levantamientos nacionales y/o específicos. La información generada deberá cumplir los requerimientos de veracidad, estructura y suficiencia que requiere la evaluación de impacto. Sobre la viabilidad financiera de la evaluación de impacto propuesta, cabe mencionar que el monto de recursos públicos que se destina anualmente al programa y lo que se ha gastado en los últimos años, justifica la realización de evaluaciones rigurosas para medir sus resultados. Este tipo de evaluaciones son especialmente valiosas en la medida que permiten saber si el programa está efectivamente cumpliendo con sus objetivos y contribuyendo a resolver el problema focal que justifica su propia existencia. Además, permiten identificar fortalezas y debilidades que brindan información útil para modificar el diseño, la cobertura y la operación del programa, a manera de incrementar sus logros.

46

Para el programa, el costo de una evaluación como la que se propone podría ser bajo en comparación con el costo derivado de las deficiencias de diseño, cobertura, focalización y operación que suelen tener las iniciativas sociales en México y en otros países, respecto de las cuales no hay razón lógica para que el PAIMEF esté exento. Finalmente, también existe un costo intrínseco en no conocer los resultados del PAIMEF, pues los tomadores de decisiones no tienen una forma verificable, objetiva y transparente de saber si es conveniente ampliar la cobertura, incrementar el monto de los apoyos, o invertir más en alguna vertiente y recortar otra, entre otras decisiones con implicaciones financieras importantes, cuyos eventuales costos directos y de oportunidad seguramente exceden por mucho los de realizar una evaluación de impacto rigurosa. De tal forma, las evaluaciones de impacto de un programa de alcance nacional y con una duración como la del PAIMEF, prácticamente se deben considerar ex ante como financiera viables y por demás convenientes; en todo caso, lo correcto es buscar diseños apropiados y asegurar los recursos suficientes para que cumplan cabalmente su propósito. En complemento a lo anterior, cabe mencionar que el PAIMEF tuvo un presupuesto en 2012 de 300 millones de pesos. La provisión presupuestal así como la importancia del objetivo general del programa, crean la necesidad y justifican la conveniencia de conocer en que medida estos recursos públicos tienen efectos en las condiciones que dieron origen al programa. Como ya fue mencionado, aunque las evaluaciones de impacto pueden demandar recursos importantes, en ningún caso son comparables con los recursos que se podrían consumir por operar un programa que no presenta efectos y puede ser sujeto de un rediseño para estar alineado con la planeación de la política social. Por el contrario, estos recursos destinados a elaborar evaluaciones de impacto pueden dar indicios para fortalecer dicha política. Como una estimación preliminar, el equipo metaevaluador considera que el rango de costo para una evaluación de impacto del PAIMEF podría ir de 2 a 2.5 millones de pesos. Comparados con el presupuesto para los dos años que comprendería—2015 y 2016—y tomando como base el ejercicio fiscal de 2012, el costo de la evaluación representaría aproximadamente 0.33% a 0.42% del presupuesto total del programa. Se reconoce que en las ROP, año con año se incluyen cláusulas que ponen un tope sobre el uso de recursos destinados a la evaluación. No obstante, una evaluación metodológicamente robusta y con una justificación adecuada sobre la decisión de llevarse a cabo, debería tener un canal financiero asegurado. En este caso, se propone modificar las ROP para que los aspectos financieros no sean una limitante para llevar a cabo un estudio de esta naturaleza—especialmente en programas con un presupuesto moderado, como el PAIMEF.

47

3.5 Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones

derivadas de las evaluaciones 2007-2011 y de la metaevaluación 2012 En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e implicaciones para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en el Anexo 4.

48

Tema de evaluación

Aspecto Identificado Referencia Recomendación

Referencia de la recomendación

Fortalezas

Diseño

La principal fortaleza del PAIMEF es la de ser uno de los instrumentos de mayor importancia, por su monto de financiamiento federal y por su población objetivo para desarrollar proyectos para prevenir, detectar y atender la violencia de género. Considerando la juventud e incipiente nivel de institucionalidad que han alcanzado la mayoría de los Institutos de las Mujeres en las entidades federativas, los recursos que distribuye el PAIMEF son indispensables aunque no sean suficientes, para el cumplimiento del fin y el propósito del programa.

ED-2007-PAIMEF-UACM-pp.6 y14

Nota del metaevaluador: La población potencial y objetivo requiere de actualización en tanto que el problema central de la capacidad institucional limitada frente a la violencia contra las mujeres, abarca un espectro de actores que abarca más allá de los gobiernos subnacionales.

Diseño Cuenta con indicadores claros y pertinentes para medir los avances del programa.

EED10-11-PAIMEF C-230. pp.13.

Operación

Recientemente se creó un área de Evaluación y Seguimiento en el PAIMEF lo que significa una oportunidad para destinar tiempo a la planeación de mediano plazo, tomando como insumos los resultados del proceso de seguimiento y evaluación.

EP-2009-PAIMEF-INSP-pp.40

49

Operación

Las reglas de operación sobre el proceso de aprobación, seguimiento y ejecución de los proyectos han mejorado el funcionamiento del programa. Se observan elementos de mejora en la asignación de los recursos a las IMEF (procesos más transparentes y eficientes).

EED-2010-2011-PAIMEF-CMQ-pp. 18

Operación

El proceso de validación de proyectos, a través de la mesas de validación, es eficaz. La discrecionalidad se erradicó a través de la instalación de una instancia externa conformada por actores de la academia, sociedad civil y sector público.

EP-2008-PAIMEF-INSP-pp-52

Operación Eficiente distribución de apoyos de manera electrónica conforme a las ROP.

EP-2008-PAIMEF-INSP-pp. 67

Operación

Las IMEF tienen la posibilidad de entregar recursos en especie como equipos o contratación de personal especializado o bien en efectivo.

EP-2008-PAIMEF-INSP 69

Operación

Disponibilidad de nuevos recursos para las IMEF está supeditada a la entrega anual de un informe final, lo cual representa una seguridad tanto para el PAIMEF como para la IMEF.

EP-2008-PAIMEF-INSP-pp-72

Operación Cuenta con acciones internas de monitoreo y seguimiento de los proyectos para atender a mujeres que

EED10-11-PAIMEF C-230. pp.13.

50

sufren situaciones de violencia.

Operación

El programa tiene procedimientos claros y precisos con actores, herramientas y mecanismos que dan agilidad a los trámites de presentación, revisión, selección, seguimiento y evaluación de los proyectos que presentan las IMEF.

ECyR-11-PAIMEF COLMEX-pp. 3 y 31

Debilidades

Diseño Los mecanismos para valorar las acciones del PAIMEF en los estados aún tienen áreas de mejora.

EED09/10-PAIMEF COLMEX-pp.19

Es necesario avanzar en mecanismos que aseguren la calidad y un mayor impacto de las acciones que se realizan en los estados con recursos del PAIMEF. Nota del metaevaluador: Realizar una evaluación de impacto.

Diseño No cuenta con un protocolo único para las mesas de revisión y autorización de los proyectos.

EED-10-11-CSC-pp.13 Homologar un protocolo único de revisión y autorización para los proyectos.

Diseño La relación entre el INMUJERES y el PAIMEF no es fuerte.

EED2010-11-PAIMEF CONSSC-pp. 14

Avanzar en la definición e implementación de una estrategia conjunta con los programas del INMUJERES que potencie los resultados de las acciones que financian y desarrollan ambos programas. Nota del metaevaluador: Evaluar la conveniencia de que el PAIMEF se convierta en una opción más del INMUJRES para combatir la violencia de género. Lo anterior en términos del Artículo 6 de la Ley del Instituto Nacional de las Mujeres que

51

señala en su objetivos específicos I: “La promoción, protección y difusión de los derechos de las mujeres y de las niñas consagrados en la Constitución Política de los Estados Unidos Mexicanos y en los tratados internacionales ratificados por México, en particular los derechos humanos y libertades fundamentales de las mujeres. La promoción, seguimiento y evaluación de las políticas públicas, y la participación de la sociedad, destinadas a asegurar la igualdad de oportunidades y la no discriminación hacia las mujeres”

Planeación No existe un plan estratégico de largo plazo con procesos con perspectiva de género para regir sus actividades.

ECyR10/11-PAIMEF- COLMEX-pp.18

Realizar Plan Estratégico correspondiente al PAIMEF donde se enfaticen los procedimientos y contenidos con perspectiva de igualdad de género que deben regir las diversas actividades del Programa tanto las que se dirigen hacia el personal como hacia las IMEF y cuente con una programación de actividades que supere el periodo anual, esto es, tenga visión de mediano y largo plazo.

Cobertura y focalización

El PAIMEF presenta un problema en la focalización de recursos, ya que no se utiliza un indicador de referencia asociado al problema focal para la asignación de los mismos entre las IMEF. El programa cuenta con un índice de fortalecimiento institucional (IFI),

Se sugiere que la focalización de los recursos del programa se realice con base en indicadores que reflejen la medida en la que las IMEF presentan el problema focal. Esto se puede hacer a través de una ponderación que asigne el mayor peso en la fórmula a un indicador como el IFI, revisado y especificado

52

que mide el grado en que las IMEF cumplen con una serie de atributos asociados a su capacidad para prevenir y atender la violencia de género, pero éste no considera ni está estructurado como un mecanismo que permita distribuir de manera eficiente los recursos.

inversamente (debilidad institucional), seguido de otro indicador asociado a la incidencia o severidad de la violencia de género en las entidades federativas.

Operación El programa no tiene lineamientos claros en cuanto a las acciones prioritarias de cada vertiente de apoyo.

EP-2008-PAIMEF-INSP-pp.38

Establecer lineamientos específicos que orienten con mayor claridad el tipo de acciones que se apegan a cada una de las vertientes de apoyo del Programa.

Operación Algunos procesos que se realizan a nivel estatal no están previstos a detalle en las Reglas de Operación.

EP-2008-PAIMEF-INSP-pp.38

Nota del metaevaluador: Los lineamientos señalados en las ROP 2012 en los puntos de Criterios de Selección de proyectos son muy generales, se refieren a convenios internacionales y no son lo suficientemente claros, aparte de que se confunde con el apartado denominado Apoyo a proyectos de las IMEF. Ambos apartados dan lineamientos de cumplimiento para ejecutar el proyecto lo que redunda en falta de claridad para cumplir dichos lineamientos.

Operación

El PAIMEF no tiene una estrategia institucional propia de difusión nacional hacia la población en general, ni hacia Organizaciones de la Sociedad Civil.

EP-2008-PAIMEF-INSP-pp.46

Elaborar la estrategia de difusión nacional, no sólo a las mujeres para lograr el objetivo. Nota del metaevaluador: Redefinir y profundizar la estrategia de comunicación sobre la importancia de objetivo del PAIMEF.

53

Operación Existe disparidad en la presentación de los proyectos de las IMEF.

EP-2008-PAIMEF-INSP-pp.50

Nota del metaevaluador: La disparidad es porque los criterios de selección de proyectos, indicados en las ROP 2012, no son claros ni concisos, lo que hace necesario consolidar un procedimiento único para la revisión y autorización de los proyectos.

Operación

Las IMEF eventualmente reciben solicitudes de apoyo de las OSC, pero no existe un proceso de atención por lo que su resolución es de manera casuística.

EP-2008-PAIMEF-INSP-pp.51

Nota del metaevaluador: En el establecimiento de lineamientos en las ROP se deben regular todas las relaciones entre las IMEF y el PAIMEF con el fin de dar certidumbre y agilidad a los procesos. Esto es acorde con la urgencia de redefinir la población potencial, objetivo y los mecanismos de focalización para la asignación de los recursos.

Operación

Las IMEF, en general, solamente reportan acciones realizadas y presupuesto ejercido, sin orientación a resultados dado que no están sujetos a ello.

EP-2008-PAIMEF-INSP-pp.74 y 75

Nota del metaevaluador: Reglamentar en las ROP que las IMEF reporten con base en resultados. Esto implicaría que las IMEF que reciben fondos del PAIMEF, deberían reportar indicadores indicados en la MIR, a nivel de componente, proporcionando información sobre el logro de los objetivos, la efectividad en el uso de los recursos, entre otros.

Resultados

No cuenta con una evaluación externa que permita reflejar los resultados del programa, tanto en la disminución de la violencia contra las mujeres beneficiadas como en las actividades

EED-10/11-PAIMEF-C-230 pp. 13

El evaluador en su momento no hizo recomendación al respecto.

54

de prevención, detección y atención que realizan las IMEF. No cuenta con una definición conceptual de cómo las acciones del PAIMEF permiten materializar el objetivo de fortalecer institucionalmente a las IMEF.

Resultados

Ausencia de la medición de efectos del programa en el desarrollo de capacidades institucionales de las IMEF así como en el impacto en la disminución de la violencia a las mujeres.

ECyR-11-PAIMEF COLMEX-pp.51

Realizar una evaluación externa que permita reflejar los resultados del programa, tanto en la disminución de la violencia contra las mujeres beneficiadas como en las actividades de prevención, detección y atención que realizan las IMEF, con el objetivo de conocer posibles áreas de oportunidad y mejoras del programa. Nota del metaevaluador: El Índice de Fortalecimiento Institucional (IFI) que se refiere en la Nota Técnica de Actualización de la Población Potencial y Objetivo debe recuperarse en la medición y como insumo para la evaluación.

Amenazas

Diseño

El presupuesto es bajo respecto a las dimensiones del problema que se quiere atender: el fortalecimiento institucional.

ECyR-11-PAIMEF COLMEX-pp.7

El fortalecimiento institucional que se pretende alcanzar debe quedar claramente dentro del contexto de las acciones para la prevención y atención de la violencia, de esta manera se generan argumentos para el aumento del presupuesto para el programa. Si se amplía la cobertura del PAIMEF, nivel

55

municipal y localidades, será necesario un estudio para evaluar la posibilidad de una ampliación presupuestal así como la modificación correspondiente de las ROP. Nota del metaevaluador: INMUJERES podría fortalecer los objetivos del PAIMEF, utilizando parte de su presupuesto para apoyar su objetivo. De la misma forma, INMUJERES podría aprovechar la estructura que ha construido el PAIMEF, a través de las IMEF, para alcanzar sus propios objetivos de una forma más eficiente. Se confirma la necesidad de que se actualice la definición de la población potencial y objetivo.

Operación

No se vislumbran esfuerzos serios en las entidades federativas por financiar la erradicación de la violencia contra las mujeres. No puede esperarse que el PAIMEF sustituya la falta de una política nacional sobre el tema.

EP-2008-PAIMEF-INSP-pp.71 y 72

Nota del metaevaluador: Reglamentar el condicionamiento conjunto entre la federación y las entidades estatales para el financiamiento de los proyectos.

56

3.6 Reflexiones y recomendaciones complementarias del metaevaluador En esta sección se desarrolla una serie de reflexiones y recomendaciones complementarias del equipo metaevaluador sobre la situación actual del programa, que si bien se construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas reflexiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño del programa, y son responsabilidad exclusiva del metaevaluador.

Las definiciones del problema focal y de las poblaciones potencial y objetivo de los programas sociales deben hacerse conforme a lo establecido en los Lineamientos generales para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de Programas de Desarrollo Social, así como en los Lineamientos y criterios generales para la definición, identificación y medición de la pobreza de Coneval. De manera complementaria, la literatura y las buenas prácticas en la materia, detallan las formas en que se pueden desarrollar dichas definiciones (como ejemplo, véase Aldunate y Córdoba 2011). Así, conforme a los estándares y criterios para el diseño de programas sociales, el problema focal debe describir correctamente la situación que justifica la existencia del programa, y es analíticamente el contrario exacto del objetivo general, que se plantea como el problema solucionado. Dicho objetivo general se debe desagregar en objetivos específicos, que abordan diversos aspectos puntuales del problema focal —esto es, se va de lo general a lo particular— mismos que usualmente se asocian a los bienes y servicios que otorga el programa. El objetivo general suele corresponder con el Propósito del programa, y contribuye a su vez a un objetivo superior de política, que corresponde con el Fin. Sin embargo, un análisis riguroso de los diversos elementos de diseño del PAIMEF señala cuestiones que, en opinión del equipo metaevaluador, no están resueltas adecuadamente y pueden incidir de forma significativa sobre su efectividad. La reflexión central es que existen algunas inconsistencias y ambigüedades en los elementos básicos de diseño, que desdibujan la lógica vertical del programa. Esto se puede apreciar al revisarlos siguientes elementos:

Problema focal actual: Capacidad institucional limitada frente al problema de la violencia contra las mujeres. Objetivo general actual: Contribuir a prevenir y atender la violencia contra las mujeres a través de las acciones que realizan las IMEF. Objetivo especifico actual: Fortalecer a las Instancias de Mujeres en las Entidades Federativas para prevenir y atender la violencia contra las mujeres. Fin: Contribuir a disminuir la violencia contra las mujeres, a través de la prevención y atención que brindan las Instancias de Mujeres en las Entidades Federativas.

57

Propósito: Las Instancias de las Mujeres en las Entidades Federativas son fortalecidas en sus capacidades técnicas, humanas e institucionales prevenir y atender la violencia contra las mujeres.

De entrada, el problema focal que aparece en el Diagnóstico se centra en la capacidad institucional limitada de las IMEF, y no corresponde, en una relación directa y de primer orden, con el objetivo general que aparece en las ROP 2012, enfocado en prevenir y atender la violencia contra las mujeres. La correspondencia del problema focal se presenta con el objetivo específico, pero este no corresponde con el objetivo general en una lógica de desagregación sino de causalidad. En opinión del equipo metaevaluador, esta situación va más allá de un mero inconveniente en la redacción, pues refleja inconsistencias reales y relevantes en el diseño y operación del programa.

En primer lugar, no queda claro si el verdadero objetivo general o central del programa —lo que se entiende en todo caso como Propósito— gira en torno a la capacidad institucional limitada de las IMEF, como lo sugiere el problema focal y el objetivo específico, o a la prevención y atención de la violencia contra las mujeres, como se especifica en el objetivo general de las ROP.

En segundo lugar, el objetivo específico no descompone en partes al objetivo general, sino que muestra una lógica causal jerárquica, como sucede normalmente entre el Propósito de un programa y sus Componentes, en que los segundos deben ser suficientes y necesarios para lograr el primero. Esto es, no queda claro si el fortalecimiento de las IMEF está subordinado y se hace sólo en función de que contribuyen a prevenir y atender la violencia contra las mujeres, o si se concibe como un objetivo en sí mismo.8

En tercer lugar, en el nivel de Fin —que equivale al objetivo último del programa, uno de orden superior que no puede solucionar por sí mismo sino solamente contribuir a su solución— aparece disminuir la violencia contra las mujeres. En la redacción, la disminución de la violencia contra las mujeres se alinea causalmente —el “a través”—con la prevención y atención de dicho fenómeno, que debiera a su vez ser la parte central del enunciado de Propósito. Sin embargo, las acciones de prevención y atención se limitan sólo al ámbito de las IMEF, lo cual pareciera entonces quedar muy

8 Por ejemplo, en el caso de los programas para las micro, pequeñas y medianas empresas que utilizan

organismos intermedios o intermediarios financieros, los segundos se plantean siempre en función de las primeras, los apoyos que se entregan a estas instituciones justifican sólo el beneficio a las empresas, e incluso las mediciones de impacto y los indicadores de seguimiento tienen siempre el foco en los beneficiarios finales. Para mayores detalles, refiérase a los programas de la Secretaría de Economía, tales como el Fondo PYME, el Programa Nacional de Financiamiento al Microempresario (PRONAFIM) y al Fondo de Microfinanciamiento para Mujeres Rurales (FOMMUR), entre otros.

58

limitado, sobre todo considerando los altos niveles de prevalencia de la violencia contra las mujeres observados en la sociedad mexicana.

En cuarto lugar, en la lógica causal del programa, no queda claro que para prevenir y atender la violencia contra las mujeres sea necesario y suficiente fortalecer institucionalmente a las IMEF. Esto es cuestionable si se considera (a) que no hay una razón evidente para que el nivel estatal deba ser el foco de atención, en vez de considerar otras programas federales —incluyendo a los de la propia Sedesol—gobiernos municipales y organizaciones de la sociedad civil, que tienen o deberían tener diversas acciones en la materia; (b) que las IMEF no son las únicas instancias en los estados que trabajan —o debían trabajar— en la prevención y atención de la violencia contra las mujeres, pues existen también otras muy importantes como los órganos judiciales y las OSC locales, por mencionar algunas, y (c) que se puede también financiar directamente a los proyectos prioritarios de prevención y atención, sin pasar necesariamente por el fortalecimiento de las IMEF, a menos que efectivamente todas ellas lo requieran para poder diseñar e implementar proyectos propios. Así, en todo caso las IMEF podrían ser sólo unas entre una diversidad de instancias, y el fortalecimiento institucional sólo uno entre otros componentes.

Con base en lo anterior, el equipo metaevaluador recomienda al Indesol y a la Sedesol redefinir el problema focal y los objetivos del PAIMEF para fortalecer la consistencia lógica de su diseño y mejorar sus resultados. Ello implica definirse por la prevención y atención de la violencia contra las mujeres —que opinión de los metaevaluadores, sería lo más adecuado — o alternativamente por el fortalecimiento institucional de las IMEF para prevenir y atender este fenómeno. Si el problema focal, el objetivo general y el Propósito del programa se definieran en torno a la prevención y atención de la violencia contra las mujeres, entonces lo más consistente sería tener a la contribución de la disminución de la violencia contra las mujeres en el nivel de Fin, y el fortalecimiento institucional de las IMEF como uno de los Componentes, entre otros necesarios y suficientes para lograr el Propósito. Si el problema focal, el objetivo general y el Propósito del programa se definieran en torno al fortalecimiento institucional de las IMEF para prevenir y atender la violencia contra las mujeres, el Fin debería ser la contribución a la disminución de la violencia —ya que la prevención y la atención serían sólo una etapa intermedia en la lógica causal. No obstante, sería preciso justificar por qué fortalecer a las IMEF se puede considerar por sí mismo como un objetivo deseable de la política social, e igualmente señalar por qué es una alternativa superior a otras posibles para contribuir al logro del Fin.

La discusión precedente y la selección que se deriva implican mucho más que un simple cambio en la redacción de los documentos normativos y técnicos del programa, pues cualquier decisión que se tome puede significar mover el foco de atención, modificar la operación y replantear los resultados esperados. Por supuesto, el problema focal y los objetivos también pueden quedar como están actualmente definidos; sin embargo, arrastrar

59

una inconsistencia de esta magnitud del diseño a la operación y luego a los resultados, necesariamente afectará de forma negativa el desempeño del programa, pues no quedaría claro siquiera qué se debe esperar del mismo. En un sentido distinto pero evidentemente relacionado e importante, las inconsistencias y ambigüedades antes mencionadas también generan confusión sobre las poblaciones potencial y objetivo del programa —esto es, a quiénes se espera beneficiar— que son elementos básicos del diseño, operación y resultados de cualquier programa, y que a su vez se derivan de la definición del problema focal. Conforme a los Lineamientos generales para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de Programas de Desarrollo Social, la población potencial es aquella parte de la población que es susceptible de ser afectada por el problema, y que por lo tanto requiere de los servicios o bienes que proveerá el programa; por su parte, la población objetivo es el subconjunto de la población potencial que un programa público diseñado ex profeso podría buscar atender en el corto y mediano plazos, tomando para ello en consideración las limitaciones financieras e institucionales existentes. En la Nota sobre población potencial y población objetivo 2011 y en las ROP de 2012, las poblaciones del PAIMEF se definen de la siguiente forma:

Población potencial actual: Las 32 Instancias de Mujeres de las Entidades Federativas (IMEF) que pueden ser ya sea Institutos o Secretarías. Población objetivo actual: Las 32 Instancias de Mujeres de las Entidades Federativas (IMEF) que pueden ser ya sea Institutos o Secretarías.

Ambas poblaciones son en general consistentes entre sí así como con la definición actual del problema focal, en tanto que se enfocan en la capacidad institucional. Sin embargo, dichas poblaciones son inconsistentes con el objetivo general del programa, que se centra en la prevención y atención de la violencia contra las mujeres, en las que el foco son las mujeres y no las IMEF. Evidentemente, las inconsistencias en las poblaciones se derivan de las inconsistencias en el problema focal, sobre las cuales ya se ha elaborado con amplitud. Entonces, a partir del diseño actual pareciera que el programa tiene dos poblaciones potenciales y dos poblaciones objetivo, sin dejar claro cuáles son las verdaderamente relevantes. Huelga decir que conforme a la normatividad y a las mejores prácticas en la materia, los programas deben tener una sola población potencial y una sola población objetivo pertenecientes a un mismo grupo afectado por el problema focal, con diversos subgrupos y clasificaciones si fuera necesario, pero siempre uno. De lo contrario, no sólo habría serios errores en la cobertura y en la focalización de los beneficiarios, sino que el desempeño conjunto del programa se vería disminuido.

60

Así, el equipo metaevaluador recomienda al Indesol y a la Sedesol redefinir las poblaciones potencial y objetivo del PAIMEF, alineándolas a su vez con la redefinición propuesta para el problema focal. Como ya se mencionó, esto implica definirse ya sea por las IMEF que presentan debilidades institucionales para prevenir y atender la violencia contra las mujeres, o alternativamente por las mujeres que sufren episodios de violencia o están en riesgo de sufrirla. Si se optara por la segunda opción —que a juicio del equipo metaevaluador es la más adecuada— habría que identificar, definir y clasificar a la población; si se decidiera por el fortalecimiento institucional, las definiciones actuales no sufrirían mayores cambios, y simplemente habría que refinarlas; nuevamente, sería necesario justificar por qué las IMEF por sí mismas se deben de considerar como un grupo relevante de atención para la política social, y no en función de su eventual impacto sobre las mujeres. Finalmente, es menester enfatizar que todas las conclusiones y recomendaciones antes expuestas respetan los elementos básicos del diseño y la lógica interna actuales del programa, especificados en las ROP 2012, el Diagnóstico, la Nota y otros documentos oficiales. Por lo tanto, y basándose en los resultados del presente trabajo, el equipo metaevaluador sólo propone mejorar la consistencia de dichos elementos básicos del programa, a efecto de mejorar su desempeño. Un análisis más amplio de la adecuación del diseño, operación y resultados del programa queda fuera del alcance de esta metaevaluación, y sería en su caso objeto de otro estudio.

61

4 Reporte de monitoreo 4.1 Introducción

En 2007, la Secretaría de Desarrollo Social (Sedesol) elaboró la Matriz de Indicadores para Resultados (MIR) de los programas federales a su cargo con la finalidad de mejorar su diseño y de cumplir con los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal9 que establecen que los programas federales deben contar con una MIR. Desde entonces, la MIR es usada por la Sedesol y por otros actores, como la Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP), la Auditoría Superior de la Federación (ASF), el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) e incluso el H. Congreso de la Unión, para dar seguimiento a los resultados alcanzados por los programas federales, lo que la convierte en el principal instrumento para monitorear el desempeño de dichos programas en el Gobierno Federal10. La MIR de los programas federales de la Sedesol se ha ido modificando año con año, principalmente con tres objetivos: 1) mejorar el diseño de los programas, 2) contar con mejores indicadores de resultados y de gestión para monitorear su desempeño, y 3) mejorar su alineación con las Reglas de Operación (ROP). Para ello, la Sedesol ha tomado en consideración los comentarios y propuestas de mejora emitidos por actores como el CONEVAL, la SHCP y los evaluadores externos que han evaluado los programas. Este documento tiene como objetivo analizar la MIR 2012 del Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas para generar propuestas de mejora para la elaboración de la MIR 2013, especialmente de los niveles de Fin y Propósito, poniendo especial atención en los indicadores de resultados.

9 Diario Oficial de la Federación. 30 de marzo de 2007.

10 La Ley General de Desarrollo Social establece en el Art. 77 que el CONEVAL antes de aprobar los indicadores

de resultados, gestión y servicios de los programas sociales, los someterá a la consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF, para que emitan las recomendaciones que en su caso estime pertinentes, para esta aprobación, se toman los indicadores de la MIR. Asimismo, los Lineamientos para la revisión, actualización, calendarización y seguimiento de la Matriz de Indicadores para los programas presupuestarios 2012 establecen en el numeral 13 que la SHCP, la SFP y el CONEVAL, en el ámbito de sus respectivas competencias y considerando las disposiciones aplicables, deberán emitir las recomendaciones a las MIR y sus indicadores que consideran convenientes. También, estos Lineamientos establecen como uno de sus objetivos específicos registrar los avances en la consecución de las metas de los indicadores de los programas presupuestarios durante el ejercicio fiscal 2012 para dar cumplimiento a los informes sobre la Situación Económica, las Finanzas Públicas y la Deuda Pública (informe trimestral a cargo de la SHCP enviado al Congreso de la Unión), de conformidad con el artículo 107 de la Ley de Presupuesto y Responsabilidad Hacendaria.

62

Para lo anterior, en la primera parte se hace un análisis de los cambios que se han implementado en la MIR de 2007 a 2012, para ello se identifican los comentarios que diversos actores han emitido a la MIR para el mismo periodo. Posteriormente, se valora el resumen narrativo de la MIR 2012, analizando su correspondencia con las ROP de ese año y se realizan propuestas de mejora. Por último, se valoran los indicadores de Fin y Propósito de la MIR 2012 y se emiten propuestas de mejora. 4.2 Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012

En este apartado se hace un análisis de la evolución de la Matriz de Indicadores de Resultados (MIR) del programa durante el período 2007-2012. Se identifican los principales cambios en los resúmenes narrativos y en los indicadores asociados a los mismos, que surgieron como respuesta a las observaciones y recomendaciones de instancias como la Auditoría Superior de la Federación (ASP), la Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP), el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) y los evaluadores externos del programa. La secuencia de cambio se presenta en los niveles de Fin, Propósito y algunos casos de Componentes, para todos los años comprendidos en el período. Al final de la sección se presenta una propuesta para mejorar los resúmenes narrativos y los indicadores para la MIR del año 2013. Un esquema del análisis histórico de la MIR y de las propuestas de mejora se presenta en el Anexo 5. 4.2.1 Principales cambios de la Matriz de Indicadores 2007-201211 En esta sección se hace un resumen de los principales cambios de la MIR del PAIMEF de 2007 a 2012, enfocándose principalmente en el resumen narrativo de los niveles de Fin, Propósito y Componentes y en los indicadores de Fin y de Propósito. Los cambios se presentan primero del resumen narrativo y posteriormente de los indicadores para cada año. 4.2.2 Análisis 2008-2009 Resumen narrativo Para 2008, a nivel de Fin se tenían múltiples objetivos 1) prevenir la violencia contra las mujeres, 2) detectar la violencia contra las mujeres, y 3) atender la violencia contra las

11

Al no contar con la MIR 2007, en esta sección el análisis se realiza a partir de 2008.

63

mujeres; por lo que no era posible identificar a cuál de estos objetivos se buscaba contribuir con el logro del Propósito. La sintaxis de la Metodología de Marco Lógico (MML) establece que el Fin debe ser el objetivo al cual el programa contribuya de manera significativa. A nivel de Propósito, si bien se cumple con la sintaxis establecida en la MML, no era posible conocer cuál es el objetivo que el programa busca alcanzar debido a que no se especifica en la MIR un concepto de “fortalecidas” en el que se acote el alcance del resultado que el programa espera lograr en las IMEF. Cabe destacar que en las ROP de 2008 tampoco se establece una definición. De acuerdo con esto, no era posible determinar si el Propósito contribuye al logro del Fin. El Componente planteado no cumplía con la sintaxis establecida por la MML, ya que no se expresaba como un bien entregado. Asimismo, debido a la falta de claridad del Propósito, no era posible determinar si el Componente es suficiente y necesario para su logro. No se cuenta con información del resumen narrativo de la MIR 2009.

Resumen narrativo

2008 2009

Fin Contribuir a prevenir, detectar y atender la violencia contra las mujeres.

Sin información

Propósito

Instancias de las Mujeres en las Entidades Federativas fortalecidas para prevenir, detectar y atender la violencia contra las mujeres.

Sin información

Componentes Proyectos de Instancias de las Mujeres en las Entidades Federativas apoyados por el PAIMEF.

Sin información

Indicadores A nivel de Fin, de 2008 a 2009, se eliminaron los indicadores planteados y se estableció uno nuevo. Esta medida se consideró adecuada debido a que dichos indicadores correspondían a otros ligados con las actividades de gestión del programa o con su cobertura, y por tanto, no eran adecuados para nivel de Fin. Cabe señalar que al no contar con la información del resumen narrativo para 2009 no es posible determinar si el indicador era adecuado para medir el logro del Fin. A nivel de Propósito, en 2008 se contaba con indicadores que daban cuenta de acciones realizadas por las instancias de mujeres; sin embargo, al no contar con la información del resumen narrativo para 2009 no era posible determinar si los indicadores son adecuados para medir el logro del Propósito.

64

Indicadores 2008 2009

Fin

Promedio de diagnósticos o investigaciones dirigidos a detectar las principales problemáticas de violencia en sus diferentes formas y modalidades con relación al total de IMEF con proyectos apoyados. Número de diagnósticos o investigaciones dirigidos a detectar las principales problemáticas de violencia en sus diferentes formas y modalidades, entre el total de IMEF con proyectos apoyados, por cien.

Porcentaje de mujeres en situación de violencia de género, que con ayuda del PAIMEF cuentan con demanda resuelta.

Promedio de personas (mujeres, sus hijos e hijas) beneficiadas por algún servicio proporcionado en refugios o en unidades de atención y protección a las víctimas de violencia, con relación al total de IMEF con proyectos apoyados. Número de personas (mujeres, sus hijos e hijas) beneficiadas por algún servicio proporcionado en refugios o en unidades de atención, entre el total de IMEF con proyectos apoyados, por cien.

Promedio de profesionales capacitados (jueces, fiscales, médicos, profesores, trabajadores sociales, etc.) que atienden directamente casos relacionados con la violencia de género, con relación al total de IMEF con proyectos apoyados. Número de profesionales (jueces, fiscales, médicos, profesores, trabajadores sociales, etc.) que atienden directamente casos relacionados con la violencia contra las mujeres, entre el total de IMEF con proyectos apoyados, por cien.

Propósito

Porcentaje de acciones, dirigidas a la población, que alcanzaron sus objetivos en por lo menos un 85%, en los aspectos de prevención, detección y atención de la violencia contra las mujeres. Número de acciones, dirigidas a la población, que alcanzaron sus objetivos en por lo menos un 85%, en aspectos de prevención, detección y atención de la violencia contra las mujeres; entre el número de acciones, dirigidas a la población, como apoyo para la prevención, detección y atención de la violencia contra las mujeres, por cien; contra

Porcentaje de acciones que, derivado del apoyo de PAIMEF, generaron procesos de cooperación interinstitucional respecto de la detección, prevención y atención de la violencia contra las mujeres con relación al total de acciones apoyadas.

65

las mujeres que alcanzaron sus objetivos en por lo menos un 85%; entre el número de acciones, dirigidas a la población, como apoyo para la prevención, detección y atención de la violencia contra las mujeres, por cien.

Porcentaje de acciones que, derivado del apoyo de PAIMEF, generaron procesos de cooperación interinstitucional respecto de la detección, prevención y atención de la violencia contra las mujeres con relación al total de acciones apoyadas por el PAIMEF. Número de acciones que, derivado del apoyo del PAIMEF, generaron procesos de cooperación interinstitucional respecto de la detección, prevención y atención de la violencia contra las mujeres, entre el número de acciones apoyadas por el PAIMEF, por cien.

Porcentaje de servidores públicos de los tres órdenes de gobierno que adquieren conocimientos para prevenir, detectar y atender la violencia de género.

Porcentaje de acciones que alcanzaron sus objetivos en por lo menos un 85%, dirigidas a generar estudios e investigaciones en materia de violencia contra las mujeres. Número de acciones que alcanzaron sus objetivos en por lo menos un 85%, dirigidas a generar estudios e investigaciones en materia de violencia contra las mujeres, entre el número de acciones dirigidas a generar investigaciones en materia de violencia contra las mujeres, por cien.

Porcentaje de IMEF con Modelos de Atención a la Violencia de Género sistematizados.

Porcentaje de acciones que alcanzaron sus objetivos en por lo menos un 85%, dirigidas a la creación o fortalecimiento de refugios y unidades de atención y protección a las víctimas de violencia. Número de acciones que alcanzaron sus objetivos en por lo menos un 85%, dirigidas a la creación o fortalecimiento de refugios y unidades de atención y protección a las víctimas de violencia, entre el número de acciones apoyadas, dirigidas a la creación o fortalecimiento de refugios y unidades de atención y protección a las víctimas de violencia, por cien.

Porcentaje de IMEF con Bancos Estatales de Información que aportan datos en tiempo y forma.

Porcentaje de acciones, dirigidas al fortalecimiento y profesionalización institucional, que alcanzaron sus objetivos en por lo menos un 85%.

Porcentaje de personas, pertenecientes a la población en general, que adquieren conocimientos en materia de prevención, detección y difusión de la violencia contra las mujeres.

66

Número de acciones que alcanzaron sus objetivos en al menos un 85%, dirigidas al fortalecimiento y profesionalización institucional, entre el número de acciones dirigidas al fortalecimiento y profesionalización institucional, por cien.

Porcentaje de estudios e investigaciones orientados a la creación o mejoramiento de políticas públicas en materia de violencia contra las mujeres.

Porcentaje de refugios para las mujeres en situación de violencia que cuentan con un modelo de atención sistematizado.

4.2.3 Análisis 2009-2010 Resumen narrativo El Fin de 2010 contaba con un objetivo único a dicho nivel 1) disminuir la violencia contra las mujeres. Esto se considera correcto, debido a que cumplía con la sintaxis establecida por la MML. No obstante, no se identificó un concepto en la MIR de “violencia”, por lo que el objetivo al cual contribuye el programa era ambiguo. El Propósito de 2010 no se considera apropiado, debido a que tiene múltiples objetivos. No era claro si lo que el programa buscaba es 1) fortalecer las instancias para mujeres, 2) prevenir la violencia, 3) detectar la violencia o 4) atender la violencia. Lo cual no corresponde con lo establecido por la MML, en el sentido de que éste debe tener un objetivo único. Asimismo, el “para” establecido en el Propósito (prevenir, detectar y atender la violencia contra las mujeres) no corresponde con el Fin de “disminuir la violencia contra las mujeres”. A nivel de Propósito, se contaba con un objetivo único, lo cual era correcto debido a que cumplía con la sintaxis establecida en la MML; sin embargo, no se especificó en la MIR un concepto de “fortalecidas” en el que se acote el alcance del resultado que el programa espera lograr en las IMEF, por lo que el Propósito era ambiguo. Cabe destacar que en las ROP de 2010 tampoco se estableció una definición. De acuerdo con esto, no era posible determinar si el Propósito contribuye al logro del Fin. A nivel de Componentes para 2010, se planteó un Componente único que cumplía con la sintaxis establecida por la MML. Sin embargo, al no tener una clara definición del Propósito en cuanto al resultado que espera alcanzar el programa en las IMEF, no era posible determinar si el Componente es el suficiente y necesario para su logro.

67

Resumen narrativo

2010

Fin Contribuir a disminuir la violencia contra las mujeres, a través de la prevención, detección y atención que brindan las Instancias de las Mujeres en las Entidades Federativas.

Propósito Fortalecer las Instancias de las Mujeres en las Entidades Federativas para prevenir, detectar y atender la violencia contra las mujeres.

Componentes Proyectos de Instancias de Mujeres en las Entidades Federativas financiados.

Indicadores De 2009 a 2010, a nivel de Fin, se modificó el indicador; sin embargo, no es claro que el indicador de 2010 midiera la disminución de la violencia contra las mujeres como se planteaba en el resumen narrativo. Es decir, el indicador medía el número de mujeres que fueron atendidas con servicios especializados; sin embargo, no se especificó si el que una mujer recibiera servicios especializados implicaba que ya no se encontraba en una situación de violencia o si se refería únicamente a un indicador de cobertura de mujeres atendidas. Asimismo, el indicador era absoluto, por lo que se debe tener en cuenta que por sí mismo proporcionaba poca información si no se tenía una variable de referencia con la cual comparar el desempeño del programa. De acuerdo con esto, no se considera que el indicador fuera adecuado para medir el Fin. Por otra parte, el indicador de Propósito también se modifica y se establece como un índice que mide el fortalecimiento institucional de las IMEF. Si bien esto fue una mejora con respecto del indicador de 2009, no era posible determinar si el indicador era adecuado, debido a que no se contaba con información acerca de cómo está compuesto este índice, y del concepto que tenía el programa de “fortalecer”.

Indicadores 2010

Fin

Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron atendidas con servicios especializados. Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron atendidas con servicios especializados durante el ejercicio fiscal presente.

Propósito

Índice global de fortalecimiento institucional de las IMEF para prevenir, detectar y atender la violencia contra las mujeres. Anexo metodológico del Índice global de fortalecimiento institucional de las IMEF para prevenir, detectar y atender la violencia contra las mujeres.

68

4.2.4 Análisis 2010-2011 Resumen narrativo De 2010 a 2011, el Fin se mantuvo como un objetivo único 1) disminuir la violencia contra las mujeres. Esto se consideró correcto, debido a que cumplía con la sintaxis establecida por la MML. No obstante, no se identificó un concepto en la MIR de “violencia”, por lo que el objetivo al cual contribuye el programa siguió siendo ambiguo. En el Propósito de 2011, si bien se modificó la redacción con respecto de la MIR 2010, se mantuvieron múltiples objetivos lo cual no correspondía con lo que establece la MML y, por lo tanto, no se consideró adecuado. De acuerdo con esto, no era claro si lo que el programa buscaba era 1) fortalecer las instancias para mujeres en sus capacidades técnicas, humanas e institucionales, 2) prevenir la violencia o 3) atender la violencia. Asimismo, el “para” establecido en el Propósito (prevenir, detectar y atender la violencia contra las mujeres) no correspondía con el Fin de “disminuir la violencia contra las mujeres”. A nivel de Propósito, no se especificó en la MIR un concepto para “fortalecer”, en el que se acotara el alcance del resultado que el programa esperaba lograr en las IMEF, por lo que el objetivo que el programa buscaba alcanzar no era claro. Cabe destacar que en las ROP de 2011 tampoco se estableció una definición. Derivado de lo anterior, no era posible determinar si el Propósito contribuía al logro del Fin. A nivel de Componentes para 2011, se planteó un Componente único que cumplía con la sintaxis establecida por la MML. Sin embargo, al no tener una clara definición del Propósito en cuanto al resultado que el programa espera alcanzar en las IMEF, no es posible determinar si el Componente es el suficiente y necesario para su logro.

Resumen narrativo

2011

Fin Contribuir a disminuir la violencia contra las mujeres, mediante la prevención y atención que brindan las Instancias de Mujeres en las Entidades Federativas.

Propósito Fortaleces las Instancias de las Mujeres en las Entidades Federativas en sus capacidades técnicas, humanas e institucionales para prevenir y atender la violencia contra las mujeres.

Componentes Apoyo a proyectos y fomento estratégico de las Instancias de Mujeres en las Entidades Federativas.

Indicadores De 2010 a 2011, a nivel de Fin, se mantuvo el indicador, en el cual no era claro que el indicador de 2010 midiera la disminución de la violencia contra las mujeres como se planteaba en el resumen narrativo. Es decir, el indicador medía el número de mujeres que

69

fueron atendidas con servicios especializados; sin embargo, no se especificaba si el que una mujer recibiera servicios especializados implicaba que ya no se encontrara en una situación de violencia o si se refería únicamente a un indicador de cobertura de mujeres atendidas. Asimismo, el indicador era absoluto, por lo que se debe tener en cuenta que por sí mismo proporcionaba poca información si no se tenía una variable de referencia con la cual comparar el desempeño del programa. De acuerdo con esto, no se consideraba que el indicador fuera adecuado para medir el Fin. Por otra parte, el indicador de Propósito también se mantuvo como un índice que medía el fortalecimiento institucional de las IMEF, no era posible determinar si el indicador era adecuado, debido a que no se contaba con información acerca de cómo estaba compuesto ni del concepto de “fortalecer” que tiene el programa.

Indicadores 2011

Fin

Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron atendidas con servicios especializados. Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron atendidas con servicios especializados durante el ejercicio fiscal presente.

Propósito

Índice global de fortalecimiento institucional de las IMEF para prevenir y atender la violencia contra las mujeres. Anexo metodológico del Índice global de fortalecimiento institucional de las IMEF para prevenir y atender la violencia contra las mujeres

4.2.5 Análisis 2011-2012 Resumen narrativo De 2011 a 2012, el Fin se mantuvo como un objetivo único: 1) disminuir la violencia contra las mujeres, lo cual se considera correcto debido a que cumple con la sintaxis establecida por la MML. No obstante, no se identificó un concepto en la MIR de “violencia”, por lo que el objetivo al cual contribuía el programa siguió siendo ambiguo. El Propósito de la MIR 2012 no era apropiado debido a que se mantuvieron múltiples objetivos, lo cual no corresponde con lo que establece la MML. De acuerdo con esto, no era claro si lo que el programa buscaba es 1) fortalecer las instancias para mujeres en sus capacidades técnicas, humanas e institucionales; 2) prevenir la violencia o 3) atender la violencia. Asimismo, el “para” establecido en el Propósito (prevenir, detectar y atender la violencia contra las mujeres) no correspondía con el Fin de “disminuir la violencia contra las mujeres”.

70

A nivel de Propósito no se especifica en la MIR un concepto de “fortalecer”, en el que se acote el alcance del resultado que el programa espera lograr en las IMEF, por lo que el objetivo que el programa busca alcanzar no es claro. Por lo tanto, no es posible determinar si el Propósito contribuye al logro del Fin. Si bien en las ROP de 2012 se establece una definición de “fortalecimiento”, ésta se analiza en el apartado de Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012. A nivel de Componentes para 2012, se planteó un Componente único distinto al establecido en 2011 que no se consideró apropiado debido a que no cumplía con la sintaxis establecida por la MML. Al no tener una clara definición del Propósito en cuanto al resultado que el programa espera alcanzar en las IMEF, no era posible determinar si el Componente era el suficiente y necesario para su logro.

Resumen narrativo

2012

Fin Contribuir a disminuir la violencia contra las mujeres, mediante la prevención y atención que brindan las Instancias de Mujeres en las Entidades Federativas.

Propósito Fortalecer las Instancias de las Mujeres en las Entidades Federativas en sus capacidades técnicas, humanas e institucionales, para prevenir y atender la violencia contra las mujeres.

Componentes Apoyo a proyectos y fomento estratégico de las Instancias de Mujeres en las Entidades Federativas.

Indicadores De 2011 a 2012, a nivel de Fin, se modificó el indicador, en el cual no era claro si medía la disminución de la violencia contra las mujeres como se plantea en el resumen narrativo. Este indicador más bien parece ser de Propósito, en el sentido de que un mayor número de mujeres atendidas (respecto de las que solicitan apoyo) implica que las IMEF tienen la capacidad de atender a un mayor número de mujeres, y por tanto, se encuentran más fortalecidas. Por otra parte, el indicador únicamente daba cuenta de las mujeres atendidas por el programa; cuando, de acuerdo con el resumen narrativo, debe medir si hubo una disminución de la violencia contra las mujeres (atendidas + no atendidas). A nivel de Propósito, el indicador se mantuvo como un índice que medía el fortalecimiento institucional de las IMEF. Al respecto, no era posible determinar si el indicador era adecuado, debido a que no se contaba con información acerca de cómo estaba compuesto, ni claridad del resultado que el programa espera alcanzar en la población objetivo.

Indicadores 2012

Fin Tasa de crecimiento del número de mujeres atendidas con apoyo del PAIMEF, según acciones de prevención y atención que realizan las IMEF.

71

(Número de mujeres que recibieron servicios de prevención y atención por medio de las IMEF con apoyo del PAIMEF durante el ejercicio fiscal en curso menos el número de mujeres que recibieron servicios de prevención y atención por medio de las IMEF con apoyo del PAIMEF, durante el ejercicio fiscal anterior / Número de mujeres que recibieron servicios de prevención y atención por medio de las IMEF, con apoyo del PAIMEF durante el ejercicio fiscal anterior) * 100

Propósito

Índice de Fortalecimiento Institucional de las IMEF para prevenir y atender la violencia contra las mujeres. Sumatoria de los Subíndices Capacidades Básicas + Corresponsabilidad + Eficiencia Operativa + Eficacia de Resultados, que obtuvieron las IMEF apoyadas por el Programa en el ejercicio fiscal en curso / Número de IMEF apoyadas por el Programa durante el ejercicio fiscal en curso.

4.3 Principales comentarios a la Matriz de Indicadores 2007-2012

En esta sección se hace un resumen de los principales comentarios emitidos a la MIR del PAIMEF de 2007 a 2012 por evaluadores externos, los cuales fueron rescatados de la documentación proporcionada para esta metaevaluación12. Los comentarios se presentan primero del Fin, posteriormente del Propósito, después de los Componentes y finalmente se presentan los comentarios que se identificaron como generales. Los resultados aquí presentados reflejan lo encontrado en la citada evaluación en el momento en que se llevó a cabo y no necesariamente siguen vigentes o reflejan la opinión del Meta-evaluador. Cuando se establece que “No se cuenta con comentarios”, significa que no se identificaron comentarios realizados por los actores mencionados en los documentos revisados.

12

Para el PAIMEF se revisaron los siguientes documentos proporcionados al metaevaluador:

Comentarios a la MIR emitidos por el CONEVAL

Evaluación de Consistencia y Resultados 2011 del Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas

Evaluación en materia de diseño 2007 del Programa de Apoyo a las Instancias de las Mujeres en las Entidades Federativas

Evaluación Específica de Desempeño 2008-2009 del Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas

Evaluación Específica de Desempeño 2009-2010 del Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas

Evaluación Específica de Desempeño 2010-2011 del Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas

Histórico de Aspectos Susceptibles de Mejora

Informe de sesiones de mesa técnica de revisión de indicadores del Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas 2011

72

4.3.1 Fin A continuación se describirán los principales comentarios de las diversas evaluaciones a nivel Fin de la MIR de 2007 a 2012. Principales comentarios MIR 2007 – Fin

Resumen narrativo:

El Fin del programa: “contribuir a favorecer el desarrollo de procesos interinstitucionales para prevenir, detectar y atender la violencia contra las mujeres” era una definición clara de cómo el PAIMEF contribuía, en el mediano y largo plazo, a la solución del problema de la violencia contra las mujeres.

El Fin parecía contribuir a la solución del problema. Dado que el problema o la necesidad estaba formulado en términos de favorecer el desarrollo de procesos interinstitucionales para prevenir, detectar y atender la violencia contra las mujeres; el fortalecimiento de las IMEF parecía corresponder con la solución del problema.

Se proponía considerar el supuesto a las acciones de coordinación intersectorial y con los órdenes de gobierno que lleve a cabo Sedesol. Éste se sostendría en la premisa de que el PAIMEF, en la medida en que esté cobijado por la estructura de la dependencia, es menos frágil y vulnerable.

Se proponía integrar el supuesto "Acciones de colaboración al interior de Sedesol y con los tres órdenes de gobierno".

Indicadores:

El indicador propuesto a nivel de Fin era adecuado en términos de desempeño, pues se refería al alcance del componente, no al componente mismo. Es una medida adecuada para valorar la consecución del Fin.

Principales comentarios MIR 2008 – Fin Resumen narrativo:

No se cuenta con comentarios. Indicadores:

Promedio de profesionales (jueces, fiscales, médicos, profesores, trabajadores sociales, etc.) que atienden directamente casos relacionados con la violencia de género capacitados con relación al total de IMEF con proyectos apoyados. El indicador era claro y adecuado, y permitía dar cuenta del avance en la capacitación profesional promedio por IMEF. Al parecer por error, el método de cálculo fue mal formulado, ya que se trataba de un promedio y no de un porcentaje. El resultado para 2008 rebasa por mucho a lo esperado, la información disponible no permitía explicar este comportamiento.

Principales comentarios MIR 2009 – Fin Resumen narrativo:

Se sugiere acotar el Fin a lo que el programa contribuirá.

Los Supuestos planteados parecían ser parte de la gerencia del programa.

73

Indicadores:

Porcentaje de mujeres en situación de violencia de género, que con ayuda del PAIMEF, cuentan con una demanda resuelta. El indicador propuesto no medía el impacto o los resultados del programa en cuanto a lo que el objetivo de Fin propone. Se sugirió medir los resultados del programa frente a la población que no recibe los beneficios y se señaló que era necesario establecer metas que permitieran dar cuenta del avance en el alcance de los objetivos.

Los indicadores propuestos parecían de nivel de Componentes, se recomendó establecer indicadores que dieran cuenta de los resultados que estaba obteniendo el programa en la consecución del objetivo planteado en el Propósito, como un cambio relevante en la población.

Principales comentarios MIR 2010 – Fin Resumen narrativo:

No se cuenta con comentarios. Indicadores:

Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron atendidas con servicios especializados. El indicador rebasó sus metas.

Principales comentarios MIR 2011 – Fin Resumen narrativo:

Se señaló que si bien los esfuerzos del programa han logrado identificar sus campos de acción y a la población objetivo que benefician, aún no es posible verificar con claridad cuál es el impacto directo del PAIMEF, así como los resultados que pretende lograr en el mediano y largo plazo.

Otro comentario estableció que en relación al Fin, la propuesta era redactarlo directamente como “Disminuir la violencia contra las mujeres”. Se señaló que el Fin de cualquier entidad gubernamental no debía ser contribuir, ya que daba lugar a indicadores dirigidos a los medios, no al impacto que se pretendía obtener con la política que se llevaba a cabo: disminuir la violencia.

Indicadores:

Número de mujeres en situación de violencia que con apoyo del PAIMEF fueron atendidas con servicios especializados. El indicador no se consideró pertinente, aun cuando se relaciona con un factor importante del objetivo: disminuir la violencia contra las mujeres. Lo anterior, debido a que el indicador era una contabilización de beneficiarias, no reflejaba los resultados obtenidos por el programa. Adicionalmente, se recomendó que los indicadores fueran una relación entre dos o más variables. De este indicador también se señalo que era relevante debido a que medía el cumplimiento del objetivo pero que sólo es un dato que no permitía medir los avances o logros del programa. Dado el contexto del programa, era recomendable fortalecer los indicadores, considerando estándares de calidad en la atención de las mujeres, así como calculando el indicador con referencia al universo de mujeres víctimas de violencia y especificando el tipo (física, psicológica, económica y sexual) y

74

el ámbito en que ocurre (hogar, escolar, laboral y social). Además, era recomendable calcular distintos indicadores para servicios de prevención y atención, que sean más informativos en lugar de un solo indicador agregado. El indicador no era claro, ya que no especificaba si se refería a todos los tipos y ámbitos de violencia o sólo a algunos en particular, ni a qué se refería el apoyo del PAIMEF (recursos, asistencia técnica, etc.). En cuanto al tipo de atención, se mezclaban en el mismo indicador servicios muy distintos de asesoría, orientación, atención médica, legal y trabajo social sin especificar estándares de calidad de atención. El indicador era monitoreable, dado que podía ser sujeto a una comprobación independiente; sin embargo, la confiabilidad y robustez de los medios de verificación dependían de la calidad de los registros administrativos de las instancias estatales. Era recomendable que se tuvieran criterios homogéneos en la contabilización de beneficiarios en los distintos tipos de atención. El indicador era económico, dado que se obtenía de registros administrativos, por lo que se esperaría que su costo fuera razonable. Es decir, la construcción del indicador no representaba un costo adicional a la operación del programa.

Se propuso contar con al menos dos indicadores que distinguieran los servicios de prevención y atención. Se propuso también que los indicadores fueran relativos, es decir, relaciones entre dos o más variables.

El programa debía integrar una agenda de mejora de sus indicadores de resultados. En un futuro se podría considerar añadir preguntas a la ENDIREH sobre acceso a servicios de prevención y atención que permitan calcular otros indicadores de acceso a servicios.

Se sugirió un indicador como el porcentaje de mujeres que fueron atendidas por el PAIMEF y que denunciaron el evento; así se puede apreciar la disminución de la violencia y la incorporación de la perspectiva de género que pretende modificar la condición y posición de las mujeres.

Principales comentarios MIR 2012 – Fin Resumen narrativo:

No se cuenta con comentarios. Indicadores:

No se cuenta con comentarios.

4.3.2 Propósito A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel Propósito de la MIR de 2007 a 2012. Principales comentarios MIR 2007 – Propósito

Resumen narrativo

75

El fortalecimiento de las IMEF para prevenir, detectar y atender la violencia contra las mujeres (Propósito del programa), parece claramente definido, por tanto, se consideró adecuado como formulación o definición del resultado mediato del programa. Las IMEF fortalecidas era un Propósito plausible a corto plazo, toda vez que mediante el PAIMEF se capitalizaban materialmente y formaban sus recursos humanos, para enfrentar la violencia contra la mujer en el contexto de su entidad.

El Propósito parecía contribuir a la solución del problema. En la medida en que los recursos que distribuye el PAIMEF para proyectos y acciones específicas de enfrentamiento a la violencia contra las mujeres las fortalezcan parecía posible que el programa, como mediación, contribuyera a generar procesos interinstitucionales, lo cual es deseable para enfrentar de manera más eficaz el complejo problema de la violencia de género.

Es claro y lógico, desde la perspectiva de la MIR, que el Propósito contribuye al Fin.

Se propuso considerar como un supuesto los recursos y capacidades de las IMEF. Se observó las dificultades que tienen las IMEF para elaborar y dar seguimiento a los proyectos, a pesar de que haya interés y voluntad en hacerlos.

Se propuso integrar el Supuesto "Recursos y capacidades de las IMEF para elaborar propuestas para el PAIMEF".

Indicadores:

Los cuatro indicadores de Propósito se referían a los cuatro criterios (temas u objetos) en los que se enmarca el componte (proyectos). Miden el logro de sus propios objetivos como indicador de instancias fortalecidas.

Principales comentarios MIR 2008 – Propósito Resumen narrativo:

No se cuenta con comentarios. Indicadores:

Porcentaje de acciones, dirigidas a la población, que alcanzaron sus objetivos en por lo menos un 85%, en aspectos de prevención, detección y atención de la violencia contra las mujeres. El indicador era confuso en su definición pues no se sabe a que población específica se refiere; tampoco se identificaron las acciones, por lo que debieron haberse diferenciado por lo menos las más importantes y elaborado indicadores para cada una. El resultado registró casi el doble de la meta planeada; es posible que se debiera a un incremento presupuestal en el periodo. Era necesario definir bien la unidad de medida, porque se trataba de un porcentaje.

Porcentaje de acciones que, derivado del apoyo del PAIMEF, generaron procesos de cooperación interinstitucional respecto de la detección, prevención y atención de la violencia contra las mujeres, con relación al total de acciones apoyadas por el PAIMEF. El indicador era importante, ya que permitía medir las sinergias institucionales. Sin embargo, la definición no era clara, pues no se precisó el tipo de acciones, por lo que era necesario identificarlas para su mejor medición. El resultado superó con mucho la meta esperada; sin embargo, la información disponible no permite explicarlo. Era necesario revisar la unidad de medida ya que es un porcentaje.

76

Porcentaje de acciones que alcanzaron sus objetivos en por lo menos un 85%, dirigidas a la creación o fortalecimiento de refugios y unidades de atención y protección a las víctimas de violencia. La definición no era clara pues no establecía el tipo de acciones, se requería identificar y diferenciar por lo menos las acciones más importantes, y elaborar indicadores para cada una. El resultado superó la meta planeada en casi un 30%, lo cual podía atribuirse a que tanto el presupuesto como las aportaciones promedio tuvieron un incremento presupuestal autorizado en el periodo. Era necesario revisar la unidad de medida ya que es un indicador.

Porcentaje de acciones que alcanzaron sus objetivos en por lo menos un 85%, dirigidas al fortalecimiento y profesionalización institucional. La definición no especificaba el tipo de acciones de fortalecimiento y profesionalización, por lo que era necesario identificar y diferenciar las acciones más importantes para una mejor medición. En cuanto a la unidad de medida era necesario definirla bien, ya que se trata de un porcentaje.

Principales comentarios MIR 2009 – Propósito Resumen narrativo:

Era necesario identificar la población objetivo y el impacto que el programa tendrá sobre ésta.

Indicadores:

Porcentaje de servidores públicos, de los tres órdenes de gobierno, que adquieren conocimientos para prevenir, detectar y atender la violencia de género. Se recomendó que el nombre fuera explícito respecto de lo que se estaba midiendo. En este nivel de la MIR, se deben medir resultados del programa. Era necesario establecer metas que permitieran dar cuenta del avance en el alcance de los objetivos. También se señalo que era uno de los indicadores más relevantes de la MIR 2009. Podría ser pertinente (mide el fortalecimiento institucional).

Porcentaje de IMEF con Modelos de Atención a la Violencia de Género sistematizados. Se recomendó que el nombre fuera explícito respecto de lo que se estaba midiendo; en este nivel de la MIR se deben medir resultados del programa. Era necesario establecer metas que permitieran dar cuenta del avance en el alcance de los objetivos. Se señaló la importancia de relaborar la unidad de medida y la frecuencia de medición del indicador, a fin de hacerlo no sólo pertinente y confiable, sino además útil al programa.

Porcentaje de IMEF con Bancos Estatales de Información que aportan datos en tiempo y forma. Se recomendó que el nombre fuera explícito respecto de lo que se estaba midiendo. En este nivel de la MIR se deben medir resultados del programa. Era necesario establecer metas que permitieran dar cuenta del avance en el alcance de los objetivos.

Porcentaje de personas pertenecientes a la población en general que adquieren conocimientos en materia de prevención, detección y difusión de la violencia contra

77

las mujeres. Se recomendó que el nombre fuera explícito respecto de lo que se estaba midiendo; en este nivel de la MIR se deben medir resultados del programa; era necesario establecer metas que permitieran dar cuenta del avance en el alcance de los objetivos.

Porcentaje de estudios e investigaciones orientados a la creación o mejoramiento de políticas públicas en materia de violencia contra las mujeres. Se recomendó que el nombre fuera explícito respecto de lo que se está midiendo. En este nivel de la MIR se deben medir resultados del programa. Era necesario establecer metas que permitieran dar cuenta del avance en el alcance de los objetivos.

Porcentaje de refugios para las mujeres en situación de violencia que cuentan con un modelo de atención sistematizado. Se recomendó que el nombre fuera explícito respecto de lo que se está midiendo. En este nivel de la MIR se deben medir resultados del programa. Era necesario establecer metas que permitieran dar cuenta del avance en el alcance de los objetivos.

Principales comentarios MIR 2010 – Propósito Resumen narrativo

No se cuenta con comentarios. Indicadores:

Índice global de fortalecimiento institucional de las IMEF para prevenir, detectar y atender la violencia contra las mujeres. Se señaló que la metodología para la Medición del indicador de Propósito (Índice Global de Fortalecimiento Institucional de las IMEF) fue desarrollada en 2010, por lo que su primera aplicación sería tomada como la línea base para la definición de metas institucionales en el futuro inmediato y para la revisión de los Componentes y la ponderación, que conforman el índice. El indicador de Propósito que corresponde al Índice Global de Fortalecimiento Institucional de las IMEF quedó 30% por debajo de su meta, por lo que se sugirió revalorar la meta para el año siguiente.

Principales comentarios MIR 2011 – Propósito Resumen narrativo:

Se recomendó precisar mejor el término “fortalecidas” del resumen narrativo, acotándolo a las acciones que el Programa implementa sobre las instancias. Lo anterior para precisar mejor los indicadores asociados al nivel de Propósito. Como adecuación al resumen narrativo se sugirió que contenga los siguientes elementos: “Las Instancias de las Mujeres en las Entidades Federativas…”, “…cuentan con recursos humanos capacitados…”, “información confiable para la toma de decisiones”, “…aplican modelos de atención sistemáticos…”, y “…para la prevención y la atención de la violencia contra las mujeres”.

El Propósito era preciso y estaba claramente redactado. Indicadores:

Índice global de fortalecimiento institucional de las IMEF para prevenir y atender la violencia contra las mujeres. Se señalo que dependiendo de su composición y fórmula

78

de cálculo, un índice de fortalecimiento institucional podría ser un indicador pertinente para medir el desempeño del programa a nivel de Propósito, pero que el índice utilizado por el PAIMEF tiene al menos tres posibilidades de mejora.

1. Era una medida útil para diagnóstico y benchmarking de las IMEF, pero no era satisfactoria para la medición del desempeño del programa. Muchas de las variables incluidas en el índice no tienen que ver con las vertientes de acciones apoyadas por el programa. Algunos ejemplos de variables relevantes para el diagnóstico y benchmarking de las IMEF, pero no necesariamente para medir el desempeño del programa, son la publicación del reglamento de la Ley General de Acceso de las mujeres a una vida libre de Violencia, la rotación de personal o la continuidad de los programas ante cambios de titular o de sexenio.

2. El índice, al ser una medida global, no permitía medir el desempeño específico en las áreas de interés especificadas en el Propósito, esto es, en las “capacidades técnicas, humanas e institucionales”.

3. Las variables incluidas en el índice estaban más enfocadas a medir insumos, actividades y procesos, en lugar de resultados. Por ejemplo, en vez de medir el promedio de horas de capacitación del personal, es preferible medir el porcentaje de personal certificado en la atención de víctimas de violencia.

El indicador no se consideró relevante, debido a que contemplaba demasiados aspectos que no se consideraban en el objetivo, por lo cual no era fácil determinar el cumplimento del objetivo establecido. Sin embargo, se podría fortalecer la relevancia de la medición del Propósito por medio de indicadores individuales que midan específicamente el avance en el desarrollo de capacidades técnicas, humanas e institucionales.

El indicador no era claro dado que las fórmulas no son claras —sobre todo cuando se utilizan máximos y mínimos—, y los ponderadores pueden considerarse arbitrarios. Además, en la descripción de la variable CONVI dice ser una variable dicotómica cuando en realidad puede tener cuatro valores: 1, 2, 3 y 4. Es necesario que el programa empate la información del documento metodológico con el método del cálculo del indicador.

El indicador no era monitoreable, dado que los medios de verificación del índice en la ficha técnica podían ser mejor definidos, ya que se especificaban como registros de la dependencia, cuando en realidad se trataba de una encuesta. Además, el cuestionario propuesto para medir las variables que se utilizan en el cálculo del índice podría mejorar en objetividad. Era necesario definir los criterios mínimos para considerar una variable con respuesta afirmativa, por ejemplo qué requisitos mínimos de servicios y de calidad se tienen que cumplir para considerar “que la atención se brinda ininterrumpidamente durante el ejercicio fiscal”. La carencia de estos criterios mínimos permite la subjetividad en la medición de las variables que componen el índice, y por lo tanto, del índice mismo.

El indicador se consideró económico, dado el contexto general del programa. La mejor manera de conseguir la información es mediante una encuesta a las instancias,

79

ya que es necesario contar con su información. Por lo anterior, y debido a que se trataba de un indicador de resultados, se consideró que el costo de construir el indicador es razonable.

Dadas las observaciones anteriores, se sugirió complementar (o incluso sustituir) el índice de fortalecimiento institucional con al menos tres indicadores adicionales enfocados a medir las capacidades técnicas, humanas e institucionales para prevenir y atender la violencia contra las mujeres. Idealmente, si se modifica el resumen narrativo, para hacerlo más específico se puede identificar mejor los indicadores de las capacidades técnicas, humanas e institucionales que se busca fortalecer.

Entre los indicadores del Componente, se encontraba el de Personas pertenecientes a la población en general, beneficiadas con acciones de prevención de la violencia contra las mujeres, por medio de los recursos del PAIMEF. Es fundamental reconocer que no es un indicador de Componente, sino uno que se deriva del cumplimiento del Propósito.

En el método de cálculo del indicador del Propósito era posible anotar la fórmula, aunque se refiera a un documento adicional para explicar el procedimiento que debe seguir. Asimismo, era importante considerar una revisión de los diferentes elementos que lo conforman, ya que algunos de los considerados hasta el momento no son resultado de la intervención del PAIMEF.

Principales comentarios MIR 2012 – Propósito Resumen narrativo:

No se cuenta con comentarios. Indicadores:

No se cuenta con comentarios.

4.3.3 Componentes A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel Componentes de la MIR de 2007 a 2012. Principales comentarios MIR 2007 – Componentes

Resumen narrativo:

Era necesario y suficiente para el logro del Propósito.

Se sugirió redactar como "Proyectos del IMEF por criterio apoyados por el PAIMEF".

Se propuso integrar los Supuestos: "Las IMEF cuentan con un área administrativa eficiente" y "Cumplimiento de contratos por parte de terceros relacionados con las acciones apoyadas".

Principales comentarios MIR 2008 – Componentes Resumen narrativo

No se cuenta con comentarios.

80

Principales comentarios MIR 2009 – Componentes Resumen narrativo:

Se sugirió analizar si el único Componente es necesario y suficiente para el alcance del objetivo.

Principales comentarios MIR 2010 – Componentes

Resumen narrativo:

No se cuenta con comentarios. Principales comentarios MIR 2011 – Componentes

Resumen narrativo:

Los Componentes debían estar desglosados.

La fórmula del indicador de Propósito menciona un Componente más para fortalecer la capacidad institucional de las IMEF, lo que no se veía reflejado en la MIR ya que sólo incluía un Componente general con diversos indicadores que representan en su mayor parte los productos y servicios que llevan a cabo las IMEF para lograr su Propósito. Los tres Componentes del Propósito que correspondían al PAIMEF son 1) gestión de proyectos, 2) presupuesto otorgado, y 3) acciones de fomento estratégico y desarrollo organizacional de las IMEF. Con ellos se pretende alcanzar tal objetivo y desarrollar las actividades que lleva a cabo el personal del PAIMEF.

La MIR 2011 no expresaba el Componente “Acciones de fomento estratégico y desarrollo organizacional de las IMEF” de manera integral, ya que faltaría mencionar la obtención de competencias a través de la capacitación por seminarios, talleres o cursos.

Principales comentarios MIR 2012 – Componentes Resumen narrativo:

No se cuenta con comentarios. 4.3.4 Comentarios generales En esta sección se hace un recuento de los comentarios generales en el resumen narrativo e indicadores que han hecho a la MIR de 2007 a 2012 del PAIMEF, para ello se identifican los comentarios de las diversas evaluaciones para cada periodo. Principales comentarios MIR 2007

Resumen narrativo:

La lógica vertical no se validó, debido a que se consideró que las actividades no eran suficientes para producir el Componente.

En la lógica horizontal de la Matriz de indicadores, no se observó la consistencia de los supuestos. Si bien cumplieron con el criterio de ser externos al programa y, en algunos casos, representaron un riesgo; no en todos los casos era clara su relevancia

81

ni su probabilidad de ocurrencia. Algunos de ellos se referían a acontecimientos, condiciones y decisiones, y todos estaban planteados en positivo, pero no todos eran suficientemente precisos. No era válida en su totalidad por la falta de consistencia de los supuestos.

En virtud de que los objetivos de las ROP son muy amplios, no tenían articulación entre sí, y no coincidían con el Fin ni con el Propósito de la MIR, era necesario replantearlos en las ROP.

Indicadores:

Los indicadores eran claros, precisos e inequívocos, y relevantes a cada nivel de objetivos.

Eran económicos con apego a la definición, toda vez que la información se obtenía de la documentación que el PAIMEF solicita a las IMEF.

Eran adecuados, ya que aportaban una base suficiente para evaluar el desempeño.

Eran monitoreables, pues podían sujetarse a una comprobación independiente.

Tienen identificada su línea de base y temporalidad de la medición para los indicadores considerados en el MIR.

El Informe final de las IMEF constituía la fuente de verificación de la mayoría de los indicadores. Los otros medios eran ficha de recepción de proyectos, carta de validación, convenio, ficha de depósito, Informe parcial, acta de terminación y oficios.

Principales comentarios MIR 2008 Resumen narrativo:

Se identificó que en el Mecanismo 2008 de los Aspectos Susceptibles de Mejora (ASM), el programa no cuenta con un diagnóstico actualizado y adecuado y carece de una conceptualización de la problemática de la violencia. El programa se comprometió a realizar una MIR para definir la estructura y el diseño del programa. La matriz se alinearía con las ROP 2009.

Indicadores:

Algunos indicadores presentaban dificultades de definición.

Algunas de las metas no se cumplieron debido a traslapes entre vertientes del programa, y duplicidad con programas de INMUJERES.

Los indicadores estratégicos estaban orientados a cumplir como medidas de eficacia. Sin embargo, los referidos a acciones tenían dificultades en su definición, ya que no se especificaba el tipo de las acciones. Los que contemplan a la población requerían especificar los grupos que atienden.

Era recomendable contar también con indicadores de eficiencia y calidad. Por ejemplo, se podría medir la relación entre las acciones de prevención y los recursos invertidos para llevarlas a cabo. En términos de calidad, se podría medir qué tan satisfechos están los profesionales con la capacitación recibida, o qué tan satisfechas están las mujeres con las acciones de prevención, detección y atención de la violencia que han recibido. Por otro lado era necesario que definan bien las unidades de medida de algunos indicadores.

82

Principales comentarios MIR 2009 Resumen narrativo:

Se recomendaron ajustes a nivel de Fin y Propósito, de manera que exista una vinculación entre ellos, y se sugirió analizar si un sólo Componente era suficiente y necesario para alcanzar el Propósito.

Se recomendó precisar los Medios de Verificación del Indicador para diversos indicadores. Es decir, si la información se encuentra en informes internos, se debía indicar de qué documento o base de datos se trata y, en su caso, dónde podía consultarse en forma directa e independiente.

Hay Supuestos que parecían internos al programa o que no representan un factor de riesgo relevante para éste.

Se recomendó incorporar las situaciones de riesgo ajenas al programa a los Supuestos.

Indicadores:

Los Indicadores, en sus distintos niveles, no tenían metas anuales, ni sexenales y en varios casos debía revisarse su dimensión de desempeño.

Se sugirió analizar la cantidad de indicadores contenidos en la Matriz.

Si la información de los medios de verificación se encontraba en informes internos se debía indicar de qué documento o base de datos se trata y, en su caso, dónde puede consultarse en forma directa e independiente.

Los indicadores de la MIR 2009 fueron relaborados en su mayoría con respecto a 2008. Dichos cambios presentaron una clara mejoría: corrección de imprecisiones en la unidad de medida, de frecuencia de medición y de errores en el método de cálculo.

Era recomendable seguir trabajando en la relaboración de los indicadores en estrecha relación con una definición rigurosa de cuál es el problema que el programa busca resolver. La medición de la institucionalización de las IMEF es un buen paso para crear mejores indicadores.

Principales comentarios MIR 2010 Resumen narrativo:

No se cuenta con comentarios. Indicadores:

Se identificó que, en el Mecanismo 2010 de los ASM, el programa se comprometió a resolver el problema de las capacidades institucionales de las IMEF y a resolver el problema de la violencia contra las mujeres, para lo cual se adecuarían los indicadores de Fin y de Propósito para diferenciar y medir sus objetivos. De acuerdo con el programa para el 31/12/2010, los indicadores de Fin y de Propósito fueron modificados en 2011 y 2012 para atender la recomendación de la Evaluación de Procesos. También se señaló que se había realizado la medición del Índice de Fortalecimiento Institucional en ambos ejercicios fiscales.

De los siete indicadores seleccionados, cinco rebasaron sus metas: el de Fin, dos de Componentes y dos de Actividades. El indicador de Propósito (Índice global de fortalecimiento institucional) y otro de Componentes (proyectos de las IMEF

83

apoyados) no alcanzaron sus metas, éste último presentó un avance de 96%. Cabe mencionar que el Programa ha realizado ajustes en sus indicadores, por lo que se sugiere darles continuidad.

El indicador prioritario del PAIMEF era el número de proyectos apoyados en el período establecido. Sin embargo, al ser las IMEF la población objetivo del programa, el cumplimiento de las metas anuales (32 proyectos apoyados) se encuentra supeditado a las gestiones que, en el marco de las Reglas de Operación, realicen las IMEF para la obtención de los recursos. Las cuestiones que definen el apoyo de los proyectos eran el cierre y comprobación en tiempo y forma de los recursos del ejercicio fiscal anterior, así como la presentación del proyecto del año en curso en los términos correspondientes.

Principales comentarios MIR 2011 Resumen narrativo:

El resumen narrativo de la MIR 2011 se observó en las ROP 2011. El Fin se identifica como objetivo general y el Propósito como el específico. El Componente era el punto 3.5.1 Apoyo a proyectos de las IMEF, y el punto 3.5.2 Fomento Estratégico de las IMEF. Las actividades eran mencionadas como los recursos otorgados a manera de subsidios (presupuesto otorgado) y como el punto 3.6.1 Derechos de las IMEF (gestión de proyectos).

En las fichas técnicas de la MIR del PAIMEF 2011 se encontraban claramente establecidas las metas a alcanzar en el año. El problema que presenta es que, como la estructura de la MIR 2011, los Componentes no estaban claramente definidos.

Indicadores: Propuestas de indicadores derivado de las Mesas técnicas de CONEVAL 2011

OPCIÓN (Para servicios de atención) a) Nombre del indicador propuesto Porcentaje de mujeres víctimas de violencia [si se considera apropiado, especificar tipo y ámbito de la violencia] que reciben servicios de atención que incluyen al menos asesoría psicológica, legal y, en su caso, médica; de acuerdo con lo establecido en el modelo de atención del PAIMEF. b) Definición indicador propuesto Se refiere a la proporción de mujeres víctimas de violencia [si se considera apropiado, especificar tipo y ámbito de la violencia] que reciben servicios de atención conforme a los estándares de calidad establecidos con respecto al universo de mujeres víctimas de violencia [si se considera apropiado, especificar tipo y ámbito de la violencia] identificadas en la ENDIREH 2006 [o 2011, según se decía más apropiado]. c) Método de cálculo propuesto

Número de mujeres víctimas de violencia [si se considera apropiado, especificar tipo y ámbito de la violencia] que reciben atención [definir tipo de atención (psicológica, legal y médica)] en alguna de las instancias de mujeres en las entidades federativas conforme [definir cuál es el estándar de calidad esperado] al modelo de atención desarrollado por el PAIMEF en el año t / Número de mujeres víctimas de violencia [si

84

se considera apropiado, especificar tipo y ámbito de la violencia] contabilizadas por la ENDIREH 2006 (o 2011, según se decida más apropiado)]*100. d) Frecuencia de medición propuesta Anual. NOTA: Es necesario especificar el ámbito y tipo de violencia para definir mejor el denominador del indicador, así como para establecer los servicios que deben recibir y los estándares de calidad que se deben cumplir para mejorar la claridad de medición del numerador. Dada la variedad de servicios de atención es necesario especificar qué servicios se esperan en qué situaciones para que haya una adecuada concordancia entre el numerador y denominador.

OPCIÓN (Para servicios de prevención) a) Nombre del indicador propuesto Porcentaje de mujeres mayores de 15 años que respondieron afirmativamente todos los reactivos sobre igualdad de derechos entre hombres y mujeres y ejercicio de los derechos de las mujeres (pregunta 4 del módulo para mujeres solteras, pregunta 11.2 para mujeres casadas o unidas, y pregunta 9.2 del módulo para mujeres divorciadas, separadas y viudas). b) Definición indicador propuesto La efectividad de las acciones de prevención se puede medir a través del nivel de sensibilización de las mujeres sobre sus derechos y la igualdad de derechos de hombres y mujeres. Una alternativa para ello es utilizar el porcentaje de mujeres mayores de 15 años que respondieron afirmativamente todas las preguntas sobre igualdad de derechos entre hombres y mujeres y ejercicio de los derechos de las mujeres (pregunta 4 del módulo para mujeres solteras, pregunta 11.2 para mujeres casadas o unidas, y pregunta 9.2 del módulo para mujeres divorciadas, separadas y viudas de la ENDIREH) con respecto del total de mujeres mayores de 15 años encuestadas. c) Método de cálculo propuesto [Número de mujeres mayores de 15 años que respondieron afirmativamente todos los reactivos contenidos en la pregunta 4 del módulo para mujeres solteras, en la pregunta 11.2 para mujeres casadas o unidas, y en la pregunta 9.2 del módulo para mujeres divorciadas, separadas y viudas de la ENDIREH en el año t/ Número de mujeres mayores de 15 años en la muestra en el año t]*100. d) Frecuencia de medición propuesta Al menos trianual pero depende de la disponibilidad de la ENDIREH. NOTA: Se puede ajustar la definición del indicador utilizando un número menor de respuestas afirmativas en los reactivos. También se puede calcular un indicador similar utilizando la pregunta 3 del módulo para mujeres solteras, la 11.1 para mujeres casadas o unidas; y la 9.1 del módulo para mujeres divorciadas, separadas y viudas de la ENDIREH.

Principales comentarios MIR 2012 Resumen narrativo:

85

No se cuenta con comentarios. Indicadores:

No se cuenta con comentarios. 4.4 Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012

En esta sección el Metaevaluador hace un análisis de la MIR 2012 y de su correspondencia con las ROP de ese año para los niveles de Fin, Propósito y Componentes. También, se presentan las propuestas de mejora para la MIR 2013 del resumen narrativo y de los indicadores de Fin y de Propósito. 4.4.1 Análisis de la MIR y vínculo con las ROP Fin El Fin tiene un objetivo único, disminuir la violencia contra las mujeres, lo cual se considera pertinente debido a que cumple con la sintaxis establecida por la MML. No obstante, no se identifica un concepto en la MIR de “violencia”, de modo que es necesario recurrir a las ROP del programa para identificar a qué violencia se refiere, por lo tanto, el objetivo al cual contribuye el programa sigue siendo ambiguo en la MIR del programa. La actual redacción del objetivo general y del resumen narrativo a nivel de Fin, si bien son consistentes entre sí, no permiten identificar claramente la forma con la que se pretende solucionar la problemática que dio origen al programa. Es decir, el “para” establecido en el Propósito (prevenir, detectar y atender la violencia contra las mujeres), no corresponde con el Fin de “contribuir a disminuir la violencia contra las mujeres”. Si bien se plantean "acciones" que prevengan y atiendan la violencia contra las mujeres, es lógico asociar la capacidad institucional de las IMEF para lograr el Fin planteado por el programa en las ROP. En este sentido, se recomienda modificar tanto el objetivo general como el resumen narrativo, de tal modo que se asocie el fortalecimiento institucional de las IMEF.

Propósito Se considera que el Propósito es pertinente para el programa, debido a que identifica claramente a la población objetivo y se representa como un objetivo único y por tanto cumple con la sintaxis de la MML. En el glosario de las ROP de 2012 se define el “fortalecimiento institucional de las IMEF” como el proceso por el cual éstas adquieren la capacidad de ejercer sus responsabilidades definidas en el marco legal, de fijarse objetivos y de poner en práctica los medios para alcanzarlos de manera directa o a través de la construcción de alianzas interinstitucionales para prevenir y

86

atender la violencia contra las mujeres. Sin embargo, no es posible identificar si esta definición corresponde al Propósito del programa debido a que éste se establece como “Fortalecer las Instancias de las Mujeres en las Entidades Federativas en sus 1) capacidades técnicas, 2) humanas e 3) institucionales”, es decir, se establecen tres tipos de fortalecimiento y la definición de las ROP al mencionar sólo aspectos operativos y por su nombre (incluye la palabra institucional), podría pensarse que sólo se refiere al último. Si como en MIR anteriores se hubiera redactado el Propósito como “IMEF fortalecidas” sería necesario contar una definición de “fortalecidas”, que se refiera a las características que tienen las IMEF una vez que pasaron por el proceso de fortalecimiento técnico, humano e institucional, por ejemplo, “una IMEF se encuentra fortalecida cuando su personal cuenta con formación académica y experiencia en el tratamiento de la violencia contra las mujeres, se plantea objetivos de resultados y opera de acuerdo con lo que establece la normativa”. De acuerdo con el análisis anterior, no es posible determinar si el Propósito contribuye al logro del Fin. Metodológicamente la parte de "para" en la redacción del Propósito, debe referirse al Fin del programa. En la MIR 2012 se establece “para prevenir y atender la violencia contra las mujeres”, y debiera ser “para disminuir la violencia contra las mujeres". Este mismo comentario se aplica para el Objetivo Específico establecido en las ROP. Componentes La manera como está planteado el Componente no parece ser suficiente para el logro del Propósito (asumiendo el concepto de “fortalecer” establecido en las ROP) debido a que no es claro, por una parte, pareciera que se trata de dos bienes y servicios distintos, 1) apoyo a proyectos y 2) fomento estratégico, y por la otra, en ninguno de los dos casos es posible identificar a qué bienes o servicios se refiere, por ejemplo, si se trata de un apoyo económico o en especie, o si el fomento se refiere a cursos de capacitación. Asimismo, en las ROP se identificó que el programa da un apoyo transversal para el “Fortalecimiento institucional de las IMEF” que no se encuentra especificado en la MIR. Por tanto, se sugiere separar en dos Componentes; uno relacionado con los apoyos entregados para la ejecución de los proyectos y otro de las acciones de fortalecimiento estratégico realizadas. Con respecto a este último, se recomienda integrar una definición de "fortalecimiento estratégico", de manera que sea claro cuál es la diferencia entre éste y el fortalecimiento del que se habla en el Propósito. 4.4.2 Propuesta de mejoras para MIR 2013

87

Con base en el análisis de los resúmenes narrativos de la MIR 2012, a continuación se emiten algunas propuestas de mejora a nivel Fin y Propósito para la MIR 2013. Fin Contribuir a la disminución de la violencia contra las mujeres, mediante el fortalecimiento de las capacidades de las Instancias de Mujeres en las Entidades Federativas. Propósito Las Instancias de Mujeres en las Entidades Federativas fortalecen sus capacidades institucionales para prevenir y atender la violencia contra las mujeres. 4.5 Análisis de los indicadores de Fin y de Propósito

4.5.1 Indicadores de la MIR 2012 Fin Los cambios en los indicadores a nivel de Fin que se han hecho de 2007 a 2012 no responden a los comentarios más importantes realizados por las diversas instancias, y especialmente a los de CONEVAL, en el sentido de la falta de pertinencia y relevancia del indicador actual. La relación entre el resumen narrativo y el indicador no es clara. Al respecto, la relación entre el indicador y el resumen narrativo no está establecida claramente; de hecho está planteado como un indicador de cobertura, que no refleja el cumplimiento del factor relevante del Fin, es decir, la disminución de la violencia contra las mujeres, por lo que debe eliminarse. Finalmente, en la medida que el indicador actual no contempla ningún grupo o variable de control, tampoco permite medir el impacto atribuible al programa en la variable de interés, sino que implícitamente se atribuye al programa todo el impacto o variación en las condiciones de vida de los beneficiarios, lo cual resulta claramente inadecuado. Propósito Para poder determinar si el indicador mide un aspecto relevante del Propósito es necesario especificar a qué se refieren los subíndices considerados (Subíndices Capacidades Básicas + Corresponsabilidad + Eficiencia Operativa + Eficacia de Resultados) de manera que sea posible verificar si éstos permiten medir las capacidades técnicas, humanas e institucionales de las IMEF.

4.5.2 Propuesta de mejoras para indicadores MIR 2013 A continuación se emiten algunas propuestas de mejora a los indicadores de nivel Fin y Propósito para la MIR 2013.

88

Fin Para medir adecuadamente el impacto del programa a nivel de Fin, y hacerlo consistente con el resumen narrativo, se sugiere remplazar el indicador actual por otro que refleje el Objetivo Central del Programa. El indicador se propone con base en la diferencia en el valor observable de una variable directamente asociada a la violencia ejercida contra las mujeres, relacionando los recursos destinados para el fortalecimiento de las IMEF en los estados entre los beneficiarios y los no beneficiarios comparables. Esto puede hacerse mediante el levantamiento de una encuesta con preguntas adecuadamente diseñadas. La metodología de construcción de este indicador debería ser lo más consistente posible con la que utiliza la Encuesta Nacional sobre la Dinámica de las Relaciones en los Hogares 2006 del INEGI, o bien, la Encuesta Nacional sobre Violencia contra las Mujeres que levantó el INSP en 2003. Así, la propuesta de mejora para el indicador de Fin es doble:

Variación promedio en la tasa de prevalencia de violencia contra las mujeres por entidad federativa, ajustada por los recursos per cápita que las IMEF asignan a la prevención y atención de la violencia y la proporción de éstos que representa el PAIMEF; o

o Fórmula

Donde: VTPMPC: Variación promedio de la tasa de prevalencia contra las mujeres, ajustado en

términos per cápita NRV: Número de reportes de violencia contra mujeres RRV: Reducción en los reportes de violencia contra mujeres RPAIMEF: Recursos del PAIMEF NM: Número de mujeres t: Periodo t t-1: Periodo previo al periodo t i: Entidad federativa

89

El valor del RRV debe ser positivo para una reducción en la violencia. En caso contrario se estaría aumentando la violencia y los recursos de las IMEF no son suficientes para alcanzar una reducción en los reportes de violencia.

Variación de la probabilidad de que las mujeres sufran violencia de género. o Fórmula

Donde: VP: Variación promedio P(MGV): Probabilidad de que las mujeres sufran violencia de género t: Periodo t Propósito De acuerdo con la valoración, se sugiere que para medir adecuadamente el resultado del programa a nivel de Propósito y hacerlo consistente con el resumen narrativo, se mejore el indicador actual, de manera que refleje el fortalecimiento institucional respecto de las principales variables asociadas a las tareas de las IMEF. El indicador se propone con base en la diferencia en el valor del conjunto de las principales variables asociadas a las capacidades institucionales relacionadas con principales tareas de las IMEF. Lo anterior puede realizarse a partir de un índice ponderado de fortalecimiento institucional que presentan las IMEF, analizando la pertinencia de que el indicador mida a las IMEF que obtienen un valor en el índice mayor a cierta calificación. Por ejemplo, si la escala de valor del índice es de 0 a 10, puede considerarse que a partir del valor de 8, una IMEF está fortalecida. Dicho indicador puede obtenerse mediante el levantamiento de una encuesta con preguntas adecuadamente diseñadas. Así, la propuesta de mejora para el indicador de Propósito es:

Variación anual promedio en el Índice de fortalecimiento institucional para prevenir y atender la violencia contra las mujeres de las IMEF.

o Fórmula

Donde:

IFI: Variación promedio

t: Periodo t

90

5 Conclusiones generales Como se puede apreciar a lo largo del presente trabajo, en el periodo de 2007 a 2012 se realizaron un total de seis evaluaciones externas al programa, en las cuales se analizaron diversos aspectos específicos asociados a su diseño, operación y resultados. Los hallazgos de estas evaluaciones sirvieron para identificar un conjunto de fortalezas, oportunidades, debilidades y amenazas, así como para proponer recomendaciones; a su vez, estos elementos derivaron en aspectos susceptibles de mejora, a los cuales se le dio seguimiento a través de los mecanismos establecidos. La revisión permitió constatar que el programa implementó acciones que resolvieron algunos de los problemas identificados e implicaron diversas mejoras. Con todo, en opinión del equipo metaevaluador y a la fecha de realización de este ejercicio, subsisten diversas deficiencias y áreas de oportunidad identificadas en las evaluaciones anteriores que la Sedesol y los responsables del programa deben considerar y retomar, para mejorar su desempeño. Aquellas que se consideraron relevantes y vigentes aparecen en el análisis FODA global, que incluye también las recomendaciones de los evaluadores originales y, en algunos casos, notas y recomendaciones propias del equipo metaevaluador cuando se consideró pertinente hacerlo. Asimismo, en el desarrollo del ejercicio se analizaron documentos relacionados con los objetivos o las estrategias que utiliza el PAIMEF para brindar apoyos. Asimismo, se revisaron artículos de investigación y una guía para hacer evaluaciones de impacto promovida por la UNIFEM. El análisis derivó en diversos elementos relevantes, incluyendo la confirmación de que, con un diseño y condiciones adecuadas, programas como el PAIMEF pueden efectivamente lograr resultados en cuanto a fortalecer las instancias estatales encargadas de implementar y ejecutar programas para prevenir y erradicar la violencia contra las mujeres. Estas evaluaciones sirvieron también para identificar indicadores, metodologías y fuentes de información que pueden ser útiles para evaluar el desempeño del programa. En cuanto a la agenda de evaluación 2013-2018, se propuso una secuencia lógica y ordenada de las evaluaciones a realizar al programa, considerando una justificación técnica y empírica sobre la importancia que cada ejercicio podría tener. Se propuso primero elaborar un estudio de Diagnóstico y propuestas de atención, luego una Evaluación de diseño, posteriormente una Evaluación de impacto, después una Evaluación de procesos, y finalmente una Evaluación de consistencia y resultados. Esta secuencia buscó brindar una base sólida de datos, análisis y estrategia para anclar el diseño, la operación y los resultados del programa durante la siguiente administración federal, de forma tal que cada año se puedan informar los cambios y refinamientos en diversos aspectos relevantes13.

13

Ver cita 7.

91

Dada la importancia de corroborar en los hechos los cambios que el PAIMEF puede generar para revertir el problema que le dio origen, la metaevaluación incorporó una propuesta más detallada para una evaluación de impacto. En ella, se describieron la metodología y las fuentes de información necesarias para llevar a cabo la evaluación, conforme a los estándares y mejores prácticas en la materia, a la naturaleza de las variables específicas a medir así como a las características específicas del programa. La propuesta se acompañó de un análisis de pertinencia y de viabilidad técnica y financiera, que justifica la necesidad de realizar este tipo evaluación al programa. Como un elemento de valor agregado que complementa los análisis previos, se desarrollaron una serie de reflexiones y recomendaciones sobre la situación actual del PAIMEF, que si bien construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegaron a conclusiones distintas al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas reflexiones y recomendaciones son responsabilidad exclusiva del metaevaluador, y se enfocaron principalmente en aspectos asociados al diseño del programa. Por su importancia, se enfatizó y se elaboró ampliamente sobre la identificación y especificación del problema focal así como sobre la definición de las poblaciones potencial y objetivo. Las reflexiones y recomendaciones de esta sección respetaron los elementos básicos del diseño y la lógica interna actuales del programa; por lo tanto, sólo se propuso mejorar la consistencia de dichos elementos básicos del programa, a efecto de mejorar su desempeño. Un análisis más amplio de la adecuación del diseño, operación y resultados del programa queda fuera del alcance de esta metaevaluación, y sería en su caso objeto de otro estudio. Finalmente, también a lo largo de estos años distintas instancias normativas, fiscalizadoras y evaluadoras hicieron una serie de observaciones y recomendaciones para mejorar las matrices de indicadores de resultados del PAIMEF, tanto en sus resúmenes narrativos como en los indicadores para monitoreo. Cabe señalar que, en opinión del equipo metaevaluador, algunas de estas observaciones y recomendaciones no necesariamente fueron adecuadas ni eran consistentes entre sí; por otro lado, a pesar de los cambios que sí se implementaron, en algunos casos subsisten deficiencias y áreas de oportunidad. Por ello, y considerando la historia de los cambios en la MIR y lo que falta por hacer, el equipo metaevaluador recomendó algunas mejoras y refinamientos en los resúmenes narrativos y los indicadores del programa en los niveles de Fin y Propósito, respetando el diseño básico actual y los resultados que se esperan del mismo.

92

6 Bibliografía 6.1 Documentos sobre el programa Banegas, Israel. (2010). Evaluación Específica de Desempeño del Programa de Apoyo a las

Instancias de la Mujer en las Entidades Federativas 2009-2010. El Colegio Mexiquense. (EED09/10-Banegas)

Fernández R., Florinda (2007). Evaluación de Diseño del Programa de Apoyo a las Instancias

de la Mujer en las Entidades Federativas (ED07-Fernández) León M., Ana M. (2011). Evaluación Específica de Desempeño del Programa de Apoyo a las

Instancias de la Mujer en las Entidades Federativas 2010-2011. Instituto Nacional de Desarrollo Social. (EED10/11-Leon)

PAIMEF (2008-2012). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa

de Apoyo a las Instancias de la Mujer en las Entidades Federativas Rivera R., Leonor (2009). Evaluación de Procesos del Programa de Apoyo a las Instancias de

Mujeres en las Entidades Federativas para Implementar y Ejecutar Programas de Prevención de la Violencia contra las Mujeres. Instituto Nacional de Salud Pública.

Secretaría de Desarrollo Social (2007-2012). Reglas de Operación del Programa de Apoyo a

las Instancias de Mujeres en las Entidades Federativas. ---------- (2008-2012). Matriz de Indicadores de Resultados del Programa de Apoyo a las

Instancias de Mujeres en las Entidades Federativas. --------- (2011). Nota sobre Población Potencial y Población Objetivo del Programa de Apoyo a

las Instancias de Mujeres en las Entidades Federativas. ---------- (2010). Evaluación Específica de Desempeño del Programa de Apoyo a las Instancias

de la Mujer en las Entidades Federativas. Posición Institucional. --------- (2009). Evaluación Específica de Desempeño del Programa de Apoyo a las Instancias

de la Mujer en las Entidades Federativas. Posición Institucional. --------- (2009). Diagnóstico de la capacidad institucional frente al problema de la violencia

contra las mujeres. ---------- (2008). Evaluación Específica de Desempeño del Programa de Apoyo a las Instancias

de la Mujer en las Entidades Federativas. Posición Institucional.

93

Zenteno Q., Rene M. (2008). Evaluación Específica de Desempeño del Programa de Apoyo a las Instancias de la Mujer en las Entidades Federativas 2007-2008. El Colegio de la Frontera Norte A. C. (EED07/08-Zenteno)

6.2 Documentos de otros programas similares Arias, Ileana, et. al. (2002). “Violence against women: the state of batterer prevention

programs”. Journal of Law, Medicine & Ethics. Austin, J. (1999) “The impact of a batterers’ program on battered woman”, Violence against

woman 5(1) pp. 25-42. Ferris, C. “The effects of partner contacts by batterer intervention programs” Unpublished

manuscript. Linde, Rachel (2006) “Guidelines for impact or outcome evaluation: for projects funded by

the UNIFEM Trust Fund to eliminate violence against women”. Gender and Development Group. The World Bank

Popescu, Marciana, et al. (2010) “Can Government Funding Stengthen the Third Sector? The

Impact of Capacity Building Program on Faith-Based and Community-Based Organizations”. Revista de Asistenta Sociala.

6.3 Documentos normativos y programáticos Consejo Nacional de Evaluación de la Política de Desarrollo Social (2010). Diagnóstico de

Matrices de Indicadores para Resultados 2010. Principales Hallazgos. --------- (2008). Informe de Evaluación de la Política de Desarrollo Social en México. --------- (2007). Modelo de TDR de la Evaluación de Consistencia y Resultados 2007, Anexo 02,

Nota Técnica con los Principales Conceptos de la Matriz de Indicadores. Secretaría de Hacienda y Crédito Público (2008). Oficio Circular 307-a.-1593, Lineamientos

Generales para el Proceso de Programación y Presupuestación para el Ejercicio Fiscal 2008, Anexo Dos: Metodología para la Elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la APF. Unidad de Política y Control Presupuestario.

Secretaría de Hacienda y Crédito Público (2007). Circular 307-A-0221. Lineamientos para la

Actualización de la Matriz de Indicadores de los Programas Presupuestarios y la Elaboración de los Calendarios de Metas de los Indicadores del Presupuesto de

94

Egresos de la Federación para el Ejercicio Fiscal 2008. Unidad de Política y Control Presupuestario.

Secretaría de Hacienda y Crédito Público y Consejo Nacional de Evaluación de la Política de

Desarrollo Social (2010) Guía para la Construcción de la Matriz de Indicadores para Resultados.

---------- (2010). Guía para el Diseño de Indicadores Estratégicos. Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública y Consejo Nacional

de Evaluación de la Política de Desarrollo Social (2007). Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal.

6.4 Documentos teóricos y metodológicos Aldunate, Eduardo. (2004). “Metodología del Marco Lógico”. Boletín del Instituto, 15,

Latinoamericano y del Caribe de Planificación Económica y Social (ILPES). Santiago de Chile.

Aldunate, Eduardo y Julio Córdoba. (2011). “Formulación de programas con la metodología

de marco lógico”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile. Baker, Judy (2000) Evaluación del impacto de los proyectos de desarrollo en la pobreza.

Manual para profesionales. Banco Mundial. Bonnefoy, Juan Cristóbal y Marianela Armijo. (2005). “Indicadores de desempeño en el sector

público”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile. Camacho Hugo, et. al. (2001). El enfoque del Marco Lógico: 10 casos prácticos. Cuaderno para

la identificación y diseño de proyectos de desarrollo. Madrid, Fundación Cideal. Cohen Ernesto y Franco Rolando (2006) Evaluación de proyectos sociales, México ,Siglo XXI Comisión Económica para América Latina. (2001). El uso de los indicadores socioeconómicos

en la formulación y evaluación de proyectos sociales: aplicación metodológica. Serie Manuales, 15, ILPES-CEPAL, Santiago de Chile.

Comisión Económica para América Latina (2004). Uso de los indicadores socioeconómicos en

la evaluación de impacto de proyectos y programas de lucha contra la pobreza. Serie Manuales, ILPES-CEPAL, La Paz, Bolivia.

95

Cortés, Fernando. (2002) “Algunos aspectos de la controversia entre la investigación cualitativa e investigación cuantitativa”. El Colegio de México, Mimeo

Díaz, Luis Fernando. (2001). “La metaevaluación y su método”, Revista de Ciencias Sociales,

Vol. II-III, Número 92-93, pp. 171-192, Universidad de Costa Rica. Frechtling Joy y Sharp Laure (1997): User Friendly Handbook for Mixed Method Evaluations,

National Science Foundation, RED 94-52965, Division of Research, Evaluation and Communication, 131 pp.

Glass, G.V., McGraw, B., & Smith, M. L., (1981). Meta-analysis in social research. Beverly Hills:

Sage Publications. King, G. et. al., (1994). Designing Social Inquiry: Scientific Inference in Qualitative Research.

Princeton Univesity Press’s Notable Centenary Titles. Martin, Paula H. (1982). Meta-Analysis, Meta-Evaluation and Secondary Analysis.

Washington, DC: ERIC Clearinghouse. Morra Linda y Friedlander Amy C. (2001) Evaluaciones mediante Estudios de Caso,

Departamento de Evaluación de Operaciones del Banco Mundial, Washington, 25 pp. Ravallion, Martin (2001) The Mystery of the Vanishing Benefits: An Introduction to Impact

Evaluation; The World Bank Economic Review, Vol. 15, No. 1, 115-140. Scriven, Michael. (1991). Evaluation Thesaurus. Newbury Park: SAGE Publications. Sherman Lawrence, Strang Heather, et.al. (2004) Victim Evaluations of Face-to Face

Restorative Justice Conferences: A Quasi Experimental Analysis, Journal of Social Issues, Vol.62, No. 2, pp. 281-306

96

7 Anexos 7.1. Anexo 1: Síntesis de Evaluaciones 2007-2012. 7.2. Anexo 2: Síntesis de Evaluaciones de programas similares internacionales. 7.3. Anexo 3: Agenda de evaluación. 7.4. Anexo 4: FODA 7.5. Anexo 5. Análisis histórico y propuestas de mejora de la MIR.