Embed Size (px)
Citation preview
Uso estratégico de la información y la Uso estratégico de la información y la evidencia para una incidencia efectivaevidencia para una incidencia efectiva
Octubre 8, 2009Octubre 8, 2009
Objetivos de la sesión
Fortalecer las capacidades de las OSCs para mejorar la eficacia de sus actividades de incidencia en políticas públicas, o bien, sus programas de atención a beneficiarios, a través de:
1.Identificar nuevas fuentes de información y evidencia sobre la calidad y desempeño de políticas públicas
2.Desarrollar habilidades básicas para aprovechar la evidencia derivada de las evaluaciones a programas públicos, utilizando instrumentos desarrollados por GESOC.
¿Qué nos dice esta gráfica?
Fuente: Presupuesto de egresos 2008 y 2009, PPEF 2010 (SHCP)
¿Y esta otra qué nos dice?
Fuente: Estimaciones del CONEVAL con base en la ENIGH de 1992 a 2008
Las gráficas nos dicen que…
•El presupuesto de los programas de subsidio federales aumenta anualmente.•Aunque la cobertura de servicios básicos y la esperanza de vida han aumentado, la pobreza también ha aumentado.
De 2006 a 2008 pasó de 42.6% a 47.4%•Además, entre 2008 y 2010, debido al contexto económico nacional se dispone de menores recursos para administrarlos, aunque representan casi el 13% del gasto programable federal.
La eficacia de las políticas públicas
La eficacia de las políticas y programas públicos no sólo depende de los presupuestos,
sino también de:
•La calidad de su diseño•Su adecuada implementación (desempeño)•Su adecuada evaluación
OSCs e incidencia en las políticas públicas
• Hasta ahora, las OSCs hemos centrado nuestra atención en los insumos necesarios para implementar las políticas (presupuesto), pero no tanto en sus resultados (calidad, desempeño, eficacia, eficiencia)
• En parte, esto se debe a que el gobierno produce información y evidencia confiable sobre presupuestos y, hasta hace poco, no lo hacía sobre la calidad y desempeño de sus políticas
¡¡¡¡¡¡ PERO YA LO HACE !!!!!!
Fuentes de información disponibles para incidir
• Presupuesto• Diario Oficial de la Federación• Planes• Programas• Reglas de Operación• Auditorías• Evaluaciones• Reportes elaborados para el Congreso
Por ley, todas deben
ser públicas.
La Política de Evaluación del Desempeño del Gobierno Federal (PED)
• En 2007, como parte de la reforma fiscal, el gobierno federal tomó la decisión de adoptar una forma de presupuestar según resultados.• Esto implica generar evidencia sistemática y confiable sobre la calidad, desempeño e impacto de sus programas sociales para mejorar la calidad del gasto público.• Está a cargo de la SHCP, CONEVAL y la SFP.•Entre esta evidencia, están las evaluaciones externas que marca el Programa Anual de Evaluación de cada año.
Se han realizado 514 evaluaciones (2007-2009)Tipo de Evaluación
Número de Evaluaciones Programadas por Año2007 2008 2009
Consistencia y Resultados Consistencia y Resultados 104Diseño 13 34 22
Indicadores Procesos 5Específica
Obra Pública 5Calidad en los servicios 1 2Percepción de los Beneficiarios 1Específica de Desempeño 133 131Inclusión de perspectiva de género 17 19Perspectiva de juventud y discapacidad 2Programas Desarrollo Forestal 1Fondos del Ramo 23 2
Impacto 2 6 4Estratégica
Política de Nutrición y Abasto 1Política de Desarrollo Rural 1Política de MicrocréditoFondos de Aportaciones del Ramo 33 1Inclusión de perspectiva de género en 4 sectores 1 1Programa PROCAMPO 4Complementarias 1
TOTAL DE EVALUACIONES 126 192 196
Las OSCs y las evaluaciones
• ¿Son confiables? GESOC ya realizó un análisis de su confiabilidad y encontró que sí lo son (http://www.gesoc.org.mx/monitoreo.html)
• Son evidencia clave para la incidencia de las OSCs, los medios de comunicación y legisladores.
• GESOC se dio a la tarea de agregarlas, sistematizarlas y generar instrumentos que faciliten su comprensión, utilización e impacto público
¿Porqué es conveniente utilizar la evidencia derivada de las evaluaciones?• Es razonablemente confiable.• Está disponible públicamente.• No implica costos considerables a las OSCs .• Facilita la identificación de causas de los problemas de
calidad, desempeño, etc. de las políticas.• Son causas y problemas que el propio gobierno
reconoce que tienen sus propias políticas (no es un invento de las ONGs).
• Permite identificar posibles agendas comunes con los propios funcionarios.
EL ICADI y el INDEP
• GESOC presentó en marzo el Índice de Calidad de Diseño de los Programas Sociales del Gobierno Federal (ICADI) con base en las 104 evaluaciones de consistencia y resultados (http://www.gesoc.org.mx/icadi)
• Presentó el 28 de octubre el Índice de Desempeño de los Programas Sociales del Gobierno Federal (INDEP) con base en las 129 evaluaciones específicas de desempeño (http://www.gesoc.org.mx/indep)
Programas de subsidio - ejemplos
Programa Presupuesto Aprobado 2009 PPEF 2010 ∆%
SEDESOL_Programa de Empleo Temporal (PET) 343,040,000 2,930,035,860 754.14%
DICONSA_Programa de Apoyo Alimentario 1,818,410,000 6,652,413,833 265.84%
SEDESOL_Programa de Desarrollo Humano Oportunidades 46,340,900,000 67,086,647,157 44.77%
SS_Financiamiento equitativo de la atención médica. Seguro Popular 41,368,161,540 52,378,927,045 26.62%
SEDESOL_Programa de guarderías y estancias infantiles para apoyar a madres trabajadoras 2,522,000,000 2,767,374,365 9.73%
SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas rurales 13,176,270,000 13,205,270,037 0.22%
INDESOL_Programa de Coinversión Social 353,100,000 353,103,171 0.00%
SEDESOL_Programa Hábitat 2,745,720,000 2,745,716,858 0.00%
SAGARPA_PROCAMPO 16,803,100,000 16,150,000,000 -3.89%
SAGARPA_Alianza para el Campo 13,310,900,000 7,500,000,001 -43.66%
¿Qué es el ICADI?
• El ICADI mide la calidad de diseño de los programas públicos: su potencial de desempeño a partir de la coherencia interna y organizacional sugerida por su diseño.
• Se basa en los resultados de las evaluaciones de consistencia y resultados (2007-2008) que se realizaron a todos los programas sujetos a reglas de operación y otros de subsidio.
• Permite comparar de manera ágil y sencilla la calidad del diseño de 104 programas públicos.
• El ICADI busca constituirse como una herramienta de difusión de los resultados de las evaluaciones accesible y útil tanto para tomadores de decisiones como para la ciudadanía en general.
¿Qué es y cómo se construyó el ICADI?
• El ICADI ubica la calidad de diseño de cada programa en una escala general de cero a 10.
• Para su construcción, los resultados de las evaluaciones fueron codificados y agregados en tres Subíndices: – Diseño y Alineación Estratégica, agrupa la información relacionada con la
definición de objetivos, metas y alcances estratégicos del programa federal evaluado.
– Operación, integra la información relacionada con las previsiones institucionales y organizacionales que permitirían una correcta operación de los programas por parte de las dependencias ejecutoras.
– Orientación a Resultados y a la Ciudadanía, agrupa lo referente a las previsiones de los programas para medir resultados e impactos, así como la percepción y opinión de la población objetivo
.
¿Qué es y cómo se construyó el ICADI?
• Para ubicar con mayor claridad la situación de cada programa se propuso un sistema de semáforos para cada subíndice que integra el ICADI.
Valoración Rango / Color
Destacado De 10 a 8Suficiente De 7.9 a 6Rezagado Inferior a 6
Resultados generales del ICADI
• Existe una baja calidad en el diseño de los programas públicos, 4 de cada 10 programas obtuvieron una calificación reprobatoria.
• En promedio, los 104 programas apenas alcanzan una calificación mínima aceptable en términos de calidad de diseño (promedio de 6.3 en escala de 0 a 10).
6.3
0
10
Índice de Calidad y Diseño (ICADI)
(calificación promedio ponderado)
N=104
Resultados por subíndice
• De los tres subíndices analizados en los programas, el más débil fue Orientación a Resultados y a la Ciudadanía (4.9) y el más alto Operación (7.1)
• Esto significa que los esfuerzos se orienten al cumplimiento de la normatividad y de los procedimientos más que a los resultados y a la satisfacción ciudadana
6.67.1
4.9
37 32 11 0
10
Diseño y alineación estratégica
Operación Orientación a resultados y a la
ciudadanía
ICADI - Por subíndicesde la ECR
(calificación promedio simple)
*
* Número de reactivos por categoríaN=104
ICADI - Ejemplos
Ranking Nombre del Programa ICADI DyAe Op. OaRyC
26 SEDESOL_Programa de Desarrollo Humano Oportunidades
8.0
37 DICONSA_Programa de Apoyo Alimentario 7.4
45 ASERCA_Programa de Apoyos Directos al Campo 6.9
65 INDESOL_Programa de Coinversión Social 6.0
68 SS_Programa Salud para Todos: Seguro Popular de Salud
5.8
78 SEMARNAT_Programa de Empleo Temporal 4.7
82 SAGARPA_ Alianza para el Campo 4.4
85 SEDESOL_Programa de Atención a los Adultos Mayores 4.0
86 SEDESOL_Programa Hábitat 4.0
92 SEDESOL_ Programa de Guarderías y Estancias Infantiles para Apoyar a Madres Trabajadoras
3.2 NA NA
¿Qué es y cómo se construyó el INDEP?• El INDEP ubica la capacidad que mostró cada programa para entregar resultados de
valor para los ciudadanos (desempeño) durante 2008, en una escala de cero a 100. • Está construido a partir de dos componentes básicos:
1. Componente de avance en los indicadores reportados (CAI)2. Componente de fortaleza del sistema de indicadores (CFI)
Evaluación Específica de Desempeño
El sustento conceptual del INDEP• El INDEP parte del análisis de los avances reportados en las EEDs a la luz del
modelo simplificado de desempeño de GESOC:
Organización
Insumos Procesos Resultados Impactos
Eficacia
Eficiencia
Valor por Dinero
Economía
Productos
Objetivo
Semáforos del INDEP
Semáforo Rojo Amarillo Verde
Avance reportado Se informa el porcentaje de avance promedio por programa (sin
ponderación).
Semáforo de selección
adecuada de metas
Más de 2 indicadores con porcentaje de
avance mayor a 125%.
1 ó 2 indicadores con porcentaje de avance
mayor a 125%.
Ningún indicador con porcentaje de avance
mayor a 125%.
Semáforo de fortaleza de indicadores
Concentración clara de indicadores en algún
tipo
Distribución relativamente
homogénea, con concentración baja en
algún tipo de indicador.
Distribución homogénea de
indicadores por tipo
Semáforo de información de
indicadores
Menos de 60% de indicadores con
información
De 60 % a 79% de indicadores con
información
Más de 80 % de indicadores con
información
Programa con calificación de 100 en el INDEP
Un programa que bajo la medición del INDEP cuenta con una calificación de 100 debería:
– Definir metas retadoras pero alcanzables.– Cumplir 100% de las metas establecidas.– Utilizar indicadores que reflejen sus seis dimensiones de
desempeño: insumo, actividad, producto, resultado, impacto y eficiencia (costo/beneficio).
– Reportar información en todos sus indicadores.
Resultados generales del INDEP
• Existe un bajo desempeño de los programas sociales, casi 5 de cada 10 programas obtuvieron una calificación reprobatoria.
• En promedio, los 129 programas obtienen una calificación reprobatoria (promedio de 56.34 en escala de 0 a 100).
INDEP - Ejemplos
Rank Programa INDEP Avance report. S. Targ S. Ind S Inf
18 DICONSA_Programa de Apoyo Alimentario 76.99 89.33%
31 SEDESOL_Programa de guarderías y estancias infantiles para apoyar a madres trabajadoras 68.40 113.44%
35 SEDESOL_Programa de Empleo Temporal (PET) 67.98 99.17%
46 SEDESOL_Programa de Desarrollo Humano Oportunidades 64.00 105.86%
47 INDESOL_Programa de Coinversión Social 63.86 103.33%
74 SAGARPA_PROCAMPO 55.46 106.92%
78 SS_Financiamiento equitativo de la atención médica. Seguro Popular 53.53 85.50%
98 SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas rurales 46.59 150.08%
109 SAGARPA_Alianza para el Campo 39.37 114.26%
110 SEDESOL_Programa Hábitat 38.75 123.75%
ICADI / INDEP
• 82 programas (entre ellos los ejemplos) cuentan con ECR y EED y, por lo tanto, tienen ICADI e INDEP.
• En términos presupuestales estos programas representan:
2008 aprob. (mdp)
2009 aprob. (mdp)
Proy. 2010 (mdp)
PRESUPUESTO PROGRAMAS PRESUPUESTARIOS FEDERALES (PPPF)
$1,347,606.90 $1,857,398.80 $1,908,351.50
TOTAL PRESUPUESTO PROGRAMAS CON ICADI/IDEP $163,706.13 $204,516.95 $227,172.53
PROPORCION DEL PPPF PRESUPUESTO PROGRAMAS CON ICADI/IDEP
12.15% 11.01% 11.90%
EJERCICIO: POLÍTICAS DE COMBATE A LA POBREZA
Ejercicio: Políticas de combate a la pobreza
Programa ObjetivoSEDESOL_Programa de Desarrollo Humano Oportunidades
Contribuir a la ruptura del ciclo intergeneracional de pobreza extrema de la población beneficiaria, favoreciendo el desarrollo de sus capacidades básicas en educación, salud y nutrición.
SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más
Contribuir a mejorar las condiciones de vida de los adultos mayores de 70 años y más aumentando su posibilidad de tener una alimentación adecuada, acceso a servicios básico y mayor integración social.
SEDESOL_Programa Hábitat Contribuir de manera integral a la superación de la pobreza urbana.SEDESOL_Programa 3 x 1 para Migrantes
Mejorar la calidad de vida de la población en condiciones de pobreza, marginación o rezago social que habita en localidades con alta migración, con la participación de la diáspora mexicana.
SEDESOL_Programa de Empleo Temporal (PET)
Contribuir a disminuir la vulnerabilidad de hombres y mujeres de 16 años o más en zonas de atención prioritaria, mediante la entrega de un apoyo temporal en su ingreso.
DICONSA_Programa de Apoyo Alimentario
Contribuir al desarrollo de las capacidades nutricias de la población que habita en localidades rurales.
Objetivos (Fin) de seis programas emblemáticos de combate a la pobreza
Ejercicio: políticas de combate a la pobreza
Programa 2007 2008 2009 PPEF 2010DICONSA_Programa de Apoyo Alimentario
350 336 1818.41 6652.41
SEDESOL_Programa de Empleo Temporal
319.48 331.06 343.04 2930.04
SEDESOL_Programa 3 x 1 para Migrantes
220 503.47 562.38 562.37
SEDESOL_Programa Hábitat 2190.4 1886.06 2745.72 2745.72SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas rurales
0 9916.44 13176.27 13205.27
SEDESOL_Programa de Desarrollo Humano Oportunidades
34788.9 37211.1 46340.9 67086.65
Presupuestos aprobados de los programas mencionados (millones de pesos)
Ejercicio: Políticas de combate a la pobrezaEvolución presupuestal de los programas mencionados
0
10000
20000
30000
40000
50000
60000
70000
2007 2008 2009 PPEF 2010
Millo
nes d
e pe
sos
DICONSA_Programa de Apoyo Alimentario
SEDESOL_Programa de Empleo Temporal
SEDESOL_Programa 3 x 1 para Migrantes
SEDESOL_Programa Hábitat
SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas rurales
SEDESOL_Programa de Desarrollo Humano Oportunidades
Ejercicio: Políticas de combate a la pobrezaICADI de los programas de combate a la pobreza con mayor
presupuesto en el PPEF 2010
3.6 4.0 4.04.7
7.48.0
6.3
5.3
0
2
4
6
8
10
SEDESOL_Programa 3 x 1 para Migrantes
SEDESOL_Programa Hábitat
SEDESOL_Programa de Atención a los
Adultos Mayores de 70 años y más en
zonas rurales
SEDESOL_Programa de Empleo Temporal
(PET)
DICONSA_Programa de Apoyo
Alimentario
SEDESOL_Programa de Desarrollo
Humano Oportunidades
ICADI Promedio General Promedio Programas Seleccionados
Ejercicio: Políticas de combate a la pobreza
Programa ICADI DyAE Op. OaRyCSEDESOL_Programa de Desarrollo Humano Oportunidades
8
DICONSA_Programa de Apoyo Alimentario 7.4 SEDESOL_Programa de Empleo Temporal (PET)
4.7
SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas
4
SEDESOL_Programa Hábitat 4 SEDESOL_Programa 3 x 1 para Migrantes 3.6
Calidad de diseño de los programas de combate a la pobreza emblemáticos
Ejercicio: Políticas de combate a la pobrezaINDEP de los programas de combate a la pobreza emblemáticos
26.19
38.7546.59
64.00 67.9876.99
56.34
53.42
0.00
10.00
20.00
30.00
40.00
50.00
60.00
70.00
80.00
SEDESOL_Programa 3 x 1 para Migrantes
SEDESOL_Programa Hábitat
SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas rurales
SEDESOL_Programa de Desarrollo Humano
Oportunidades
SEDESOL_Programa de Empleo Temporal
(PET)
DICONSA_Programa de Apoyo Alimentario
INDEP Promedio General Promedio Programas Seleccionados
Ejercicio: Políticas de combate a la pobreza
INDEP de los programas de combate a la pobreza emblemáticos
Programa INDEP S. ade S. Ind. S. Inf.DICONSA_Programa de Apoyo Alimentario 76.99 SEDESOL_Programa de Empleo Temporal (PET) 67.98 SEDESOL_Programa de Desarrollo Humano Oportunidades
64
SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas
46.59
SEDESOL_Programa Hábitat 38.75 SEDESOL_Programa 3 x 1 para Migrantes 26.19
Ejercicio: Políticas de combate a la pobreza
• Desarrollo Humano Oportunidades y Apoyo Alimentario tienen diseño y desempeño satisfactorios. Ambos están por encima del promedio de calificaciones del ICADI y el INDEP. Además, están cerca de alcanzar la población que desean atender. Su principal falla parece estar en el diseño y la alineación estratégica.
• El Programa de Empleo Temporal es un caso especial, pues a pesar de presentar resultados satisfactorios en su operación, los Semáforos de Diseño y Alineación Estratégica y Orientación a Resultados y a la Ciudadanía advierten sobre graves insuficiencias en su diseño.
• Los programas de Atención a Adultos Mayores, Hábitat y 3x1 para Migrantes tienen ICADI e INDEP inferiores al promedio general. Los semáforos del ICADI demuestran serias deficiencias en todo el diseño de estos programas. Los Semáforos del INDEP revelan que los avances reportados por los programas no cubre satisfactoriamente las metas de desempeño esperadas, no cuentan con indicadores de desempeño útiles para medir sus resultados e impactos, además de que faltan datos para algunos de ellos.
