GENERACIÓN DE EVIDENCIA PARA LA ACCIÓN SOCIAL: EL SISTEMA DE SEGUIMIENTO Y EVALUACIÓN DEL MIDIS
Aníbal Velásquez ValdiviaDirector General de Seguimiento y Evaluación
Lima, 14 de mayo de 2013
Objetivo• Analizar el contexto institucional en el opera el
MIDIS.• Comprender el marco conceptual que sustenta el
Sistema de Seguimiento y Evaluación.• Conocer los productos de la DGSYE y su uso en la
toma de decisiones de política• Reflexionar respecto de los determinantes para el
uso de la evidencia de las evaluaciones en la acción social
Agenda
• Contexto institucional• Marco conceptual del Sistema Nacional de
Seguimiento y Evaluación del MIDIS• La DGSYE del MIDIS• Reflexiones sobre determinantes para el uso
de la evidencia de las evaluaciones en la acción social
Contexto institucional
Creación del MIDIS
Por primera vez en el Perú se crea un Ministerio, con rectoría sobre la política social del Estado Peruano, con el mandato preciso diseñar y conducir las políticas y estrategias encaminadas a reducir la pobreza y la vulnerabilidad, orientando las acciones destinadas a reducir desigualdades y cerrar las brechas que no pueden ser cerradas por las políticas sectoriales.
Ámbito de acción de la política de desarrollo e inclusión social
Articulación de la política social
Intervención en tres horizontes temporales
Alivio temporal•Población en pobreza extrema (transferencias)•Condiciones básicas de vida (vivienda, abrigo, alimentación)•Tercera edad
Corto plazo
Mediano plazo
Desarrollo de capacidades•Desarrollo capacidades (trabajo, innovación, gestión y organización)•Acceso a servicios (infraestructura básica, inclusión financiera)
Largo plazo
Generación de oportunidades para la siguiente generación•Salud básica y nutrición•Educación básica
Seguimiento y Evaluación por Resultados
- Disminuir pobreza extrema
- Incrementar hogares con acceso servicios (electricidad, agua, desagüe y telefonía)- Ingreso autónomo
- Disminuir Desnutrición crónica menores de 5 (OMS) - Disminuir la inasistencia de niños de entre 3 y 5 años de edad a Educación Básica Regular
Ejes estratégicos según ciclo de vida
Incrementar el desarrollo físico,cognitivo, motor, emocional y social en la primera infancia
Eje 1: Nutrición Infantil.
Incrementar las competencias para el desarrollo personal,
educativo y ocupacional, de acuerdo a la edad
Incrementar el ingreso autónomo de los hogares
Incrementar el bienestar de los
adultos mayores
Eje 2: Desarrollo Infantil Temprano
Eje 3: Desarrollo Integral de la Niñez y la Adolescencia
Eje 4: Inclusión Económica
Eje 5: Protección del Adulto
Mayor
Reducir la prevalencia de la
Desnutrición Crónica Infantil
Eje
sR
esul
tad
os
Programas sociales del MIDIS
EE1: Nutrición Infantil
EE2: Desarrollo Infantil Temprano EE3: Desarrollo Niñez y Adolescencia
EE4: Inclusión Económica
EE5: Protección Tercera Edad
Pensión 65FONCODES Qali WarmaCuna Más
0-3 años 4-5 años 6-17 años 18-64 años 65+ años
Juntos
Pilares para cumplimiento de metas de la Estrategia Nacional Incluir para Crecer
SEGUIMIENTO Y EVALUACIÓN
Uso de mecanismos coordinados para medir el avance y los resultados de las intervenciones
ARTICULACIÓN
Empleo de instrumentos y espacios para la coordinación intersectorial e intergubernamental
FOCALIZACIÓN
Concordancia de criterios y mecanismos para la selección de ámbitos y población objetivo
Decisiones basadas en evidencia
La experiencia nacional e internacional muestra que las políticas y programas sociales diseñados en base a opiniones no probadas y/o inspiradas en ideologías, prejuicios o conjeturas son usualmente ineficaces para generar avances importantes en materia de desarrollo e inclusión social. Por tal motivo, no sorprende que a nivel mundial se esté institucionalizando una cultura de evaluación, orientada a la generación de evidencia rigurosa para la toma de decisiones en materia social.
No obstante, los sistemas de seguimiento y evaluación a nivel mundial han centrado su atención en la producción de evidencia de calidad, olvidando que el uso de la misma no es un evento automático y que la medida de éxito de dichos sistemas está definida por la medida en que la evidencia alimenta la toma de decisiones en materia social.
“La medida del éxito es la utilización”. Keith Mackay
Generación de evidencias
Gestión de evidencias
Toma de decisiones basada en evidencias
Por tal motivo, la DGSYE ha desarrollado un sistema de seguimiento y evaluación que, no sólo permite generar evidencia científica rigurosa en forma oportuna, sino que, procura además el uso de la misma en la toma de decisiones, incrementando así la eficiencia, eficacia y equidad de las políticas públicas en materia de desarrollo e inclusión social.
Intervenciones más eficientes
y efectivas
DGSYE: Usos de la evidencia en la acción socialPriorizar
resultados con base en
evidencias
Definir ámbitos geográficos de intervención
Identificar intervenciones
efectivas y costo-efectivas
Establecer criterios para las metas de
impacto y resultados
Desarrollar tableros de control del desempeño
Evaluar los diseño,
resultados y procesos
Generar recomendacio-
nes viables y planes de
mejora
Recomendacio-nes y mejoras
implemen-tadas
Gestión de la información
y la evidencia
Marco legal
SINADIS
Evidencia (Sistema de
Seguimiento y Evaluación)
Lineamientos de S,E & GE
• ROF de la DGSYE• Encargado de
implementar el sistema de S&E y gestión de la evidencia
Rector del S, E & GE de la política social nacional
Ley No. 29792 El MIDIS implementará…”un sistema de monitoreo, seguimiento y evaluación con el objeto de comprobar el cumplimiento de las políticas y normas nacionales en materia de desarrollo e inclusión social…”.
Aprendizaje continuo: Evidencia
EVIDENCIA
Programas sociales MIDIS
Programas sociales otros sectores (GN)
Programas sociales GGRR y
GGLL
Alcance
Usuarios de información
Implementación del Sistema de Seguimiento y Evaluación
Políticas y programas
sociales MIDIS
Sistemas de seguimiento, tableros de
control
Programas sociales
Otros sectores
GGRR y GGLL
Sistema de seguimiento y
evaluación “Evidencia”
DGSYE
Alta dirección MIDIS y otros
sectores
Autoridades GGRR y GGLL
Direcciones ejecutivas de
programas sociales
Usuarios de los programas
Público en general
Revisiones sistemáticas,
revisiones realistas
Fuentes primarias
(INEI) y evaluaciones
Rector
Fuentes de información
Gestor
Producción de evidencias y seguimiento del desempeño
Ubicar a la DGSYE en el ciclo del diseño e implementación de las políticas y programas que conduce el MIDIS.
Establecer el marco normativo e institucional con los roles, estándares y procedimientos para ejercer las funciones de la DGSYE.
Conformar un equipo técnico calificado y productivo con evaluación del desempeño por resultados.
Asignar personal de la DGSYE para apoyar a los programas.
Desarrollar las metodologías, herramientas y sistemas de información.
Gestión de la evidencia y las alertas sobre el desempeño
Desarrollo de estándares de calidad de las recomendaciones de las evaluaciones y formato de presentación.
Desarrollo de una metodología y procedimientos para hacer un análisis de viabilidad de las recomendaciones y elaboración de propuestas para la toma de decisiones.
Asistencia técnica y desarrollo de mecanismos institucionales y propuestas para implementar las recomendaciones de las evaluaciones y la información que proviene de los sistemas de seguimiento.
Medida de éxito: uso de la evidencia e información
Recomendaciones con base en las evaluaciones y evidencias implementadas.
Mejoras o ajustes realizados en los programas a partir de los reportes del sistema de seguimiento
Propuestas de política, programas, intervenciones, metodologías o instrumentos implementadas
• Tableros de Control• Listas de Chequeo• Auditorias de datos• Inspecciones de Campo
• Plataforma de Seguimiento
• INFOMIDIS• Tableros de Control
• Asistencia Técnica para formulación de programas presupuestales
• Seguimiento al gasto en los ejes de la Estrategia Crecer para Incluir
• Lineamientos para reducción de DCI
• Anuario estadísticos
Planeamiento Priorización presupuestal
GestiónRendición de cuentas
Usos de la información y productos de la Dirección de Seguimiento
• Evaluación de procesos• Informe de
recomendaciones• Compromisos de mejora
• Evaluación de impacto• Evaluación de resultados• Seguimiento a
compromisos de mejora
• Definición de metas• Evaluaciones de
impacto
• Evaluaciones de diseño• Revisiones sistemáticas• Lineamientos para
reducción de DCI• Asistencia técnica (ej.
Priorización FONCODES)
Planeamiento Priorización presupuestal
GestiónRendición de cuentas
Usos de la información y productos de la Dirección de Evaluación
Proceso de Desarrollo de la DGSYE - MIDIS
Institucionalización y Diseño Implementación y Aplicación
2012 2013
Normativos:
Oraanizacionales
Instrumentos
Sistemas de información
Plataforma de publicación
Publicaciones y reportes técnicos
Institucionalización de S,E y GE
Enfoque y métodos
AT y Generación de evidencias y recomendaciones para políticas y
programas
Plan de evaluaciones y normas técnicas
Evaluaciones e investigaciones
Reportes trim. de seguimiento
Tableros de control con metas y estándares, planes de mejora
programas y políticas
Policy brief y reportes de evidencias
Líneas de base de eval. de impacto
Sistema integrado de información con MINSA y MINEDU
Comisión QUIPU permanente y QUIPUS regionales
Portal web de seguimiento
http://www.midis.gob.pe/index.php/es/direc-general-de-seguimiento-y-evaluacion/direccion-de-seguimiento-de-politicas-sociales
Tablero de Control Nacional y Regional.
Seguimiento del gasto en DCI.
Seguimiento a los ODM.
Mapa distrital de áreas prioritarias para lucha contra la DCI.
Seguimiento a políticas
InfoMidis Tableros de control Fichas de
seguimiento Listas de chequeo
Seguimiento a programas sociales
Portal web de Evaluación http://
www.midis.gob.pe/index.php/es/direc-general-de-seguimiento-y-evaluacion/direccion-de-evaluacion-de-politicas-sociales
Fichas técnicas de las evaluaciones.
Términos de referencia
Notas metodológicas.
Informes finales.
Generación de la Evidencia
Policy briefs: Síntesis.
Informes Técnicos de Recomendaciones.
Compromisos de Mejora.
Documentos normativos.
Gestión de la Evidencia
Evaluaciones de impacto de todos los programas MIDIS.
22 evaluaciones en el 2013.
17 evaluaciones financiadas por el MIDIS y otras fuentes y 5 evaluaciones coordinadas por el MEF.
Ocho evaluaciones de impacto y 14 evaluaciones de desempeño (evaluaciones de procesos, diseño, resultados o específicas)
Unidad Orgánica, Órganos y Programas del MIDIS
Descripción de la evaluación
Evaluación de impacto del programa (fase diseño).
Evaluaciones de procesos y específicas del programa.
Cuna Más Evaluación del componente comunitario del servicio de Acompañamiento a Familias.
Evaluación específica de la disponibilidad de oferta de servicios de educación y salud en las zonas donde opera Juntos.
Evaluación específica del rol de las madres líderes en la realización de los procesos operativos.
Evaluación de procesos respecto de los mecanismos de convocatoria para los procesos de afiliación.
Evaluación específica de la capacidad del programa para verificar las corresponsabilidades.
Evaluación de impacto del programa (fase segunda medición)Evaluación de impacto del Piloto de los Esquemas Alternativos de Transferencia Monetaria (fase segunda medición)
Sistematización de experiencias (3): Piloto modalidades de medios de pago; Plataformas tecnológicas para la inclusión financiera y veeduría de la calidad de atención al usuario.
Evaluación del Piloto de mensajes nutricionales por celulares.
Evaluación del Piloto de metodologías de educación financiera
FONCODES- Juntos Evaluación de impacto del Piloto de Articulación Juntos - FONCODES
Fondo Nacional de Inclusión Económica en Zonas Rurales- FONIE (DGPE- MIDIS)
Evaluación de impacto del programa (fase diseño).
Actividades en materia de Inclusión Financiera (DGCPS- MIDIS)
Qali Warma
Pensión 65 Evaluación específica respecto del uso de la transferencia económica a los beneficiarios
Juntos
PAE 2013: Evaluaciones financiadas con recursos MIDIS y otras fuentes (17):
PAE 2013: Evaluaciones con recursos priorizados y coordinados por el MEF (5):
Unidad Orgánica, Órganos y Programas del MIDIS
Descripción de la evaluación
Evaluación de impacto del servicio de Acompañamiento a Familias (fase línea de base).
Evaluación de impacto de las reformas realizadas al Servicio de Cuidado Diurno (fase diseño).
FONCODES- Compras MYPerú Evaluación de resultados del programa Compras MYPerú.
Evaluación de impacto de P65 (fase línea de base).
Evaluaciones de Diseño y Ejecución de Intervenciones Públicas (EDEP)
Cuna Más
Pensión 65
Menor frecuencia
Mayor frecuencia
Funcionarios directamente involucrados
Centros de Investigacion
Unidades de Evaluacion
Patrocinadores
Decisores de politica
Reflexiones sobre el uso de la evidencia de las evaluaciones en la acción social
Fig. 1: Desbalance en el uso de la evidencia de las evaluaciones
¿Cómo lograr que las evaluaciones contribuyan al aprendizaje y rendición de cuentas?
¿Cuáles son los mecanismos institucionales más relevantes para ello?
¿Cómo logramos pasar de la evidencia científica a la acción social?
Determinantes del uso de la evidencia en la política social Factores facilitadores
La cultura de la evaluación existente en la organización La comunicación existente entre las unidades de evaluación y los gestores de
política. La importancia o prioridad de la política evaluada. Enfoque participativo de la evaluación. La pertinencia y oportunidad de la evaluación. La calidad y fiabilidad de los resultados así como la claridad, viabilidad y el sentido
práctico de las recomendaciones. La existencia de una demanda por evaluaciones. El contacto personal entre los investigadores y los políticos que promueva la
confianza en los resultados de la evaluación. Transparencia de los métodos a utilizar y los resultados obtenidos.
La inestabilidad política o la alta rotación del personal que formula políticas. La desconfianza mutua, incluida la ingenuidad política percibida de los investigadora
como la ingenuidad científica de los responsables políticos. Luchas por el poder y el presupuesto. La falta de voluntad política de la alta dirección para el uso de evidencia en la
formulación o mejora de las intervenciones. Insuficiente difusión de los resultados de las evaluaciones. Formulación de recomendaciones ambiguas y poco viables. Inexistencia de mecanismos y herramientas para el seguimiento de las
recomendaciones la evaluación. La ausencia de un sistema de incentivos para el uso de las recomendaciones que
premie la implementación de cambios y el aprendizaje y desincentive la cultura de mantener el statu quo.
Factores obstaculizadores
Recomendaciones que fomentan el uso de la evidencia de las evaluaciones
CRITERIO DEFINICIÓN
1. PERTINENCIA La oportunidad, adecuación y/o conveniencia de implementar la acción
2. COMPLEJIDAD La facilidad, dificultad y/o esfuerzo de implementar la acción
3. COSTO El presupuesto y los medios que demanda implementar la acción
4. PERSISTENCIA La duración o el periodo de tiempo que demanda implementar la acción
5. COMPATIBILIDAD CULTURAL
Los valores, percepciones y patrones culturales que apoyan o no la implementación del cambio o acción. La aceptación cultural
Procedimiento para el análisis de viabilidad de las recomendaciones
Elaboración de recomendaciones de la evaluación
• Equipo de evaluadores
• Estándares de calidad de las recomendaciones
• Sistematización de evaluaciones
• Revisiones sistemáticas
Análisis de viabilidad de recomendaciones
• Equipo de gestores y expertos en análisis político, técnico, económico y social
• Revisión de las recomendaciones con el programa evaluado y las autoridades institucionales
Recomendaciones viables y propuesta de mejora, cambio o creación
• Equipo de gestores
• Reporte técnico de la DGSYE con recomendaciones
• Seguimiento de las recomendaciones
Sistematización de evidencias del PIN
infantil
Análisis de viabilidad de las
recomendaciones de las
evaluaciones
Recomendación de la DGSYE con
base en evidenciasReporte técnico No. 6
Ejemplo: De la evidencia a la acciónEV
IDEN
CIAS 1) El Sub Programa PIN
Infantil del PRONAA no ha cumplido con sus objetivos, no ha llegado a la población que más necesita y no ha tenido impacto en la reducción de la DCI.2) El PRONAA mantiene problemas e irregularidades de gestión y organización.3) Existen intervenciones más efectivas para reducir DCI RE
COM
ENDA
CIÓ
N D
GSY
E La entrega de alimentos para niños menores de 3 años y gestantes no debería ser realizado por un programa de alimentos
PRO
PUES
TA 1) Mapa de inseguridad alimentaria2) Focalización3) El MINSA y el MIDIS desarrollan una propuesta en distritos priorizados y seleccionan las IE más efectivas con base en evidenciasFinanciamiento por prestación realizada a cargo del SIS, equipamiento y sistema de información
Gracias