Christian Borja Vega Banco Mundial

4 de Abril de 2017Guatemala

TALLER DE EVALUACIÓN DE IMPACTO

El Marco de Resultados:Las sutiles diferencias entre las actividades, los

productos, y los resultados e impactos de un

programa

ANTES DE COMENZAR…CURIOSIDADES SOBRE GUATEMALA

• GUATEMALA ES EL PAÍS EXPORTADOR #1 DEL MUNDO DE ARVEJA

CHINA A ESTADOS UNIDOS.

• GUATEMALA HA SIDO SELECCIONADA POR LA BRITISH

BROADCASTING CORPORATION (BBC) COMO DE LOS MEJORES

DESTINOS VACACIONALES DEL MUNDO EN EL SEGMENTO CULTURAL.

• ES EL 2DO PAÍS MÁS EFICIENTE PARA PRODUCIR CAÑA DE AZÚCAR Y

EL 5TO EXPORTADOR MÁS GRANDE DEL MUNDO.

• GUATEMALA LA MAYOR VARIEDAD DE CONÍFERAS MADERABLES

NO PREGUNTAR SÓLO: “FUNCIONÓ EL PROGRAMA?” …SINO TAMBIÉN: “POR QUÉ FUNCIONÓ?”

HERRAMIENTAS CONCEPTUALES SIMILARES

CADENA DE RESULTADOS

Insumos Actividades Productos ResultadosInter-medios Resultados

Implementación (OFERTA) Resultados (DEMANDA + OFERTA)

PROGRAMARESULTADOS

INTERMEDIOSRESULTADOS

CADENA DE RESULTADOS SIMPLIFICADA

Teoría de Cambio

Las Evaluaciones de

Impacto identifican esta

relación

TEORÍA DE CAMBIO

Formula laspreguntascorrectas

• De qué se trata el programa?

• Qué impacto se esperalograr con el programa?

• Cómo se espera que el programa logre eseimpacto?

PREGUNTA 1: DE QUÉ SE TRATA EL PROGRAMA?

PROGRAMARESULTADOS INTERMEDIOS RESULTADOS

PROGRAMA

INSUMOSGente, dinero, provisiones

ACTIVIDADESConstrucción de instalaciones

RESULTADOSInstalaciones paralavarse las manos

PREGUNTA 2: QUÉ IMPACTO SE ESPERALOGRAR CON EL PROGRAMA?

PROGRAMA RESULTADOS INTERMEDIOS RESULTADOS

RESULTADOS

MENOS DIARREA

MENOS ANEMIA

MENOS MORTALIDAD INFANTIL

MEJOR DESARROLLO INFANTIL

PREGUNTA 3: CÓMO SE ESPERA QUE EL PROGRAMA LOGRE ESE IMPACTO?

PROGRAMA RESULTADOS INTERMEDIOS RESULTADOS

RESULTADOS INTERMEDIOS

LA GENTE USA Y SE BENEFICIA CON EL PROGRAMA

SE LAVAN LAS MANOSMENOS

GERMENES EN LAS MANOS

CADENA COMPLETA DE RESULTADOS

PROGRAMA• Insumos: gente, dinero, provisiones

• Actividades: Construcción

• Producto: Instalaciones paralavarse las manos

RESULTADOS INTERM.

• La gente se lava las manos

• Menosgérmenes en lasmanos

RESULTADOS

• Menos diarrea y anemia

• Menosmortalidadinfantil

• Mejor desarrolloinfantil

SI MIDIÉRAMOS SÓLO LA MORTALIDAD INFANTILY NO HUBIERA CAMBIOS, QUÉ NOS DICE ESTO?

QUE EL PROGRAMA NO SE IMPLEMENTÓAPROPIADAMENTE?

QUE LA GENTE NO LO USÓAPROPIADAMENTE?

O QUE NO REDUJO LA DIARREA, LA ANEMIA, ETC.?

CONCLUSIONES

• PREGUNTARSE NO SÓLO QUÉ,

SINO CÓMO

• Y MEDIRLO!

OTROS EJEMPLOSMANUALES ESCOLARES

PROGRAMA? RESULTADOS INTERMEDIOS RESULTADOS

PROGRAMA RESULTADOS INTERMEDIOS RESULTADOS?

¿CUÁL DE LOS SIGUIENTES ES UN IMPACTO DEL PROGRAMA?

A. LOS ALUMNOS ESTÁN

HACIENDO SUS TAREAS.

B. LOS MANUALES ESTÁN

SIENDO ENTREGADOS A

LAS ESCUELAS.

C. LOS ALUMNOS TIENEN

MEJOR RENDIMIENTO

ESCOLAR.

D. LOS NIÑOS ASISTEN A LA

ESCUELA MÁS DÍAS EN EL

MES.

¿CUÁL DE LOS SIGUIENTES ES UN RESULTADO INTERMEDIO DEL PROGRAMA?

A. LOS MANUALES ESTÁN

SIENDO ORDENADOS A

LA EDITORIAL.

B. LOS MANUALES SE ESTÁN

ENTREGANDO A LAS

ESCUELAS.

C. LOS ALUMNOS ESTÁN

USANDO LOS MANUALES.

D. LOS ALUMNOS TIENEN

MEJOR RENDIMIENTO

ESCOLAR.

PROGRAMA• Actividades: Distribuir manuales

• Producto: Manualesdisponibles en la escuela

RESULTADO INTERMEDIO

Maestros y alumnosusan los manuales

RESULTADO

• Mejoraprendizaje

Tipo de Programa

Actividades ResultadosResultadosIntermedios

Resultados

Educacióno Capacitación de

los maestros

o Maestros capacitados en nuevos métodos

o Manualesentregados

o Nuevosmétodosusados en clase

o Mayor uso de los manuales

o Mayorespuntajes en los exámenes

Salud

o Nuevos médicoscontratados

o Asistentes departocapacitadas

o Nuevos doctoresejerciendo

o Asistentesaplicandonuevos métodos

o Mayor uso de clínicas de salud para dara luz

o Menormortalidadmaterna

ProtecciónSocial y Empleo

o Transf. monetcondic. (TMC) entregadas

o Sistema de selección

o Manejo de Sistemas de Información

o TMCs entregadas a los hogaresobjetivos de acuerdo con lascondiciones

o Mayor consumode alimentos

o Mayor visitade los niños a las clínicas

o Menos pobrezao Menos

mortalidadinfantil

OTROS EJEMPLOS

CADENA DE RESULTADOS

– LOS PROGRAMAS BUSCAN RESULTADOS ESPECÍFICOS EN TEMASCOMPLEJOS;

– ALGUNOS PROGRAMAS COMBINAN MÚLTIPLES INTERVENCIONES;

– LAS CADENAS DE RESULTADOS PUEDEN AYUDAR A INDENTIFICARCÓMO Y POR QUÉ LOS COMPONENTES DEL PROGRAMA PUEDEN

LLEVAR, CUANDO SE COMBINAN, A CIERTOS RESULTADOS;

– FACILITAN LA COMPRENSIÓN DE PROGRAMAS COMPLEJOS.

EJEMPLO: EL PELIGRO DE LA MATERIA FECAL

Faeces

Fluidos

Dedos

Moscas

Campos/Pisos

Saneamiento

Alimen-tos

Higiene

Abastecimientode agua

La contaminación fecal es la mayor fuente de infecciones diarreicas…

PROGRAMA? RESULTADOS INTERMEDIO

RESULTADO

Abastecimiento de agua +

Saneamiento + Higiene

PROGRAMA RESULTADO INTERMEDIO RESULTADO

¿Cuál es el impacto? ¿Qué se espera lograr con el

programa?

• ¿Mejoraría la salud si el programa sólo proveyera agua de calidad?

� Si no se produce cambio de comportamiento y la infraestructura de saneamiento es pobremente

provista, la gente puede todavía mostrar pobres resultados en salud

• ¿Mejoraría la salud si el programa sólo proveyera infraestructura de saneamiento?

� Si no se provee agua de calidad y no se produce un cambio de comportamiento, la gente puede

todavía mostrar pobres resultados en salud

• ¿Mejoraría la salud si el programa generara elementos que dispararan un cambio de

comportamiento?

� Si la calidad del agua y la infraestructura sanitaria son probremente provistas, la gente todavía puede

mostrar resultados pobres en salu

� La cadena de resultados puede ayudarnos a entender la contribución de cada

componente del programa a los resultados deseados

Insumos Productos Resultados Impacto

• Dinero• Personal• Tecnología

Ejemplo: Intervención combinada de educación, salud y agua potable

• Litros de agua potable purificada

• Cantidad de telas antimosquiteras para camas vendidas

• Número de estudiantes graduándose de la escuela

• Menor incidencia de diarrea

• Menos casos de malaria en la comunidad

• Mayor tasa de alfabetización

• Prueba de que los resultados no se hubieran logrado si no fuera por la intervención (“contrafactual’)

Las Evaluaciones de Impacto ayudan a entender

cómo y porqué los componentes (individual

y colectivamente) contribuyen a los impactos

deseados

EJEMPLOS CADENA DE RESULTADOS EN AYS

RESULTADOS FINALES

› Reducción en la mortandad y morbilidadde niños pequeños ( pordiarrhea, y otrasenfermedadesrespiratorias y gastrointestinales)

› Mejoras nutricionales enniños

› Ahorros por gastosmedicos no realizados

› Ahorros en tiempo de viajespara recolección de agua

PRODUCTOS YRESULTADOSINTERMEDIOS

› Aumenta el acceso a servicios de Agua y Saneamiento

› Mejora en la disponibilidad, cantidad y/o calidad de agua disponible

› Mejoras en los comportamientos de higiene(lavado de manos, reduccionde deposicion al aire libre, uso de agua hervida para consumo)

INSUMOS Y ACTIVIDADES

› Construcción o expansión de redes de acueducto

› Conexiones domiciliarias de agua

› Bombas de agua rurales

› Subsidios de conexiones

› Construcción o expansión de redes de alcantarillado

› Plantas de tratamiento de aguas residuales

› Construcción o subsidios de baños

¿POR QUÉ NOS SIRVE PARA ENTENDERCOMO OPERA EL PROGRAMA?

• Definir objetivos y metas

• Asigna indicadores a etapas clave

del programa

• Permite visualizar el concepto y el

diseño del programa

• Ayuda a definir responsabilidades

GRACIASCBORJAVEGA@WORLDBANK.ORG

¿PREGUNTAS?