Construyendo capacidad para evaluar impacto de manera rigurosa en Organizaciones de la …³n... ·...

Construyendo capacidad

para evaluar impacto de manera rigurosa

en Organizaciones de la Sociedad Civil

Seminario Internacional CLEAR, Septiembre 2012

Nuestra experiencia

Lecciones clave para construir capacidad en OSCs

1. Contrafactual válido (entender cuándo sí y cuándo no

hacer evaluación de impacto)

2. Teoría de cambio (saber qué hace la OSC y cómo lo

miden)

3. Experiencia de los investigadores (importancia de

vincularse con la academia y evaluadores expertos)

4. Catalizador – actor clave

Innovations for Poverty Action (IPA)

www.poverty-action.org

+300 de evaluaciones aleatorias +40 países

Oficinas en 14 (entre ellos México)

Niveles de evaluación

1 - Monitoreo y

Evaluación

2 - Evaluación de

programas

3 - Evaluación de

impacto

4 -

Evaluación

Experimental

Evaluación aleatoria de impacto

Impacto: diferencia entre un grupo que recibe el programa

y el mismo grupo si no hubiera recibido el programa

(contrafactual)

1. Lín

ea

de b

ase

2. DIVISION ALEATORIA

2. INTERVENCIÓN

4. M

ed

ición fin

al

Muestra de población objetivo

3. STATUS QUO

Espectro de evaluación en OSCs

M&E se usa para toma de

decisiones

tiempo

No M&E

Algunas actividades de M&E

Buen consumidor y

capacidad para ejecutar

M&E

Enfoque de trabajo

Cantidad vs calidad de indicadores

Demasiados datos (irrelevantes)

Datos insuficientes

Datos/información no conectada al proceso de decisión

“Eficiencia” administrativa no necesariamente es el mejor

escenario para una OSC

Evaluación como herramienta de aprendizaje para

mejorar procesos

Experiencia con donatarias de Kellogg

en México

(2011-2012)

Las piezas del rompecabezas

Construir

relaciones con las

organizaciones

Experiencia

de IPA Financiamiento

semilla. Persona

catalizadora

•Unión de empresarios

para la tecnología en la

educación (UNETE)

•Un Kilo de Ayuda (UKA)

•Programa Bécalos –

Fundación Televisa

•Instituto de

Investigaciones para el

Desarrollo de la

Educación – Universidad

Iberoamericana (INIDE)

•Innovación y Apoyo

Educativo, A.C. (INED)

Taller grupal

• Evaluación de programas e impacto

• Teoría de cambio e indicadores

Sesiones individuales de trabajo

• Revisar procesos de evaluación existentes

• Diseño de evaluación de impacto

Taller grupal

• Compartir experiencias y diseños de evaluación

Proceso / actividades

No tiene sentido pretender evaluar “impacto” sin un

contrafactual válido

Muchas organizaciones optan por evaluar “antes y

después” o por hacer comparaciones entre beneficiarios y

no beneficiarios que no son comparables… Desperdicio

de recursos

Validez del contrafactual

Mejor enfocar esfuerzos en mejorar capacidad de

responder preguntas clave para el programa

En general, ¡no hay claridad, ni consenso, ni

evidencia!

(organizaciones chicas, grandes, gubernamentales,

privadas…)

Teoría de cambio y consensos

A

intervención B

impacto

1) Enfoque en maestros

Teoría de cambio… ¿qué queremos

lograr al capacitar a maestros?

Oferta de

capacitación

Mejores

conocimientos y

metodologías

Participación en

capacitación

Mayor

confianza y

soltura en aula

2) Enfoque en alumnos

Oferta de

capacitación Mejor desempeño

en aula

Participación en

capacitación

Mejor

aprendizaje por

alumnos

¿Trabajamos en el mismo programa? ¿Lograremos el objetivo?

Conversaciones explícitas ayudan a detectar diferencias,

generar consensos y alinear esfuerzos… papel del moderador

No gran entusiasmo inicial, pero…

Literatura documenta gran dificultad de cambiar

comportamientos básicos (no fumar, lavarse las

manos…)

Muchas intervenciones (campañas) inciden sobre

conocimientos, no sobre comportamientos

Generamos interés en el director de UKA

¿No resolvimos el lavado de manos

hace siglos? Papel de investigadores

Hipótesis 1: proveer información a las familias

Teoría de cambio… ¿cómo cambiar

comportamientos de higiene?

Información

sobre higiene

Incidencia de

enfermedades

gastrointestinales

Comportamiento:

Lavado de manos Nutrición y

desarrollo Vincular lavado

con sentimientos,

emociones y

expectativas

Hipótesis 2: incidir sobre fundamentos emocionales del comportamiento

(asco, instinto materno, expectativas de progreso, estatus social,

opinión de autoridades…)

¡Crucial aporte de investigadores!

Nuestro diagnóstico: capacidad de evaluación en 3er sector

Muchas amasan información

Frecuente falta de claridad sobre qué hacemos y para qué

Débil vínculo entre investigación e implementadores

Oportunidades/limitaciones:

necesidad vs demanda

Fondeo para evaluación y profesionalización

Patronatos y donantes esperan resultados rápidos y positivos

Conclusiones