Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
Construyendo capacidad
para evaluar impacto de manera rigurosa
en Organizaciones de la Sociedad Civil
Seminario Internacional CLEAR, Septiembre 2012
Nuestra experiencia
Lecciones clave para construir capacidad en OSCs
1. Contrafactual válido (entender cuándo sí y cuándo no
hacer evaluación de impacto)
2. Teoría de cambio (saber qué hace la OSC y cómo lo
miden)
3. Experiencia de los investigadores (importancia de
vincularse con la academia y evaluadores expertos)
4. Catalizador – actor clave
Innovations for Poverty Action (IPA)
www.poverty-action.org
+300 de evaluaciones aleatorias +40 países
Oficinas en 14 (entre ellos México)
Niveles de evaluación
1 - Monitoreo y
Evaluación
2 - Evaluación de
programas
3 - Evaluación de
impacto
4 -
Evaluación
Experimental
Evaluación aleatoria de impacto
Impacto: diferencia entre un grupo que recibe el programa
y el mismo grupo si no hubiera recibido el programa
(contrafactual)
1. Lín
ea
de b
ase
2. DIVISION ALEATORIA
2. INTERVENCIÓN
4. M
ed
ición fin
al
Muestra de población objetivo
3. STATUS QUO
Espectro de evaluación en OSCs
M&E se usa para toma de
decisiones
tiempo
No M&E
Algunas actividades de M&E
Buen consumidor y
capacidad para ejecutar
M&E
Enfoque de trabajo
Cantidad vs calidad de indicadores
Demasiados datos (irrelevantes)
Datos insuficientes
Datos/información no conectada al proceso de decisión
“Eficiencia” administrativa no necesariamente es el mejor
escenario para una OSC
Evaluación como herramienta de aprendizaje para
mejorar procesos
Experiencia con donatarias de Kellogg
en México
(2011-2012)
Las piezas del rompecabezas
Construir
relaciones con las
organizaciones
Experiencia
de IPA Financiamiento
semilla. Persona
catalizadora
•Unión de empresarios
para la tecnología en la
educación (UNETE)
•Un Kilo de Ayuda (UKA)
•Programa Bécalos –
Fundación Televisa
•Instituto de
Investigaciones para el
Desarrollo de la
Educación – Universidad
Iberoamericana (INIDE)
•Innovación y Apoyo
Educativo, A.C. (INED)
Taller grupal
• Evaluación de programas e impacto
• Teoría de cambio e indicadores
Sesiones individuales de trabajo
• Revisar procesos de evaluación existentes
• Diseño de evaluación de impacto
Taller grupal
• Compartir experiencias y diseños de evaluación
Proceso / actividades
No tiene sentido pretender evaluar “impacto” sin un
contrafactual válido
Muchas organizaciones optan por evaluar “antes y
después” o por hacer comparaciones entre beneficiarios y
no beneficiarios que no son comparables… Desperdicio
de recursos
Validez del contrafactual
Mejor enfocar esfuerzos en mejorar capacidad de
responder preguntas clave para el programa
En general, ¡no hay claridad, ni consenso, ni
evidencia!
(organizaciones chicas, grandes, gubernamentales,
privadas…)
Teoría de cambio y consensos
A
intervención B
impacto
1) Enfoque en maestros
Teoría de cambio… ¿qué queremos
lograr al capacitar a maestros?
Oferta de
capacitación
Mejores
conocimientos y
metodologías
Participación en
capacitación
Mayor
confianza y
soltura en aula
2) Enfoque en alumnos
Oferta de
capacitación Mejor desempeño
en aula
Participación en
capacitación
Mejor
aprendizaje por
alumnos
¿Trabajamos en el mismo programa? ¿Lograremos el objetivo?
Conversaciones explícitas ayudan a detectar diferencias,
generar consensos y alinear esfuerzos… papel del moderador
No gran entusiasmo inicial, pero…
Literatura documenta gran dificultad de cambiar
comportamientos básicos (no fumar, lavarse las
manos…)
Muchas intervenciones (campañas) inciden sobre
conocimientos, no sobre comportamientos
Generamos interés en el director de UKA
¿No resolvimos el lavado de manos
hace siglos? Papel de investigadores
Hipótesis 1: proveer información a las familias
Teoría de cambio… ¿cómo cambiar
comportamientos de higiene?
Información
sobre higiene
Incidencia de
enfermedades
gastrointestinales
Comportamiento:
Lavado de manos Nutrición y
desarrollo Vincular lavado
con sentimientos,
emociones y
expectativas
Hipótesis 2: incidir sobre fundamentos emocionales del comportamiento
(asco, instinto materno, expectativas de progreso, estatus social,
opinión de autoridades…)
¡Crucial aporte de investigadores!
Nuestro diagnóstico: capacidad de evaluación en 3er sector
Muchas amasan información
Frecuente falta de claridad sobre qué hacemos y para qué
Débil vínculo entre investigación e implementadores
Oportunidades/limitaciones:
necesidad vs demanda
Fondeo para evaluación y profesionalización
Patronatos y donantes esperan resultados rápidos y positivos
Conclusiones