1/22

Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo

Departamento Federal de Asuntos Exteriores DFAEAgencia Suiza para el Desarrollo y la Cooperación COSUDE

Simon Zbinden

Seminario sobre el MONITOREO DE EFECTOSLa Habana, Junio 2009

Una presentación basada en:DeGeVal, 2009. Verfahren der Wirkungsanalyse – Eine Landkarte für

die entwicklungspolitische Praxis. Arbeitskreis Evaluation von Entwiclungspolitik, Arbeitsgruppe Wirkungsanalyse. Berlin, Germany.

2/22

Porqué un tal panorama - objetivos

Conocer los métodos existentes más reconocidos -> saber donde recoger mayor información

Métodos comprobados y reconocidos, todos con características y usos diferentes -> no hay solución "one-size-fits-all" -> hacer una selección à medida

Aplicar métodos comprobados y reconocidos versus desarrollar métodos propios -> crear mayor validad y credibilidad

Mezclar para optimizar evaluación -> seleccionar métodos cualitativos y cuantitativos

3/22

Centros de recursos

Network of Networks on Impact Evaluation (NONIE)www.worldbank.org/ieg/nonie

International Initiative for Impact Evaluation (3ie)www.3ieimpact.org

DAC Network on Development Evaluation www.oecd.org/dac/evaluationnetwork

Poverty Action Labhttp://www.povertyactionlab.org/

Metodologías, ejemplos & casos

4/22

DAC estándares de calidad1 para evaluaciones

1) Análisis del contexto socio-político-institucional y otros factores externos que influencian las intervenciones

2) Descripción detallada del método y técnica (incluso tomar la muestra) de la colección y el análisis de los datos / informaciones

3) Participación de todos los actores involucrados

4) Transparencia de todas las fuentes de información

5) Validación de los fuentes de información

exigen:

1 DAC Guidelines and Reference Series: Quality Standards for Development Evaluation.

5/22

Un granito de teoría

6/22

Dos preguntas fundamentales

1. Funciona?

2. Porqué funciona?

Ambas son crucial, pero raramente abordado simultáneamente

7/22

"Curtis, necesito que me busques un método para echar toda la culpa de esto a el niño"

1era Pregunta: Funciona? -> atribución y causalidad

8/22

1era Pregunta: Funciona?

Problema fundamental: la misma persona no puede ser observado simultáneamente "con" y "sin" la intervención

Conclusión: "evidencia" solo con lo contrafactual –> que hubiera pasado al grupo meta sin la intervención, politica o medida

el efecto netovalidad interna-> concluir que x causo y

9/22

1era Pregunta: Funciona?

Perspectiva investigación social empíricatrabajar con grupo de control = comparación "sin y con" -> única manera para evidenciar causalidad, pero método de más alto valor informativo

En practica no siempre posible (25 – 40% de los casos)-> metodo alternativo: "antes-después"

10/22

2nda Pregunta: Porqué y como funciona?

Dos formas para abordarlos

Enfoques con regresiones de datos cuantitativos -> comprobar un modelo teórica

Métodos cualitativos

11/22

Conclusiones

comparación contrafactual "sin y con", combinado con "antes – después" (funciona?)

Idealmente aspirar a…

mezcla de métodos cuantitativos y cualitativos (porqué y como funciona?)

12/22

Los métodos

"Carlito, puedes quitar tu método de orientación, el día laboral está terminado"

13/22

Métodos cuantitativos - rigurosas-> Para generar información primaria

diseños cuantitativos experimentales diseños cuantitativos quasi-experimentales -> Feria

14/22

-> Feria

Métodos cualitativos - participativos -> Para generar información primaria

Enfoque CeVal según Stockmann Do-No-Harm (DNH) e-Val® Drivers of Change (DoC) by DFID Impact Monitoring Assessment según Herweg&Steiner Impact Pathway KAP (Knowledge, Attitude and Practice) Method for Impact Assessment of Programs and Projects (MAPP) Most Significant Change (MSC) NGO-IDEA Toolbox Outcome Mapping (OM) Participatory Impact Monitoring / FAKT Participatory Impact Monitoring / SLE Participatory Livelihood System Analysis (PalSa) Participatory Methodology for Measuring the Contribution of Volunteering to Dev Peace and Conflict Assessment (PCA) Programm-integriertes Planungs-, Monitoring- und Evaluationssystem (PriMe) según InWent Real Time Evaluation RTE Tracer Study Monitoreo hacia efectos de la GTZ

15/22

Most Significante Change Technique (MSC)

Método de monitoreo y evaluación participativo de efectos e impactos

Durante y al fin del ciclo de proyecto

Principio de base:

actores "identifican" posibles cambios por el proyecto (abierto, no hay indicadores pre-definidos)

coleccionar cuentos de cambios significativos

análisis sistemática participativa por los actores

selección del historia más significativo

Técnica acerca del cambio más significativo

16/22

Most Significante Change Technique (MSC) Técnica acerca del cambio más significativo

17/22

Tracer Studies Método para estudiar "rastros" en formación / capacitación

Método para monitorear formación y capacitación en los sectores educación, caplab, universidades

Autoevaluación de los graduados (abierto, sin indicadores predefinidos)

Medición antes, después y después + x años

Principio de base

establecer población de base

establecer indicadores, áreas de observación (cuestionarios semi-abiertos)

seleccionar muestra significativa (voluntaria) de graduados

antes, después y después + x años

triangulacion con evaluaciones de empleadores

18/22

Gracias – ahora Sí, medimos!

MCR