Dietmar Stoian, Ph.D.Dietmar Stoian, Ph.D.CATIE-CeCoEcoCATIE-CeCoEco

Dietmar Stoian, Ph.D.Dietmar Stoian, Ph.D.CATIE-CeCoEcoCATIE-CeCoEco

Evaluación de Impacto Relacionada a los Evaluación de Impacto Relacionada a los Enfoques de Cadenas de ValorEnfoques de Cadenas de Valor

Maestría en Socioeconomía AmbientalCurso "Desarrollo Empresarial Rural " (SA 502A)

29 de septiembre de 2009

ContenidoContenido

1) Consideraciones generales: "evaluación de impacto" vs. impact assessment

2) Retos metodológicos

3) Marcos para evaluar impactos

4) Metodología CATIE-CeCoEco

Planteamiento del problemaPlanteamiento del problema Tendencia a identificar casos exitosos en lugar de

aprendizaje genuino sobre lo que ha dada resultados y lo que no ha funcionado

Trampas antipobreza: áreas de intervención (ej. fondos sociales, microcrédito) que dan resultados rápidos, aunque retardan la creación de capacidades económicas para el desarrollo sostenible ayuda que no ayuda ("unhelpful help")

Trampa conceptual: supuesto que los pobres son emprendedores a quienes solo les falta crédito

Efectos adversos: desplazamiento de bancos locales para PyMEs por ONG de micro-crédito

Ellerman (2007)

El impacto de "evaluaciones de impacto" (1)El impacto de "evaluaciones de impacto" (1) Una evaluación de X implica comparar los

beneficios con los costos de X Los "costos" no solo son un gasto pasado, sino

también un beneficio perdido del uso alternativo de los mismos fondos (costos de oportunidad)

Llamada "evaluación de impacto" de X ignora los costos (explícitos o costos de oportunidad) de X y solo se enfoca en los beneficios o impacto de X

Referencia apropiada sería la comparación entre estos beneficios y los de la mejor alternativa en cuanto al uso de los mismos recursos

Realidad: impacto de la intervención vs. no intervención "evaluaciones" positivas

Ellerman (2007)

Plan A vs. Plan B – Evaluación referencialPlan A vs. Plan B – Evaluación referencial

"Paciente" tiene infección: – Plan A = tomar "aspirina" que alivia síntomas– Plan B = tomar "antibiótico" que cura la infección

"Doctor" tiene prestigio e interés propio en Plan A y controla los fondos de la evaluación

La evaluación de impacto compara el Plan A con no tratamiento e identifica un impacto positivo del Plan A ("reduce la fiebre") evaluación positiva

Sin embargo, al comparar Plan A con Plan B, el resultado hubiera sido a favor del último

Necesidad: evaluaciones genuinas de impacto

Ellerman (2007)

Evaluación de impacto ("Impact assessment")Evaluación de impacto ("Impact assessment")

Definición

Forma de análisis que logra determinar, con margen de error razonable:– impactos de un programa, incluyendo efectos

intencionales y no intencionales– magnitud de los impactos– factores causales de los impactos.

Más allá de la evaluación de impacto, análisis costo-beneficio o costo-efectividad son necesarios para determinar si el impacto medido justifica el costo de la intervención

USAID (2006)

Evaluación de impacto de los enfoques de cadena de valor (1)

Evaluación de impacto de los enfoques de cadena de valor (1)

Definiciones

Enfoque de cadena de valor

Serie de intervenciones por los actores de cadena y/o proveedores de insumos y servicios, con el fin de generar mayor valor agregado y crear relaciones ganar-ganar entre los actores de cadena

Donovan & Stoian (2009)

Evaluación de impacto de los enfoques de cadena de valor (2)

Evaluación de impacto de los enfoques de cadena de valor (2)

Definiciones

Output Efectos inmediatos de una intervención

Outcome Cambios significativos o duraderos en la dotación

de activos, como resultado de una intervención

Impacto Cambios significativos o duraderos en la dotación

de activos, como resultado de una intervención, que conducen a cambios en el bienestar o la seguridad de los medios de vida

Donovan & Stoian (2009)

Retos metodológicosRetos metodológicos Muestreo

tamaño de muestra grupo de control ("vecino más cercano") enfoques alternativos (Plan B, C, …)

Métodos cuantitativos vs. cualitativos registros vs. información de recuerdo individuales vs. colectivos

Atribución relaciones causa-efecto "counterfactual" factores influyentes no exclusivos (causas) econometría/estadísticas

Opciones metodológicasOpciones metodológicasUso de escalas De 1 a 3: ej., bajo, regular, alto De 1 a 5: ej., muy bajo, bajo, regular, alto, muy alto

Ponderación Dando más peso a ciertos indicadores: por ejemplo, multiplicar por 2 (o más)

Evaluación de la interacción Determinar efecto de aumento/disminución sobre otros indicadores: por ejemplo, integración de árboles de sombra en

plantaciones de piña que mejoran los indicadores ambientales y sociales a expensas de los indicadores económicos

Modelo causal: SDE Kenya y Programas FintracModelo causal: SDE Kenya y Programas Fintrac

USAID (2006)

Marco para estudiar

impactos:SDE Kenya

Marco para estudiar

impactos:SDE Kenya

USAID (2006)

Modelo de impacto de ProCGRN, Benin Modelo de impacto de ProCGRN, Benin

GTZ (2007)

CATIE-CeCoEco's methodology for assessing the impact of value chain approaches on poverty and

the environment

CATIE-CeCoEco's methodology for assessing the impact of value chain approaches on poverty and

the environment

Key elements emphasis on asset building focus on upstream elements of the chain (phase 1) complementary tools (phases 2 and 3) mixture between quantitative and qualitative methods no counterfactual (but comparison groups where possible) includes attribution (phase 1) more sophisticated attribution (phases 2 and 3)

Enterprise- level VCA interventions

Community 1 Community 2 Community 3

Project 2 Household- level VCA interventions

Government agency

Collective enterprise

Financial service provider

Buyer 1

Project 1 NGO

Step 1: contextual analysis

Objective: identify key elements of VCA and external environment

Methods• Key informant interviews

• Revision of secondary information

Outputs• Intermediate: inputs for steps 2 and 3

Step 2: household interviews

Objective: identify VCA outputs and outcomes

Methods• Structured household interviews with VCA participates and non-participates

Outputs

• Intermediate: formulation of impact hypotheses

• Final: Output and outcomes measured and attribution assigned

Step 3: focus groups

Objective: identify VCA signature on impacts

Methods• Focus groups among VCA participates, with use of participate research methods

Outputs• Validation of results for outputs and outcomes

• Impacts measured and attribution assigned

Step 4: triangulation

Objective: increase validity of impacts and attribution

Methods• Key informant interviews

Outputs• Validation of results on impacts

Step 1: Context analysis and VCA impact model

Steps 2 and 3: Identify and trace back changes at enterprise and household level

Impa

ct s

ourc

e

Non-VCA

Unclear

VCA

Step 4: Final attribution

Changes in asset endowments and

resilience/vulnerability among enterprises and

households

Impa

ct s

ourc

e

Others

Implementing organizations A + B

Implementing organization A

Non-VCA

Unclear

VCA

ImpactsOutputs Outcomes

Beneficiary enterprises and

householdsInpu

t sou

rce

Non-VCA

VCA

Implementing agents

Contextual factors

VCA activities • Training• Technical

assistance• Grants/Subsidies• Credit

Other factors • Political-legal

framework• Market forces• Internal factors• Other external

interventions

Impacts• Net income• Employment• Gender relations• Environmental

soundness• Reduced

vulnerability

Degree of attribution

High

Medium

Low

Outcomes Changes in:• production systems• processing• business relations• resource use

Outputs related to VCA activities

• Capacities/skills• Liquidity t

Attribution challenges (1)Attribution challenges (1)

Changes (Effects) Influencing factors (Causes)

Measured Observed Value chain approach

Context

Attribution challenges (2)Attribution challenges (2)

Increase in coffee income due to …?

1990 1992 1994 1996 1998 2000 2002 2004 2006 2008

Calender year

40.00

50.00

60.00

70.00

80.00

90.00

100.00

110.00

120.00

130.00

140.00

Av

era

ge

an

nu

al IC

O c

om

po

sit

e p

ric

e f

or

gre

en

co

ffee

(U

S$

)

LiteraturaLiteraturaDonovan, J. & Stoian, D. 2009. Assessing the impact of value chain approaches on rural poverty –Methodological guidelines for development practitioners and private sector representatives. CATIE, Turrialba, Costa Rica.

Ellerman, D. 2007 Social Funds and MicroFinance – and the Role of Impact Evaluations. University of California at Riverside.

GTZ 2007. Value Links Methodology. www.value-links.de/manual/pdf/module_11.pdf

Livelihoods Website: www.livelihoods.org

USAID 2006, 2007, 2008: Impact Assessment Primer Series