View
5
Download
0
Category
Preview:
Citation preview
Midiendo el impactode diferentesintervenciones de mercado y modelos de negocios
Carolina González
c.gonzalez@cgiar.org
Junio 6, 2018Brasilia, Brasil
Contenido
• Borderlands, FT4All y Progresa
- Objetivos
- Métodos
- Resultados
• Lecciones aprendidas
Impact Evaluation – Approaches (quantitative)
Quasi experimental design:
• Cross sectional data – one time (no baseline) Propensity Score Matching (PSM)
• Panel data – 2-3 times (PSM+ differences-in-differences) :l
Experimental design:
• Randomized controlled trials (RCT) .
Borderlands Coffee Project - CRSDiana Lopera, Martha del Rio, Paula Rivas, Alex Buritica, Wytse Vellema,
Mark Lundy, Fernando Rodriguez Camayo and Carolina Gonzalez (CIAT)
Objetivos…incrementar los ingresos cafeteros, generación
de empleo, diversificar las fuentes de alimentación e ingresos y aumentar la resiliencia de los hogares
cafeteros de Colombia y Ecuador
Figura 1. Area de estudio: 1.300 productores de café
Principales resultados esperados
Aumento de la productividad;
Mejora de la calidad;
Certificación;
Nuevas opciones de mercados;
Diversificación de las fuentes de
ingresos;
Fortalecimiento de las
organizaciones locales;
Neil Palmer
• Modelos de negocios inclusivos y sostenibles(LINK methodology, value chain analysis)
http://ciat-library.ciat.cgiar.org/articulos_ciat/Metodologia_LINK.pdf
CIAT - Intervenciones
Borderlands IMPACT EVALUATION
Datos de Panel (2012 – 2016)
Tratamiento y control
Marco Conceptual
Vellema, W.
Evaluación: línea base– línea final(2012-2016) - Colombia
Resultados :LíneaBase(2012)
• Value Chain:
Principales resultados: línea final (2016)
Modelo de Regresión de Diferencia en Diferencias para Cadena de Valor de
Café controlando por Covariables
Modelo de Regresión de Diferencia en Diferencias para Cadena de Vida
diversificados controlando por Covariables
% cantidad de café con certificación
Indice cafetero (conocimiento y buenasprácticas)
Indice activos agrícolas
Negativos: Disponibilidad de alimentos, índice de activos no agrícolas
No efectos
- Ingresos no cafeteros
- Rendimientos*
- HDDS
Conclusiones
Science to cultivate change
Midiendo el impacto de la certificación“FT4All” en pequenos productores y
trabajadoresMartha Del Río, Claudia Rosty, Diana Cordoba, Annelien
Gansemans, Juri Ishimoto, Stefania Sellitti, Mark Lundy and Carolina Gonzalez
Contexto
• Comercio justo se ha limitado a cooperativas
• En 2011, Fair Trade USA anunció un Nuevo esquema de certificación que incluía pequeños productores y trabajadores de haciendas
• Evaluamos los pilotos de este nuevos esquema en Brasil and Nicaragua (trabajadores), y Perú y Honduras (pequeños productores).
• Nivel micro: Evaluar el impacto en términos de desarrollo económico y social, y la gestión ambiental en pequeños caficultores independientes y trabajadores de haciendas.
• A nivel meso: Analizar los procesos de empoderamiento organizacional y cambios a lo largo del tiempo en pequeños caficultores independientes y trabajadores de fincas grandes.
Objetivos de la evaluación
Colecta de Datos
Diseno muestral
Sitios
Sitios
Health service Contracts
Resultados:LB Nicaragua(2014)
Nicaragua
• 190 farm workers (only treatment group)
Honduras
• 95 household (only treatment group)
Peru
• 119 household (only treatment group)
• Este ciclo buscaba obtener información sobre cómo iba desarrollándose la implementación, además de empezar a identificar cambios en los grupos de tratamiento.
Segundo Ciclo: Monitoreo
Tercer Ciclo– Evaluación final: Brasil
Evaluación final: Brasil
https://cgspace.cgiar.org/handle/10568/77154
Evaluación – Variables de resultados
(Trabajadores)
DIMENSION INDICATORS VARIABLES # VARS
EDUCATION Accessibility to educationPeople’s perception of accessibility; subsidies to education.
3
Enrollment ratio% of kids from 6 to 14 who are enrolled in school.
HEALTHAccessibility to healthcare
Distance from the closest hospital; people’sperception of accessibility; subsidies to healthcare.
3
FOOD SECURITYLatin American and Caribbean scale of foodsecurity (ELSCA)
15
STANDARD OF LIVINGPer capita income (on farm income)
1
AssetsNicaragua and Brazil: house quality, meansof transport, non-productive assets.Nicaragua only: animals for production.
16
SATISFACTION
Satisfaction with life, satisfaction with house(in Brazil) and foodquality (in Nicaragua).
2
Indice de Bienestar
Indice de Empoderamiento
DIMENSION VARIABLES # VARS
POLITICAL INVOLVEMENTPeople’s perception of involvement in political life and decisions at community, regional and national level.
3
WORKING TIME Number of hours worked. 1
CONTRACTS % of people in the household with a long-term contract. 1
WORK ENVIRONMENTStability at work, opportunity to change job position, goodlevel of communication in the farm.
3
TRAININGAnnualy hours of training, people’s perception of accessibilityto training.
2
FINANCIAL SERVICESAccess to saving and credit services; % of people whoreceived the needed credit.
2
ORGANIZATIONISM% of workers involved in associational life (whether on farm or in the community).
5
Score matching
OUTCOME (i) (ii) (iii) (iv) (v)
OLS OLS ATT ATT Γ
WELFARE 0.42*** 0.47*** 0.54*** 0.48*** 1.6
(0.112) (0.14) (0.13) (0.12)
Education 1.63*** 2.2*** 2.36*** 1.95*** 1.5
(0.571) (0.71) (0.64) (0.59)
Health 0.385*** 0.28*** 0.35*** 0.04*** 1
(0.059) (0.063) (0.063) (0.06)
Food security 0.087 -0.0014 0.13 0.087 1.1
(0.086) (0.105) (0.095) (0.088)
Standards of living 0.159 0.01 0.092 0.12*** 1 (0.032) (0.03) (0.036) (0.033)
(of which)
Per capita income 0.037 -0.065 -0.16* -0.062 1.9
(0.083) (0.068) (0.094) (0.086)
Assets 0.201*** 0.03 0.18 0.18 1.9
(0.033) (0.035) (0.037) (0.036)
House ownership (1=yes, 2=no) 0.28*** 0.069*** 0.26*** 0.24 1.7 (0.04) (0.045) (0.046) (0.042)
Satisfaction -0.144** -0.141* -0.16 -0.05 1.3
(0.072) (0.087) (0.1) (0.09)
EMPOWERMENT 0.064 0.13*** 0.08* 0.098** 1
(0.043) (0.05) (0.04) (0.04)
Political integration 0.072 0.086 0.04 0.069 1
(0.062) (0.072) (0.07) (0.065)
Involvement in organizations 0.024 0.026 0.021 0.014 8.7
(0.03) (0.032) (0.034) (0.032)
Training 0.23 0.12* 0.29*** 0.26*** 1.1
(0.067) (0.066) (0.074) (0.069)
Contracts 0.0036 -0.003 -0.055 0.057 1.8
(0.042) (0.019) (0.047) (0.042)
Daily working hours 0.13 0.605** 0.37 0.37 4.2
(0.28) (0.304) (0.28) (0.27)
Access to financial services 0.072*** 0.064** 0.082*** 0.068*** 2.9
(0.023) (0.03) (0.026) (0.023)
Working environment -0.084** 0.021 -0.19** -0.097 1.4
(0.065) (0.08) (0.072) (0.067)
Covariates No Yes - - -
Observations 625 625 625 625
Brasil (Bienestar)
Evaluación de Impacto:
No hay diferencias estadísticamentesignificativas en Bienestar, Educación, modo de vida. Es positivo el cambio en Salud (distancia al
centro de salud y subsidio).Cambio positivo en las condiciones de vida
por el aumento de capital y mejoras en la vivienda.
Brasil (Empoderamiento)
Evaluación de Impacto:
No hay diferencias estadísticamentesignificativas en Empoderamiento y Accesode Servicios FinancierosEs positivo el cambio en Participación en la
vida comunitaria, participación enorganizaciones, horas de entrenamiento(distancia al centro de salud y subsidio).Disminución de las horas trabajadas.
Inversión del premio: Brasil
The Fair Trade Premium fue usado en:• Remodelar la guardería “Creche Lar de Maria” localizada
en Conceição do Rio Verde, incrementando su capacidadde 103 a 153 puestos.
• Aumentar el número de computadores que pueden teneracceso los trabajadores en la hacienda Rio Verde para capacitaciones los sábados.
• Mejora de equipos en el hospital São Vicente de Paula enCampos Gerais .
http://blog.ciat.cgiar.org/testing-fair-trade-for-all-in-brazil/
Resultados de evaluación de impacto proyecto PROGRESA en Nicaragua
Juliana Pinillos, Ricardo Labarta y Carolina Gonzalez
j.Pinillos@cgiar.org r.labarta@cgiar.org c.Gonzalez@cgiar.org
• PROGRESA implementado 2013-16 bajo liderazgo de CRS
• Proyecto buscaba:
• Aumentar productividad agrícola en 3 cadenas de valor a través de insumos mejorados, infraestructura productiva mayor conocimiento tecnológico y gerenciamiento de fincas
• Ampliar ventas de productores a través de fortalecimiento de productividad y calidad de producto, mejores practicas de manejo y mejor poscosecha
Implementado en 5 departamentos de Nicaragua y se enfocó en cadenas de frijol, frutas y verduras y productos lácteos y cárnicos
CIAT lideró evaluación de impacto de esta ultima cadena de valor
Antecedentes y objetivos del estudio
• En 2013 se entrevistaron 550 productores ganaderos: 336 potenciales beneficiarios y 214 del grupo de control
• Por diversas dificultades en la implementación, se perdieron 48.2% de los beneficiarios potenciales encuestados
• Al momento de la LF no se pudieron re-entrevistar al 39.3% de los productores del grupo de control
• 14 productores del grupo de control en LB se convirtieron en beneficiarios y 65 potenciales beneficiarios terminaron como controles.
• En LF se entrevistaron 286 beneficiarios y 224 controles, pero los productores con información tanto de LB como LF sólo fueron 174 tratados y 130 controles
Implementación de la colecta de datos
• Se inicia con un análisis univariado de diferencia de medias de indicadores claves (5 capitales)
• Luego estimar impactos atribuibles a PROGRESA modelo DiD: Compara cambios en indicadores de beneficiarios entre LB y LF con cambios en indicadores de controles entre LB y LF
• Indicadores de Impacto: productividad de leche, alimentos insuficientes, MAHFP, HDDS
• Principal desafío Atrición: perdida de tratados y controles en LF
• Identificar factores que pueden haber influenciado la salida de beneficiarios del proyecto y no participación de controles en LF.
• No controlar atrición puede sesgar las estimaciones de impacto positiva o negativamente
Metodología de implementación
Resultados de la evaluación: Pruebas de comparación de medias de indicadores claves
Resultados comparación medias 5 capitalesTabla 5. Pruebas de medias para tratados y controles
Línea base Línea final
Control Tratados Diff Control Tratados Diff
Área propia (manzanas) 33.152 44.296 11.144*** 35.792 42.178 6.386
Proporción área con pastos 0.547 0.581 0.033 0.506 0.624 0.118***
Propor. prácticas mejorada 0.035 0.035 -0.001 0.013 0.008 -0.005
Total de vacas secas 3.636 3.616 -0.019 5.400 5.420 0.020
Total de vacas paridas 5.023 7.029 2.005** 6.020 7.697 1.678**
Camioneta 0.146 0.098 -0.048 0.185 0.137 -0.048
Bodega 0.485 0.483 -0.002 0.414 0.491 0.077
Silo para pastos 0.054 0.075 0.021 0.039 0.231 0.192***
Corral para ganado mayor 0.508 0.575 0.067 0.469 0.609 0.141**
Pichingas 0.477 0.540 0.063 0.208 0.427 0.219***
Picadora de pastos 0.223 0.241 0.018 0.223 0.433 0.210***
Alimentos insuficientes 0.318 0.325 0.008 0.069 0.063 -0.005
MAHFP (meses) 11.279 11.110 -0.169 11.872 11.861 -0.011
HDDS 8.046 7.556 -0.480** 7.458 7.525 0.068
Prob. debajo de la LP (%) 34.193 35.057 0.864 28.569 25.266 -3.304
Prob. debajo de la LI (%) 6.385 6.897 0.512 5.438 4.351 -1.087
Litros de leche/vaca/ día 3.425 3.018 -0.407 2.732 3.138 0.406
Nota: *: Significativa al 10%; **: Significativa al 5%; ***: Significativa al 1%.
• Se prefirió usar modelo DiD con muestra restringida (304 con datos de LB y LF) antes que usar modelo de corte transversal con solo datos de LF y 505 productores.
• Se usaron 3 especificaciones de modelos DiD para verificar robustez de especificaciones
• Modelo 1: DiD simple, sin controlar por factores adicionales
• Modelo 2: DID controlando por una serie de factores pre-existentes que puede condicionar impactos observados
• Modelo 3: DiD usando emparejamiento para controlar factores inobservables que afectaron la decisión de participar en Progresa (el modelo mas restrictivo)
Consideraciones en el análisis
Resultados DiD (n=304 productores)
DiD para Litros de leche por vaca por día
(1) (2) (3)
Diff-in-diff (impacto) 0.877** 0.831** 1.359***
(0.393) (0.394) (0.389)
Efectos fijos departamento NO SI SI
Media controles LB 3.239 2.664 3.254
Media tratados LB 2.755 2.369 2.732
Diff LB (T-C) -0.483 -0.296 -0.522
Media controles LF 2.722 2.145 2.432
Media tratados LF 3.115 2.680 3.270
Diff LF (T-C) 0.393 0.535 0.837
Observaciones 522 501 445
Kernel - - Epanechnikov
Soporte común - - SI
R-cuadrado 0.010 0.010 -
. *** p<0.01, ** p<0.05, * p<0.1
Resultados DiD (n=304 productores)
MAHFP HDDS
(1) (2) (3) (1) (2) (3)
Diff-in-diff (impacto) 0.158 0.185 0.355** 0.547* 0.547* 0.443
(0.162) (0.165) (0.166) (0.309) (0.303) (0.389)
Efectos fijos departamento NO SI SI NO SI SI
Media controles LB 11.28 11.28 11.42 8.046 8.226 7.958
Media tratados LB 11.11 11.05 11.05 7.566 7.652 7.543
Diff LB (T-C) -0.169 -0.225 -0.378 -0.480 -0.573 -0.415
Media controles LF 11.87 11.88 11.89 7.458 7.634 7.439
Media tratados LF 11.86 11.84 11.87 7.525 7.607 7.467
Diff LF (T-C) 0.0110 0.0404 -0.0233 0.0677 0.0266 0.0286
Observaciones 576 555 522 579 557 522
Kernel - - Epanechnikov - - Epanechnikov
Soporte común - - SI - - SI
R-cuadrado 0.107 0.176 - 0.014 0.134 -
• El análisis de impacto nos muestra que:
PROGRESA mejoro significativamente el capital humano de los participantes a través de diversas capacitaciones
Consistentemente diversos modelos de regresión muestran que PROGRESA incremento la productividad de leche/vaca/día entre 0.8 y 1.4 litros/vaca/día
PROGRESA también generó mejora en los meses de aprovisionamiento en 0.35 meses
Hay una tendencia de mejora en la diversidad dietética, pero el modelo mas robusto no apoya esto
Conclusiones del estudio
• El estudio muestra un nivel de atrición muy importante en el estudio y la necesidad de controlar mejor este problema (todavía por solucionar)
• Hay ciertos indicios que en algunas zonas/socios que los beneficiarios menos exitosos o limitaciones salieron del proyecto y varios controles con mejores indicadores de productividad y medios de vida también (se necesita un mejor análisis)
• Futuras investigaciones (en curso) revisaran el tema de la atrición y darán una mejor idea de los impactos de PROGRESA
Conclusiones del estudio
• Identificación de las intervenciones• Suceso del proyecto vs Buena evaluación
(muestreo: contaminación)• Sesgos (selección)• Tiempos • Atrición
Lecciones aprendidas - Desafíos
Obrigada!!
Recommended