ESTUDIO Y METODOLOGIacuteA PARA

LA DEFINICIOacuteN Y MEDICIOacuteN DE

INDICADORES DE IMPACTO PARA

PROYECTOS DE INVESTIGACION

E INNOVACIOacuteN AGRIacuteCOLA

Gustavo Sain [Email address]

Diciembre 2016

1 Antecedentes 4

11 Objetivos del trabajo 4

12 Plan de trabajo Resultados y actividades previstas 4

2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO 6

21 Definicioacuten de conceptos baacutesicos 7

22 Alcance del anaacutelisis 9

221 El Tamantildeo o dimensioacuten del Proyecto 9

222 El alcance temporal 9

223 La naturaleza del bien afectado 11

224 Valores de los Indicadores e Impactos 12

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados 15

23 Valorizacioacuten 16

231 Bienes privados 16

232 Bienes puacuteblicos valorizables 17

233 Bienes puacuteblicos no valorizables 20

3 La base de datos de FONTAGR0 22

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto 30

41 Bienes Valorizables 30

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico 30

5 Pertinencia de las metodologiacuteas existente 34

51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO 34

6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados

por el FONTAGRO 35

61 Etapas en la evaluacioacuten 35

7 Reflexiones finales 37

ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso

de calificacioacuten de Proyectos del FONTAGRO 39

Iacutendice de Tablas

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del

bien 11

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos 12

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC 16

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales 18

Tabla 7 Valores de la variable Aacuterea de Investigacioacuten en la base de datos 22

Tabla 8 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

23

Tabla 9 Valores de la importancia del tipo de investigacioacuten en los Proyectos 24

Tabla 10 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos 24

Tabla 11 Valores del Tipo de Desarrollo encarado por el Proyecto 25

Tabla 12 Valores de la variable componente en la base de datos 26

Tabla 13 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

29

Tabla 14 Referencias y Programas para el ABC 30

Tabla 15 Herramientas de Caacutelculo del ABC en Excel 33

Iacutendice de Figuras

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto 7

Figura 2 Esquema del impacto directo e indirecto de un Resultado 16

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos 26

Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO 39

1 Antecedentes

11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de

faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e

innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0

Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos

1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de

investigacioacuten e innovacioacuten agriacutecola

2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de

proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por

F0NTAGR0

3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales

rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten

12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados

Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido

A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto

de los proyectos de FONTAGRO y queacute indicadores se necesitan

A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y

analizar su pertinencia para evaluar el impacto de los proyectos

A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el

anaacutelisis del impacto de los proyectos del FONTAGRO

A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos

de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0

Resultado 2 Propuesta metodoloacutegica identificada y validada

A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los

principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo

A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones

A 24 Elaborar la propuesta final incorporando recomendaciones

A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de

FONTAGRO

A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO

coordinadores de proyectos y especialistas en monitoreo y seguimiento

2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO

En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos

enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of

Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del

Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero

muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que

consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el

uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y

difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de

maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar

Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se

reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las

consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen

consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es

relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad

inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la

informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los

estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan

como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)

Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la

Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el

Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho

impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La

eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola

de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un

impacto pequentildeo si los costos son miacutenimos

En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es

decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del

Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se

consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la

complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la

informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones

1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes

1) El financiamiento del FONTAGRO

2) El financiamiento de contrapartida de los paiacuteses

La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse

esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la

inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados

con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para

obtener los resultados

nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones

regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la

dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten

objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y

privadas sobre cuyos costos es difiacutecil obtener informacioacuten2

La metodologiacutea del ABC debe responder a tres preguntas

bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis

bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis

bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las

consecuencias (beneficios y costos) futuras para obtener el valor presente

21 Definicioacuten de conceptos baacutesicos

Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de

conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar

el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe

entonces establecer que se entiende por Resultado del Proyecto y que se entiende por

Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes

entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de

Vida de un Proyecto financiado por el FONTAGRO

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto

2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten

del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)

sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad

adicional a su estimacioacuten en teacuterminos reales

Con este esquema en vista y para los fines de este trabajo se definen

Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de

cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash

DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto

Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la

ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o

producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los

Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para

la evaluacioacuten (tema tratado maacutes adelante)

Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas

caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de

los Resultados del Proyecto

Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por

el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten

3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la

etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten

objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden

como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas

las etapas esteacuten presentes y se ejecuten de forma correcta

Disentildeo y Preparacioacuten

Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de

indicadores de impacto

bull Medicioacuten del Valor Inicial de los Indicadores(Io)

Difusioacuten adopcioacutende Resultados

Descripcioacuten de la liacutenea Finalbull Medicioacuten del

Valor Final de los Indicadores (It)

Antildeos

Poblacioacuten Objetivo antes de

la Intervencioacuten

Poblacioacuten Objetivo despueacutes

de la Intervencioacuten

Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Ejecucioacuten de las Actividades

Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo

Finalizacioacuten Obtencioacuten de Resultados

PresentacioacutenEvaluacioacutenAprobacioacuten

Seguimiento por ReportesAprobacioacutenReporte FinalEficacia

Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto

Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Evaluacioacuten aleatoria

cada 5 antildeos FONTAGRO

CONSORCIOPAISES

CONSORCIOPAISES

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

1 Antecedentes 4

11 Objetivos del trabajo 4

12 Plan de trabajo Resultados y actividades previstas 4

2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO 6

21 Definicioacuten de conceptos baacutesicos 7

22 Alcance del anaacutelisis 9

221 El Tamantildeo o dimensioacuten del Proyecto 9

222 El alcance temporal 9

223 La naturaleza del bien afectado 11

224 Valores de los Indicadores e Impactos 12

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados 15

23 Valorizacioacuten 16

231 Bienes privados 16

232 Bienes puacuteblicos valorizables 17

233 Bienes puacuteblicos no valorizables 20

3 La base de datos de FONTAGR0 22

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto 30

41 Bienes Valorizables 30

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico 30

5 Pertinencia de las metodologiacuteas existente 34

51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO 34

6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados

por el FONTAGRO 35

61 Etapas en la evaluacioacuten 35

7 Reflexiones finales 37

ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso

de calificacioacuten de Proyectos del FONTAGRO 39

Iacutendice de Tablas

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del

bien 11

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos 12

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC 16

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales 18

Tabla 7 Valores de la variable Aacuterea de Investigacioacuten en la base de datos 22

Tabla 8 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

23

Tabla 9 Valores de la importancia del tipo de investigacioacuten en los Proyectos 24

Tabla 10 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos 24

Tabla 11 Valores del Tipo de Desarrollo encarado por el Proyecto 25

Tabla 12 Valores de la variable componente en la base de datos 26

Tabla 13 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

29

Tabla 14 Referencias y Programas para el ABC 30

Tabla 15 Herramientas de Caacutelculo del ABC en Excel 33

Iacutendice de Figuras

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto 7

Figura 2 Esquema del impacto directo e indirecto de un Resultado 16

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos 26

Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO 39

1 Antecedentes

11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de

faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e

innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0

Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos

1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de

investigacioacuten e innovacioacuten agriacutecola

2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de

proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por

F0NTAGR0

3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales

rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten

12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados

Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido

A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto

de los proyectos de FONTAGRO y queacute indicadores se necesitan

A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y

analizar su pertinencia para evaluar el impacto de los proyectos

A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el

anaacutelisis del impacto de los proyectos del FONTAGRO

A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos

de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0

Resultado 2 Propuesta metodoloacutegica identificada y validada

A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los

principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo

A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones

A 24 Elaborar la propuesta final incorporando recomendaciones

A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de

FONTAGRO

A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO

coordinadores de proyectos y especialistas en monitoreo y seguimiento

2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO

En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos

enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of

Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del

Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero

muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que

consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el

uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y

difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de

maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar

Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se

reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las

consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen

consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es

relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad

inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la

informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los

estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan

como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)

Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la

Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el

Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho

impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La

eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola

de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un

impacto pequentildeo si los costos son miacutenimos

En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es

decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del

Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se

consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la

complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la

informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones

1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes

1) El financiamiento del FONTAGRO

2) El financiamiento de contrapartida de los paiacuteses

La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse

esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la

inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados

con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para

obtener los resultados

nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones

regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la

dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten

objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y

privadas sobre cuyos costos es difiacutecil obtener informacioacuten2

La metodologiacutea del ABC debe responder a tres preguntas

bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis

bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis

bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las

consecuencias (beneficios y costos) futuras para obtener el valor presente

21 Definicioacuten de conceptos baacutesicos

Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de

conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar

el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe

entonces establecer que se entiende por Resultado del Proyecto y que se entiende por

Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes

entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de

Vida de un Proyecto financiado por el FONTAGRO

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto

2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten

del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)

sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad

adicional a su estimacioacuten en teacuterminos reales

Con este esquema en vista y para los fines de este trabajo se definen

Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de

cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash

DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto

Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la

ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o

producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los

Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para

la evaluacioacuten (tema tratado maacutes adelante)

Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas

caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de

los Resultados del Proyecto

Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por

el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten

3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la

etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten

objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden

como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas

las etapas esteacuten presentes y se ejecuten de forma correcta

Disentildeo y Preparacioacuten

Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de

indicadores de impacto

bull Medicioacuten del Valor Inicial de los Indicadores(Io)

Difusioacuten adopcioacutende Resultados

Descripcioacuten de la liacutenea Finalbull Medicioacuten del

Valor Final de los Indicadores (It)

Antildeos

Poblacioacuten Objetivo antes de

la Intervencioacuten

Poblacioacuten Objetivo despueacutes

de la Intervencioacuten

Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Ejecucioacuten de las Actividades

Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo

Finalizacioacuten Obtencioacuten de Resultados

PresentacioacutenEvaluacioacutenAprobacioacuten

Seguimiento por ReportesAprobacioacutenReporte FinalEficacia

Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto

Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Evaluacioacuten aleatoria

cada 5 antildeos FONTAGRO

CONSORCIOPAISES

CONSORCIOPAISES

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

Iacutendice de Tablas

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del

bien 11

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos 12

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC 16

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales 18

Tabla 7 Valores de la variable Aacuterea de Investigacioacuten en la base de datos 22

Tabla 8 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

23

Tabla 9 Valores de la importancia del tipo de investigacioacuten en los Proyectos 24

Tabla 10 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos 24

Tabla 11 Valores del Tipo de Desarrollo encarado por el Proyecto 25

Tabla 12 Valores de la variable componente en la base de datos 26

Tabla 13 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

29

Tabla 14 Referencias y Programas para el ABC 30

Tabla 15 Herramientas de Caacutelculo del ABC en Excel 33

Iacutendice de Figuras

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto 7

Figura 2 Esquema del impacto directo e indirecto de un Resultado 16

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos 26

Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO 39

1 Antecedentes

11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de

faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e

innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0

Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos

1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de

investigacioacuten e innovacioacuten agriacutecola

2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de

proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por

F0NTAGR0

3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales

rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten

12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados

Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido

A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto

de los proyectos de FONTAGRO y queacute indicadores se necesitan

A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y

analizar su pertinencia para evaluar el impacto de los proyectos

A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el

anaacutelisis del impacto de los proyectos del FONTAGRO

A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos

de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0

Resultado 2 Propuesta metodoloacutegica identificada y validada

A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los

principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo

A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones

A 24 Elaborar la propuesta final incorporando recomendaciones

A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de

FONTAGRO

A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO

coordinadores de proyectos y especialistas en monitoreo y seguimiento

2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO

En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos

enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of

Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del

Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero

muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que

consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el

uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y

difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de

maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar

Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se

reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las

consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen

consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es

relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad

inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la

informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los

estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan

como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)

Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la

Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el

Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho

impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La

eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola

de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un

impacto pequentildeo si los costos son miacutenimos

En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es

decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del

Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se

consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la

complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la

informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones

1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes

1) El financiamiento del FONTAGRO

2) El financiamiento de contrapartida de los paiacuteses

La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse

esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la

inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados

con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para

obtener los resultados

nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones

regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la

dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten

objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y

privadas sobre cuyos costos es difiacutecil obtener informacioacuten2

La metodologiacutea del ABC debe responder a tres preguntas

bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis

bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis

bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las

consecuencias (beneficios y costos) futuras para obtener el valor presente

21 Definicioacuten de conceptos baacutesicos

Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de

conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar

el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe

entonces establecer que se entiende por Resultado del Proyecto y que se entiende por

Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes

entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de

Vida de un Proyecto financiado por el FONTAGRO

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto

2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten

del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)

sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad

adicional a su estimacioacuten en teacuterminos reales

Con este esquema en vista y para los fines de este trabajo se definen

Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de

cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash

DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto

Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la

ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o

producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los

Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para

la evaluacioacuten (tema tratado maacutes adelante)

Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas

caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de

los Resultados del Proyecto

Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por

el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten

3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la

etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten

objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden

como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas

las etapas esteacuten presentes y se ejecuten de forma correcta

Disentildeo y Preparacioacuten

Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de

indicadores de impacto

bull Medicioacuten del Valor Inicial de los Indicadores(Io)

Difusioacuten adopcioacutende Resultados

Descripcioacuten de la liacutenea Finalbull Medicioacuten del

Valor Final de los Indicadores (It)

Antildeos

Poblacioacuten Objetivo antes de

la Intervencioacuten

Poblacioacuten Objetivo despueacutes

de la Intervencioacuten

Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Ejecucioacuten de las Actividades

Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo

Finalizacioacuten Obtencioacuten de Resultados

PresentacioacutenEvaluacioacutenAprobacioacuten

Seguimiento por ReportesAprobacioacutenReporte FinalEficacia

Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto

Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Evaluacioacuten aleatoria

cada 5 antildeos FONTAGRO

CONSORCIOPAISES

CONSORCIOPAISES

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

Iacutendice de Figuras

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto 7

Figura 2 Esquema del impacto directo e indirecto de un Resultado 16

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos 26

Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO 39

1 Antecedentes

11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de

faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e

innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0

Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos

1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de

investigacioacuten e innovacioacuten agriacutecola

2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de

proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por

F0NTAGR0

3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales

rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten

12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados

Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido

A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto

de los proyectos de FONTAGRO y queacute indicadores se necesitan

A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y

analizar su pertinencia para evaluar el impacto de los proyectos

A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el

anaacutelisis del impacto de los proyectos del FONTAGRO

A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos

de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0

Resultado 2 Propuesta metodoloacutegica identificada y validada

A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los

principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo

A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones

A 24 Elaborar la propuesta final incorporando recomendaciones

A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de

FONTAGRO

A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO

coordinadores de proyectos y especialistas en monitoreo y seguimiento

2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO

En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos

enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of

Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del

Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero

muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que

consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el

uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y

difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de

maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar

Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se

reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las

consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen

consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es

relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad

inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la

informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los

estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan

como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)

Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la

Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el

Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho

impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La

eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola

de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un

impacto pequentildeo si los costos son miacutenimos

En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es

decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del

Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se

consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la

complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la

informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones

1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes

1) El financiamiento del FONTAGRO

2) El financiamiento de contrapartida de los paiacuteses

La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse

esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la

inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados

con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para

obtener los resultados

nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones

regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la

dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten

objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y

privadas sobre cuyos costos es difiacutecil obtener informacioacuten2

La metodologiacutea del ABC debe responder a tres preguntas

bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis

bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis

bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las

consecuencias (beneficios y costos) futuras para obtener el valor presente

21 Definicioacuten de conceptos baacutesicos

Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de

conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar

el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe

entonces establecer que se entiende por Resultado del Proyecto y que se entiende por

Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes

entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de

Vida de un Proyecto financiado por el FONTAGRO

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto

2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten

del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)

sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad

adicional a su estimacioacuten en teacuterminos reales

Con este esquema en vista y para los fines de este trabajo se definen

Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de

cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash

DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto

Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la

ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o

producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los

Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para

la evaluacioacuten (tema tratado maacutes adelante)

Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas

caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de

los Resultados del Proyecto

Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por

el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten

3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la

etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten

objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden

como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas

las etapas esteacuten presentes y se ejecuten de forma correcta

Disentildeo y Preparacioacuten

Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de

indicadores de impacto

bull Medicioacuten del Valor Inicial de los Indicadores(Io)

Difusioacuten adopcioacutende Resultados

Descripcioacuten de la liacutenea Finalbull Medicioacuten del

Valor Final de los Indicadores (It)

Antildeos

Poblacioacuten Objetivo antes de

la Intervencioacuten

Poblacioacuten Objetivo despueacutes

de la Intervencioacuten

Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Ejecucioacuten de las Actividades

Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo

Finalizacioacuten Obtencioacuten de Resultados

PresentacioacutenEvaluacioacutenAprobacioacuten

Seguimiento por ReportesAprobacioacutenReporte FinalEficacia

Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto

Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Evaluacioacuten aleatoria

cada 5 antildeos FONTAGRO

CONSORCIOPAISES

CONSORCIOPAISES

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

1 Antecedentes

11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de

faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e

innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0

Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos

1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de

investigacioacuten e innovacioacuten agriacutecola

2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de

proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por

F0NTAGR0

3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales

rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten

12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados

Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido

A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto

de los proyectos de FONTAGRO y queacute indicadores se necesitan

A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y

analizar su pertinencia para evaluar el impacto de los proyectos

A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el

anaacutelisis del impacto de los proyectos del FONTAGRO

A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos

de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0

Resultado 2 Propuesta metodoloacutegica identificada y validada

A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los

proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los

principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO

A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo

A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones

A 24 Elaborar la propuesta final incorporando recomendaciones

A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de

FONTAGRO

A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO

coordinadores de proyectos y especialistas en monitoreo y seguimiento

2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO

En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos

enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of

Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del

Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero

muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que

consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el

uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y

difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de

maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar

Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se

reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las

consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen

consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es

relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad

inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la

informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los

estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan

como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)

Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la

Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el

Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho

impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La

eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola

de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un

impacto pequentildeo si los costos son miacutenimos

En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es

decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del

Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se

consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la

complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la

informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones

1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes

1) El financiamiento del FONTAGRO

2) El financiamiento de contrapartida de los paiacuteses

La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse

esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la

inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados

con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para

obtener los resultados

nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones

regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la

dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten

objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y

privadas sobre cuyos costos es difiacutecil obtener informacioacuten2

La metodologiacutea del ABC debe responder a tres preguntas

bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis

bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis

bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las

consecuencias (beneficios y costos) futuras para obtener el valor presente

21 Definicioacuten de conceptos baacutesicos

Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de

conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar

el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe

entonces establecer que se entiende por Resultado del Proyecto y que se entiende por

Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes

entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de

Vida de un Proyecto financiado por el FONTAGRO

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto

2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten

del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)

sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad

adicional a su estimacioacuten en teacuterminos reales

Con este esquema en vista y para los fines de este trabajo se definen

Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de

cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash

DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto

Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la

ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o

producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los

Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para

la evaluacioacuten (tema tratado maacutes adelante)

Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas

caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de

los Resultados del Proyecto

Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por

el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten

3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la

etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten

objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden

como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas

las etapas esteacuten presentes y se ejecuten de forma correcta

Disentildeo y Preparacioacuten

Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de

indicadores de impacto

bull Medicioacuten del Valor Inicial de los Indicadores(Io)

Difusioacuten adopcioacutende Resultados

Descripcioacuten de la liacutenea Finalbull Medicioacuten del

Valor Final de los Indicadores (It)

Antildeos

Poblacioacuten Objetivo antes de

la Intervencioacuten

Poblacioacuten Objetivo despueacutes

de la Intervencioacuten

Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Ejecucioacuten de las Actividades

Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo

Finalizacioacuten Obtencioacuten de Resultados

PresentacioacutenEvaluacioacutenAprobacioacuten

Seguimiento por ReportesAprobacioacutenReporte FinalEficacia

Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto

Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Evaluacioacuten aleatoria

cada 5 antildeos FONTAGRO

CONSORCIOPAISES

CONSORCIOPAISES

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de

FONTAGRO

A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO

coordinadores de proyectos y especialistas en monitoreo y seguimiento

2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO

En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos

enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of

Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del

Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero

muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que

consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el

uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y

difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de

maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar

Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se

reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las

consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen

consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es

relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad

inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la

informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los

estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan

como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)

Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la

Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el

Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho

impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La

eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola

de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un

impacto pequentildeo si los costos son miacutenimos

En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es

decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del

Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se

consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la

complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la

informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones

1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes

1) El financiamiento del FONTAGRO

2) El financiamiento de contrapartida de los paiacuteses

La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse

esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la

inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados

con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para

obtener los resultados

nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones

regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la

dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten

objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y

privadas sobre cuyos costos es difiacutecil obtener informacioacuten2

La metodologiacutea del ABC debe responder a tres preguntas

bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis

bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis

bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las

consecuencias (beneficios y costos) futuras para obtener el valor presente

21 Definicioacuten de conceptos baacutesicos

Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de

conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar

el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe

entonces establecer que se entiende por Resultado del Proyecto y que se entiende por

Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes

entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de

Vida de un Proyecto financiado por el FONTAGRO

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto

2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten

del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)

sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad

adicional a su estimacioacuten en teacuterminos reales

Con este esquema en vista y para los fines de este trabajo se definen

Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de

cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash

DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto

Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la

ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o

producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los

Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para

la evaluacioacuten (tema tratado maacutes adelante)

Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas

caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de

los Resultados del Proyecto

Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por

el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten

3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la

etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten

objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden

como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas

las etapas esteacuten presentes y se ejecuten de forma correcta

Disentildeo y Preparacioacuten

Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de

indicadores de impacto

bull Medicioacuten del Valor Inicial de los Indicadores(Io)

Difusioacuten adopcioacutende Resultados

Descripcioacuten de la liacutenea Finalbull Medicioacuten del

Valor Final de los Indicadores (It)

Antildeos

Poblacioacuten Objetivo antes de

la Intervencioacuten

Poblacioacuten Objetivo despueacutes

de la Intervencioacuten

Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Ejecucioacuten de las Actividades

Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo

Finalizacioacuten Obtencioacuten de Resultados

PresentacioacutenEvaluacioacutenAprobacioacuten

Seguimiento por ReportesAprobacioacutenReporte FinalEficacia

Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto

Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Evaluacioacuten aleatoria

cada 5 antildeos FONTAGRO

CONSORCIOPAISES

CONSORCIOPAISES

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO

En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos

enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of

Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del

Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero

muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que

consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el

uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y

difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de

maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar

Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se

reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las

consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen

consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es

relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad

inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la

informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los

estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan

como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)

Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la

Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el

Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho

impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La

eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola

de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un

impacto pequentildeo si los costos son miacutenimos

En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es

decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del

Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se

consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la

complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la

informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones

1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes

1) El financiamiento del FONTAGRO

2) El financiamiento de contrapartida de los paiacuteses

La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse

esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la

inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados

con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para

obtener los resultados

nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones

regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la

dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten

objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y

privadas sobre cuyos costos es difiacutecil obtener informacioacuten2

La metodologiacutea del ABC debe responder a tres preguntas

bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis

bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis

bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las

consecuencias (beneficios y costos) futuras para obtener el valor presente

21 Definicioacuten de conceptos baacutesicos

Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de

conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar

el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe

entonces establecer que se entiende por Resultado del Proyecto y que se entiende por

Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes

entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de

Vida de un Proyecto financiado por el FONTAGRO

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto

2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten

del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)

sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad

adicional a su estimacioacuten en teacuterminos reales

Con este esquema en vista y para los fines de este trabajo se definen

Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de

cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash

DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto

Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la

ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o

producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los

Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para

la evaluacioacuten (tema tratado maacutes adelante)

Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas

caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de

los Resultados del Proyecto

Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por

el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten

3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la

etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten

objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden

como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas

las etapas esteacuten presentes y se ejecuten de forma correcta

Disentildeo y Preparacioacuten

Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de

indicadores de impacto

bull Medicioacuten del Valor Inicial de los Indicadores(Io)

Difusioacuten adopcioacutende Resultados

Descripcioacuten de la liacutenea Finalbull Medicioacuten del

Valor Final de los Indicadores (It)

Antildeos

Poblacioacuten Objetivo antes de

la Intervencioacuten

Poblacioacuten Objetivo despueacutes

de la Intervencioacuten

Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Ejecucioacuten de las Actividades

Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo

Finalizacioacuten Obtencioacuten de Resultados

PresentacioacutenEvaluacioacutenAprobacioacuten

Seguimiento por ReportesAprobacioacutenReporte FinalEficacia

Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto

Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Evaluacioacuten aleatoria

cada 5 antildeos FONTAGRO

CONSORCIOPAISES

CONSORCIOPAISES

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones

regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la

dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten

objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y

privadas sobre cuyos costos es difiacutecil obtener informacioacuten2

La metodologiacutea del ABC debe responder a tres preguntas

bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis

bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis

bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las

consecuencias (beneficios y costos) futuras para obtener el valor presente

21 Definicioacuten de conceptos baacutesicos

Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de

conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar

el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe

entonces establecer que se entiende por Resultado del Proyecto y que se entiende por

Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes

entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de

Vida de un Proyecto financiado por el FONTAGRO

Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto

2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten

del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)

sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad

adicional a su estimacioacuten en teacuterminos reales

Con este esquema en vista y para los fines de este trabajo se definen

Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de

cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash

DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto

Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la

ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o

producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los

Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para

la evaluacioacuten (tema tratado maacutes adelante)

Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas

caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de

los Resultados del Proyecto

Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por

el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten

3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la

etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten

objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden

como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas

las etapas esteacuten presentes y se ejecuten de forma correcta

Disentildeo y Preparacioacuten

Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de

indicadores de impacto

bull Medicioacuten del Valor Inicial de los Indicadores(Io)

Difusioacuten adopcioacutende Resultados

Descripcioacuten de la liacutenea Finalbull Medicioacuten del

Valor Final de los Indicadores (It)

Antildeos

Poblacioacuten Objetivo antes de

la Intervencioacuten

Poblacioacuten Objetivo despueacutes

de la Intervencioacuten

Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Ejecucioacuten de las Actividades

Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo

Finalizacioacuten Obtencioacuten de Resultados

PresentacioacutenEvaluacioacutenAprobacioacuten

Seguimiento por ReportesAprobacioacutenReporte FinalEficacia

Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto

Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Evaluacioacuten aleatoria

cada 5 antildeos FONTAGRO

CONSORCIOPAISES

CONSORCIOPAISES

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

Con este esquema en vista y para los fines de este trabajo se definen

Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de

cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash

DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto

Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la

ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o

producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los

Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para

la evaluacioacuten (tema tratado maacutes adelante)

Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas

caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de

los Resultados del Proyecto

Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por

el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten

3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la

etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten

objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden

como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas

las etapas esteacuten presentes y se ejecuten de forma correcta

Disentildeo y Preparacioacuten

Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de

indicadores de impacto

bull Medicioacuten del Valor Inicial de los Indicadores(Io)

Difusioacuten adopcioacutende Resultados

Descripcioacuten de la liacutenea Finalbull Medicioacuten del

Valor Final de los Indicadores (It)

Antildeos

Poblacioacuten Objetivo antes de

la Intervencioacuten

Poblacioacuten Objetivo despueacutes

de la Intervencioacuten

Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Ejecucioacuten de las Actividades

Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo

Finalizacioacuten Obtencioacuten de Resultados

PresentacioacutenEvaluacioacutenAprobacioacuten

Seguimiento por ReportesAprobacioacutenReporte FinalEficacia

Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto

Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo

Evaluacioacuten aleatoria

cada 5 antildeos FONTAGRO

CONSORCIOPAISES

CONSORCIOPAISES

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

denominados como Beneficiarios Finales Es importante tener perfectamente identificada

la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se

debe requerir

Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se

conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente

adoptados (apropiacioacuten social)

Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con

dos condiciones

a Sus elementos son parte de la Poblacioacuten Objetivo y

b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado

del Proyecto

Indicador Por indicador se entiende un valor que representa o resume determinadas

caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el

rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se

expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial

22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del

anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)

el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten

221 El Tamantildeo o dimensioacuten del Proyecto

Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer

dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien

afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5

Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en

la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por

la intervencioacuten del Proyecto

Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto

en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por

la intervencioacuten del Proyecto

222 El alcance temporal

El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de

vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post

4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto

de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)

el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la

evaluacioacuten La Figura anterior ilustra estos conceptos

Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los

resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este

tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de

inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En

estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten

el riesgo asociado a la incertidumbre en alcanzar el resultado previsto

Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los

resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables

En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en

la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma

utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La

difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social

de la institucioacuten que generoacute la innovacioacuten

Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados

de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados

transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la

poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados

no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo

puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute

transfiriendo

Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza

al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los

tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos

observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con

informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo

y de ahiacute su nombre

Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea

transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se

han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo

por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los

Resultados

6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten

tecnoloacutegica

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

223 La naturaleza del bien afectado

La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la

valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo

y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de

mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y

3) Bienes Puacuteblicos NO valorizables7

Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales

existe un mercado donde se establece un precio que se puede tomar como referencia para

establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan

los cereales la carne las frutas el pan etc

Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para

los cuales NO existe un mercado donde se establece un precio que se puede tomar como

referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a

medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o

peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la

contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de

efecto invernadero) entre otros

Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes

para los cuales NO existe un mercado donde se establece un precio que se puede tomar

como referencia para establecer el valor de una unidad del bien ni tampoco es posible

recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad

ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten

cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor

monetario

Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se

reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de

Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la

Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos

tres criterios

Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien

Proyecto Bien afectado Indicador del

Tamantildeo del Impacto

Momento de la evaluacioacuten

Tipo de evaluacioacuten Naturaleza Valor

Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede

referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten

entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

Puacuteblico No Valorizable Cualitativo

Ex Post Marginal Ex Post

Privado Valorizable Precio Mercado

Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

NO marginal

Ex Ante

Privado Valorizable Precio Mercado

No Marginal Ex Ante Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

Ex Post

Privado Valorizable Precio Mercado

No Marginal Ex Post Puacuteblico Valorizable Precio Social

Puacuteblico No Valorizable Cualitativo

224 Valores de los Indicadores e Impactos

Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la

poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el

Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas

para medir el impacto del proyecto sobre el valor de los indicadores buscados

Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos

Poblacioacuten Objetivo Relaciones uacutetiles

Momento Atendida = Valor del indicador en la poblacioacuten atendida

No Atendida = Valor del indicador en la poblacioacuten control

Antes = Valor del indicador antes del Proyecto (valores iniciales)

1198830119860 1198830

119873 119860 = (1198830119860 minus 1198830

119873) 1198830119873frasl

Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (

119883119879119860 119883119879

119873 119861 = (119883119879119860 minus 119883119879

119873) 119883119879119873frasl

Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830

119860) 1198830119860frasl 119863 = (119883119879

119873 minus 1198830119873) 1198830

119873frasl 119864 = 119862 minus 119863

Donde

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)

= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)

0

AX

0

NX

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales

= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten

= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto

A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar

B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo

C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto

D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se

podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo

Ejemplo

El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el

objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo

identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del

proyecto Los resultados fueron

Momento Poblacioacuten Objetivo

Relaciones Atendida No Atendida

Antes 15 tha 23 tha A = -35

Despueacutes 30 tha 30 tha B = 0

Relaciones C =100 D = 30 E = 70

Los resultados alcanzados se interpretan de la forma siguiente

A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control

A

TX

N

TX

0 0 0( ) A N NX X Xminus

( ) A N N

T T TX X Xminus

0 0( ) A A A

TX X Xminus

0 0( ) N N N

TX X Xminus

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto

El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten

Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u

Y = Indicador (por ejemplo rendimiento)

D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)

= 0 para observaciones en la line base

D2 = 1 para observaciones de adoptadores

= 0 para observaciones de NO adoptadores

El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la

Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones

y por lo tanto subestima el impacto si estos desbordes son positivos

La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la

poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio

del proyecto y despueacutes de finalizado el proyecto)

La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados

Adoptador No Adoptador Diferencia

Antes β0 + β1 β0 (β1) = ldquoArdquo

Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo

Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo

El problema surge con consideraciones de sobre que sub conjunto o segmento de la

poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al

Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que

una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en

el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma

unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado

la unidad si no hubiera adoptado el Resultado

Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de

grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay

dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi

Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en

estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces

complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados

pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro

de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles

Meacutetodo Descripcioacuten

Experimental

Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria

No Experimental

Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel

Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta

Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado

Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos

225 Medicioacuten de las consecuencias fiacutesicas de los Resultados

Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo

aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad

en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de

cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una

reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y

agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad

del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o

calidad)

La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento

resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el

rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del

mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el

rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las

condiciones agroclimaacuteticas fuera del control del productor

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

Figura 2 Esquema del impacto directo e indirecto de un Resultado

En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la

incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y

la ex post

Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC

Tipo de evaluacioacuten

Hay Difusioacutenuso

Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias

Ex - Ante NO9

En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es

prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos

Ex -Post SI

En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus

impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores

23 Valorizacioacuten

231 Bienes privados

La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del

impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien

Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe

estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado

este en uso (ciclo de vida de la tecnologiacutea)

9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el

tratamiento

Rendimiento(Y)

Calidad recurso(S)

Condiciones agroclimaacuteticas

Uso Resultado

(T)

Y S

S T

Y T

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en

el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros

estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una

prima por el riesgo de cambiar la praacutectica para el productor10

119881119860 = sum∆119861119861119905

(1+119903)119905119905=119879119905=1

232 Bienes puacuteblicos valorizables

El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio

en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de

dicho efecto (Horwarth y Farber 2002)

119881119861119875 = Δ119878 lowast 119875119904

Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como

consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la

contribucioacuten marginal del efecto externo al bienestar social expresado en unidades

monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten

empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los

diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar

La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas

de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten

de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la

disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la

metodologiacutea

10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de

intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Meacutetodo de mercado

convencional

Dosis - Respuesta

Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad

Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito

Costo de reposicioacuten

Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten

Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial

Meacutetodo de la funcioacuten de produccioacuten Costo de viaje

Estima el costo de viajar para disfrutar de la externalidad

Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias

Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad

Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar

Meacutetodo de los Precios hedoacutenicos

Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado

Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios

Premio salarial por riesgo

Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud

Solo se usa en casos laborales

Meacutetodos Experimentales

Valuacioacuten contingente

Estima las preferencias y disposicioacuten a pagar por la externalidad

Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas

Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad

Similar al anterior

Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11

11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts

Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

20

En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de

reposicioacuten como mecanismo para obtener el precio sombra de valor del bien

233 Bienes puacuteblicos no valorizables

Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible

entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12

Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por

ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo

por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto

sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de

comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad

119888 = 119862119876

Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del

Proyecto

Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se

puede estimar la efectividad del costo de forma Ex ndashAnte

La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para

usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la

literatura es la escala de Liekert basada en 5 valores para medir actitudes o

predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son

1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto

estaacute dirigida a reducir el Nivel de Empleo

2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de

conocimiento previo

i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la

magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en

la comunidad a traveacutes e una escala como la siguiente

Indicador Valor de la escala

12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas

nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores

ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado

en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi

P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y

El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

21

Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo

Valor -2 -1 0 1 2

ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma

de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se

somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente

proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el

nivel de empleo en la Comunidadrdquo

Indicador Grado de acuerdo

Concepto Totalmente en desacuerdo

Desacuerdo Indiferente Parcialmente de acuerdo

Totalmente de acuerdo

Valor 1 2 3 4 5

Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre

se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno

en cuestioacuten

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

22

3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de

los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del

anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos

aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos

contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que

caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar

una unidad de anaacutelisis diferente

La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos

financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron

incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)

Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)

Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15

A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para

la evaluacioacuten del impacto

i) Aacuterea de Investigacioacuten

Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal

actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de

valores que se listan en la Tabla siguiente

Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos

Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol

Pasturas

Acuicultura Frutales Andinos Exoacuteticos

Cambio Climaacutetico - Papa Plaacutetano

Agricultura Familiar - Productos Orgaacutenicos

Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo

Recursos Naturales - Agua

Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten

Alfalfa Ganaderiacutea y Forestacioacuten

Camote Smilax ssp

Arroz Ganaderiacutea y Recursos Forrajeros

Cebada Solanaacuteceas

Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar

Tomate

Banano Inocuidad Alimentaria

Estudios Socioeconoacutemicos - Cereales oleaginosas y otros

Trigo

Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente

Yuca

Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas

14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en

formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con

9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la

poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

23

Biacuteo -insumos - Plaacutetano y Hortiacutecolas

Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa

Buenas Praacutecticas Agriacutecolas

Maiacutez Frijol Chile Yuca

Cambio Climaacutetico - Ganaderiacutea Papaya

Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten

En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden

agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas

subcategoriacuteas como sigue

bull Aacutembito Privado

o Cultivos

o Ganaderiacutea

o Sistemas Productivos

bull Aacutembito Puacuteblico Semipuacuteblico

o Recursos Naturales Clima y Ambiente

o Informacioacuten socioeconoacutemica y otra naturaleza

Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub

-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de

leche pero por ahora no se requiere esta distincioacuten

Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla

siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados

en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron

en la categoriacutea de recursos naturales

Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO

Aacutembito

Privado 82

Cultivos 74

Ganaderiacutea 6

Sistema agro productivo 3

Puacuteblico Semipuacuteblico 18

RRNN Clima y Ambiente 14

Informacioacuten capacitacioacuten 4

100

ii) Tipo de Investigacioacuten

Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se

distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la

naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

24

(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de

laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)

Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con

productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica

cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios

socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del

Proyecto que de los resultados en si y que no es excluyente con lo que se introduce

ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser

Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16

Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la

predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento

geneacutetico de cultivos y animales

Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos

Tipo de investigacioacuten

Adaptativa 6

Aplicada 6

Baacutesica 82

Estrateacutegica 6

En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre

Proyectos del impacto y no tanto para estimar el impacto en siacute mismo

iii) Tipo de Innovacioacuten

Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los

resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito

donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica

predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de

cambios por lo que estas categoriacuteas podriacutean subsumirse en una

Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos

Tipo de innovacioacuten

Institucional 1

Organizacional 4

Tecnoloacutegica 95

16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser

estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define

innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

25

iv) Tipo de Desarrollo

En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto

intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo

los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas

(Tabla)

Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto

Tipo de Desarrollo

Manejo Integrado de Plagas 236

Geneacutetica Baacutesica 216

Cadena de Valor 163

Practicas Agronoacutemicas 141

Resistencia a Plagas y Enfermedades 135

Meacutetodo de Diagnoacutestico 54

Manejo de Postcosecha 35

Resistencia a Plagas y EnfermedadesTolerancia a sequia

10

Sistema de Informacioacuten (Desarrollo) 10

Tolerancia a sequia 01

Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en

estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de

produccioacuten de la unidad productiva

1 Mejoramiento geneacutetico (productividad resistencia tolerancia)

2 Sequia

3 MIP

4 Manejo

5 Cadena de Valor ndash Sistema de informacioacuten

Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la

metodologiacutea para la evaluacioacuten del impacto

v) Componente

Se trata de una variable auxiliar que sirve para categorizar agrupar la gran

infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario

estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno

varios o todos los proyectos selecciona en la base de datos en la columna campo de dato

ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los

18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de

conocimiento y comunicacioacuten

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

26

indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a

otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas

predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)

Tabla 10 Valores de la variable componente en la base de datos

Proyecto 43

Produccioacuten 28

Fortalecimiento de Capacidades 13

Recursos Geneacuteticos 8

Socioeconoacutemico 5

Industrial 3

Ambiental 02

Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo

de la metodologiacutea para la evaluacioacuten del impacto

vi) Indicador Detalle

Esta variable se refiere al nombre de los indicadores identificados para caracterizar el

Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los

74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten

de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra

la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto

Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos

Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores

se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades

realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del

5

37

15

11

31 2

0

5

10

15

20

25

30

35

40

1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60

Frecuencia absoluta

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

27

Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los

impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que

otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de

los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es

identificar ambos grupos en el conjunto de indicadores

A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten

Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la

espiga de trigo

N Indicadores en la base de datos Indicador de

1 Aumento del ingreso Impacto

2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad

3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad

4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado

5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina

Resultado

6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay

Resultado

7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica

18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad

21 Organismo Ejecutor Caracteriacutestica

22 Paiacutes ejecutor Caracteriacutestica

23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad

26 Publicaciones Resultado

27 Reduccioacuten de costos directos ResultadoImpacto

28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto

29 Seleccioacuten de variedades Actividad

30 Teacutecnicos y profesionales capacitados Resultado

31 Titulo Simple Caracteriacutestica

32 Total Caracteriacutestica

Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios

climaacuteticos en distintas regiones del Cono Sur

N Indicadores en la base de datos Indicador de

1 Cantidad de accesiones testeados Actividad

2 Cantidad de Hiacutebridos testeados Actividad

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

28

N Indicadores en la base de datos Indicador de

3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad

Cuencas caracterizadas y modeladas Actividad

Estado Caracteriacutestica

Estrategias de riego deficitario (Bolivia) Resultado

Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado

Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado

Modelos de crecimiento de cultivos validados Resultado

Organismo Ejecutor Caracteriacutestica

Otras Agencias Caracteriacutestica

Paiacutes ejecutor Caracteriacutestica

Peso del racimo Resultado

PresentacionesSeminariosTalleres Actividad

Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado

Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el

indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la

Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

29

vii) Unidad

La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655

entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras

que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se

registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos

ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que

predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)

ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de

recursos relacionados con indicadores de Resultados e Impacto

Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO

Unidad Frecuencia Unidad Frecuencia

Sin unidad 510 Ac Laacutectico 1

cant 502 parasitismo 1

$ 270 caracoles 1

97 (0-100) 1

cm 36 aantildeo 1

u$sha 35 cantm2 1

cant 25 cc 1

kgha 24 Cj 1

tha 16 cm3 1

dias 13 Degrees Brix 1

ha 12 gcabdia 1

kgm3 12 j10000 1

kg 10 Kcal 1

mm 9 Kcalg 1

gr 6 kg MSha 1

kgarbol 5 kgarbolanio 1

tnha 5 KgLtr 1

g 4 kgf 1

gtZ17 (Primera) 4 Mgha 1

u$s 4 miligr100g 1

kgplanta 3 nanio 1

mg100g 3 Prom Mensual 1

sino 3 qqha 1

u$sanio 3 rollosha 1

u$sunidad 3 Secuencias 1

grm 2 thaanio 1

kghl 2 u$scapitaanio 1

mg100ml 2 u$sg 1

minutos 2 unidades 1

ppm 2 TOTAL 1655

R2 2

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

30

viii) Valor Antes

La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen

valores para algunos de los indicadores relacionados con la productividad (rendimiento)

ix) Valor Despueacutes

La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores

para algunos de los indicadores relacionados con la productividad (rendimiento)

La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos

son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el

reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los

indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los

valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se

realizan en campos de productores colaboradores por lo que pueden considerarse como

indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo

4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular

es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de

las referencias que se consideran claves en la literatura en el sentido que presentan

revisiones de los meacutetodos usados hasta el momento de su publicacioacuten

41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis

del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten

de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal

411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico

En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado

cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos

(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda

del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos

Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y

algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten

requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia

sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la

investigacioacuten agropecuaria

Tabla 12 Referencias y Programas para el ABC

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

31

Referencias Caracteriacutesticas

Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press

Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas

Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu

Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual

Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar

Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades

University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April

Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria

CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico

Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)

CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico

Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales

Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010

Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual

32

Referencias Caracteriacutesticas

es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola

Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices

Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh

Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)

Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas

Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January

Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto

Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto

Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales

Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto

Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina

Software

International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)

Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas

33

Referencias Caracteriacutesticas

complejos y simples (incluyendo casos de proyectos marginales)

Dynamic Research EvAluation for Management SUR (DREAMSUR)

Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga

Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)

Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm

En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se

simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma

de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que

los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis

marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y

demanda

La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos

al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas

caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los

Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las

condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en

algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de

algunos de estos programas19

Tabla 13 Herramientas de Caacutelculo del ABC en Excel

Origen Nombre Fuente

US Departamento de Energiacutea

ABC para la industria de la iluminacioacuten

Descripcioacuten

Reliable Business Case

Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios

Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida

Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental

19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-

en-el-desarrolloevaluation-hubinicio17844html

33

Referencias Caracteriacutesticas

complejos y simples (incluyendo casos de proyectos marginales)

Dynamic Research EvAluation for Management SUR (DREAMSUR)

Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga

Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)

Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm

En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se

simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma

de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que

los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis

marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y

demanda

La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos

al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas

caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los

Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las

condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en

algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de

algunos de estos programas19

Tabla 13 Herramientas de Caacutelculo del ABC en Excel

Origen Nombre Fuente

US Departamento de Energiacutea

ABC para la industria de la iluminacioacuten

Descripcioacuten

Reliable Business Case

Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios

Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida

Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental

19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-

en-el-desarrolloevaluation-hubinicio17844html

34

Origen Nombre Fuente

FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel

httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319

Florida Department of Environmental

Protection

Plantilla de Excel del anaacutelisis costo-

beneficio

Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible

reconoce muchas categoriacuteas de costos y de beneficios

Florida Department of Environmental Protection

Regis University

Plantilla de Excel del anaacutelisis costo-

beneficio

Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales

Regis University

GIZ Documento sobre ABC forestal

Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas

httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf

5 Pertinencia de las metodologiacuteas existente

51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la

variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que

deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten

del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en

tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos

Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una

Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en

el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo

Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades

mejoradas

Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)

sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el

proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo

Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la

productividad y o calidad del producto

Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea

Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es

decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el

sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre

factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar

a mejorar el uso de innovaciones existentes

35

La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo

instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de

situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los

aspectos metodoloacutegicos baacutesicos que se acuerden

6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO

La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de

que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes

componentes

IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES

O

IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO

El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya

sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados

o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y

ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala

nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado

tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga

un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se

pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir

que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto

IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO

61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a

la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta

decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del

impacto en la dimensioacuten econoacutemica

En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco

probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede

ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre

los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes

DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas

36

En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene

un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del

Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes

de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto

Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades

de oferta y demanda

La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser

usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de

la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes

conveniente para el anaacutelisis

La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto

y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada

(Refieacuterase a la Figura 1)

En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos

potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease

Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque

todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los

Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten

generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas

de productores colaboradores

Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de

Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando

a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la

poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten

Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se

elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su

elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos

En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado

con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre

los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar

sin embargo es el anaacutelisis menos costoso de los tres

Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se

vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten

obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores

experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser

pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de

incertidumbre se reducen considerablemente y es posible cuantificarlos mediante

procedimientos estadiacutesticos Tiene un costo medio

37

Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria

se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la

aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5

antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los

resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el

anaacutelisis mas costoso

La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el

proceso

7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes

cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del

FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica

Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para

preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de

investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se

presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es

exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes

general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses

Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa

en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del

impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se

considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los

paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en

una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para

la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de

operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que

sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones

maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto

En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el

INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que

se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una

posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio

presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra

trabajando en su correccioacuten

A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta

de trabajo presentada

36

En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene

un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del

Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes

de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto

Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades

de oferta y demanda

La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser

usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de

la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes

conveniente para el anaacutelisis

La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto

y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada

(Refieacuterase a la Figura 1)

En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos

potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease

Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque

todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los

Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten

generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas

de productores colaboradores

Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de

Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando

a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la

poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten

Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se

elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su

elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos

En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado

con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre

los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar

sin embargo es el anaacutelisis menos costoso de los tres

Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se

vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten

obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores

experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser

pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de

incertidumbre se reducen considerablemente y es posible cuantificarlos mediante

procedimientos estadiacutesticos Tiene un costo medio

37

Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria

se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la

aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5

antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los

resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el

anaacutelisis mas costoso

La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el

proceso

7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes

cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del

FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica

Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para

preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de

investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se

presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es

exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes

general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses

Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa

en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del

impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se

considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los

paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en

una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para

la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de

operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que

sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones

maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto

En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el

INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que

se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una

posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio

presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra

trabajando en su correccioacuten

A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta

de trabajo presentada

37

Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria

se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la

aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5

antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los

resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el

anaacutelisis mas costoso

La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el

proceso

7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes

cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del

FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica

Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para

preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de

investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se

presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es

exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes

general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses

Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa

en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del

impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se

considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los

paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en

una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para

la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de

operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que

sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones

maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto

En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el

INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que

se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una

posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio

presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra

trabajando en su correccioacuten

A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta

de trabajo presentada

38

i De los bienes intangibles y su valorizacioacuten

1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional

etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la

naturaleza del proyecto y las capacidades del equipo

2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus

impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes

oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero

en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten

indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores

empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones

como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones

de deberiacutea reflejar posteriormente en indicadores valorizables

3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta

considerablemente con los meacutetodos indirectos y las capacidades necesarias para una

correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de

implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se

pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con

sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus

capacidades y luego recurren a la evaluacioacuten cualitativa

4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades

profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten

econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se

trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las

dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar

se evaluacutea en teacuterminos cualitativos

5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles

difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con

bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante

valorizable de forma directa

ii De las responsabilidades y costos

1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente

aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma

y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento

delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas

2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de

una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de

decisiones de forma apropiada pueden superar holgadamente los costos de

suelaboracion

39

ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO

Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas

para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO

podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue

un papel en el proceso de calificacioacuten para su financiamiento

En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex

- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una

Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al

finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se

obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del

impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de

los resultados en la poblacioacuten objetivo vaya mejorando

La Figura siguiente ilustra el proceso

Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO

40

Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma

llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del

anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la

literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores

del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema

Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y

estima los indicadores de Impacto requeridos-

Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero

esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir

20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO

Presenta PropuestaLlena Plantilla Digital

Plataforma

Reporte de ResultadosLlena Plantilla Digital

Plataforma

Evaluacutea y aprueba Propuesta

Secretaria Teacutecnica

ResultadosEncuesta Colaboradores

Plataforma

1

2

3

Ingresa Informacioacutenparaacutemetros

EJECUCION

Sistema estima Impacto Ex ndash Ante 1

Secretaria Teacutecnica

Ingresa Informacioacutenparaacutemetros

Sistema estima Impacto Ex ndash Ante 2

Secretaria Teacutecnica

LiteraturaDatos secundariosConsulta expertos

Plataforma

DIFUSION

Ingresa Informacioacutenparaacutemetros

Sistema estima Impacto Ex ndash Ante 3

Secretaria TeacutecnicaEncuesta Poblacioacuten

Objetivo

Secretaria Teacutecnica

41

usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto

y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo

Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de

una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado

al menos 4 a 5 antildeos antes

Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que

proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria

Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de

fundamental importancia en el proceso

Resumiendo la estructura se puede resumir en el procedimiento siguiente

1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y

a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una

metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el

FONTAGRO

b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante

del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de

proyecto y se refiere a los valores de los paraacutemetros necesarios para que el

FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto

potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la

evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar

nuevos valores para obtener una nueva evaluacioacuten

2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma

presenta

a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma

metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten

inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las

actividades del Proyecto (Resultados)

b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del

impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de

las actividades del Proyecto (Resultados)

3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del

Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea

realizar

En teacuterminos de las convocatorias se propone

1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante

del impacto

2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el

levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten

42

(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe

estar incluido en el pago inicial (primer pago)

3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar

los pagos subsecuentes

39

ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO

Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas

para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO

podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue

un papel en el proceso de calificacioacuten para su financiamiento

En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex

- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una

Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al

finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se

obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del

impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de

los resultados en la poblacioacuten objetivo vaya mejorando

La Figura siguiente ilustra el proceso

Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO

40

Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma

llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del

anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la

literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores

del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema

Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y

estima los indicadores de Impacto requeridos-

Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero

esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir

20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO

Presenta PropuestaLlena Plantilla Digital

Plataforma

Reporte de ResultadosLlena Plantilla Digital

Plataforma

Evaluacutea y aprueba Propuesta

Secretaria Teacutecnica

ResultadosEncuesta Colaboradores

Plataforma

1

2

3

Ingresa Informacioacutenparaacutemetros

EJECUCION

Sistema estima Impacto Ex ndash Ante 1

Secretaria Teacutecnica

Ingresa Informacioacutenparaacutemetros

Sistema estima Impacto Ex ndash Ante 2

Secretaria Teacutecnica

LiteraturaDatos secundariosConsulta expertos

Plataforma

DIFUSION

Ingresa Informacioacutenparaacutemetros

Sistema estima Impacto Ex ndash Ante 3

Secretaria TeacutecnicaEncuesta Poblacioacuten

Objetivo

Secretaria Teacutecnica

41

usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto

y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo

Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de

una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado

al menos 4 a 5 antildeos antes

Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que

proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria

Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de

fundamental importancia en el proceso

Resumiendo la estructura se puede resumir en el procedimiento siguiente

1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y

a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una

metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el

FONTAGRO

b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante

del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de

proyecto y se refiere a los valores de los paraacutemetros necesarios para que el

FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto

potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la

evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar

nuevos valores para obtener una nueva evaluacioacuten

2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma

presenta

a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma

metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten

inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las

actividades del Proyecto (Resultados)

b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del

impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de

las actividades del Proyecto (Resultados)

3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del

Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea

realizar

En teacuterminos de las convocatorias se propone

1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante

del impacto

2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el

levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten

42

(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe

estar incluido en el pago inicial (primer pago)

3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar

los pagos subsecuentes

40

Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma

llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del

anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la

literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores

del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema

Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y

estima los indicadores de Impacto requeridos-

Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero

esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir

20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO

Presenta PropuestaLlena Plantilla Digital

Plataforma

Reporte de ResultadosLlena Plantilla Digital

Plataforma

Evaluacutea y aprueba Propuesta

Secretaria Teacutecnica

ResultadosEncuesta Colaboradores

Plataforma

1

2

3

Ingresa Informacioacutenparaacutemetros

EJECUCION

Sistema estima Impacto Ex ndash Ante 1

Secretaria Teacutecnica

Ingresa Informacioacutenparaacutemetros

Sistema estima Impacto Ex ndash Ante 2

Secretaria Teacutecnica

LiteraturaDatos secundariosConsulta expertos

Plataforma

DIFUSION

Ingresa Informacioacutenparaacutemetros

Sistema estima Impacto Ex ndash Ante 3

Secretaria TeacutecnicaEncuesta Poblacioacuten

Objetivo

Secretaria Teacutecnica

41

usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto

y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo

Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de

una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado

al menos 4 a 5 antildeos antes

Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que

proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria

Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de

fundamental importancia en el proceso

Resumiendo la estructura se puede resumir en el procedimiento siguiente

1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y

a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una

metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el

FONTAGRO

b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante

del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de

proyecto y se refiere a los valores de los paraacutemetros necesarios para que el

FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto

potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la

evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar

nuevos valores para obtener una nueva evaluacioacuten

2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma

presenta

a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma

metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten

inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las

actividades del Proyecto (Resultados)

b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del

impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de

las actividades del Proyecto (Resultados)

3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del

Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea

realizar

En teacuterminos de las convocatorias se propone

1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante

del impacto

2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el

levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten

42

(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe

estar incluido en el pago inicial (primer pago)

3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar

los pagos subsecuentes

41

usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto

y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo

Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de

una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado

al menos 4 a 5 antildeos antes

Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que

proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria

Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de

fundamental importancia en el proceso

Resumiendo la estructura se puede resumir en el procedimiento siguiente

1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y

a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una

metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el

FONTAGRO

b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante

del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de

proyecto y se refiere a los valores de los paraacutemetros necesarios para que el

FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto

potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la

evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar

nuevos valores para obtener una nueva evaluacioacuten

2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma

presenta

a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma

metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten

inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las

actividades del Proyecto (Resultados)

b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del

impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de

las actividades del Proyecto (Resultados)

3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del

Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea

realizar

En teacuterminos de las convocatorias se propone

1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante

del impacto

2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el

levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten

42

(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe

estar incluido en el pago inicial (primer pago)

3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar

los pagos subsecuentes

42

(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe

estar incluido en el pago inicial (primer pago)

3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar

los pagos subsecuentes