1

Informe Final de Consultoría

“Propuesta de diseño e implementación de un Sistema de Seguimiento, Evaluación y Aprendizaje”

Proyecto “Modelos Innovadores de Intervención para el Sector Cafetero (CL-L1009)”

Banco Interamericano de Desarrollo (BID)

Consultor: Eduardo Zegarra Méndez

Octubre del 2005

2

Contenido del Informe

Introducción........................................................................................................................ 3 Sección 1. Los elementos del proyecto ........................................................................... 4 Sección 2. Los objetivos del proyecto y las implicancias para el seguimiento, la evaluación y el aprendizaje ........................................................................................... 8 Sección 3: El Sistema de Seguimiento, Evaluación y Aprendizaje (SSEA)................. 11 Sección 4: Métodos, instrumentos e indicadores para cada uno de los sub-sistemas............................................................................................................................ 15

4.1. El sub-sistema 1 .................................................................................... 15 4.2. El sub-sistema 2 .................................................................................... 18 4.2.1. La metodología para medir impactos................................................. 19 4.2.2. Criterios para la Línea de Base ......................................................... 21 4.3. El sub-sistema 3 .................................................................................... 24

Sección 5. Plan de Implantación del SSEA.................................................................... 27 Sección 6: Lineamientos para la evaluación ex post del proyecto.............................. 31 Anexo Nº 1: Determinación de Tamaño Muestral para Grupo de Control en Encuesta de Línea de Base ............................................................................................. 34 Anexo Nº 2: Términos de Referencia para el Estudio de Línea de Base para Proyecto “Modelos de Intervención para el Sector Cafetero” ..................................... 37 Anexo Nº 3 : El cálculo del cambio en productividad total de los factores ................ 41 Anexo Nº 4: Temas específicos que pueden ser materia de Estudios en el Sub-sistema de Aprendizaje.................................................................................................... 43 Anexo N° 5: Perfil del Especialista responsable del SSEA........................................... 44

3

Introducción El presente informe presenta la propuesta final del consultor para el diseño e implementación de un Sistema de Seguimiento, Evaluación y Aprendizaje (SSEA) del proyecto “Modelos de Intervención para el Sector Cafetero” actualmente en proceso de formulación por parte del Banco Interamericano de Desarrollo (BID) y la Federación Nacional de Cafeteros (FNC) de Colombia. La propuesta se basa en el Informe Inicial y los comentarios y observaciones planteados por el Banco y la contraparte a dicho informe. Las actividades desarrolladas por el Consultor para la realización de este Informe Final han sido las siguientes:

(i) Revisión de documentos sobre la evolución y situación actual del sector cafetero colombiano;

(ii) Revisión de documentos sobre experiencias previas de intervención en los mercados de factores del sector cafetero colombiano;

(iii) Participación en misión del BID para discutir el Marco Lógico y otros aspectos conceptuales y operativos del proyecto;

(iv) Revisión de literatura sobre evaluación de proyectos de desarrollo rural;

(v) Interacción con el coordinador del proyecto y los demás consultores sobre temas relevantes para el diseño inicial del proyecto.

(vi) Presentación de un Informe Inicial de consultoría, donde se planteó la estructura básica del SSEA y se describieron sus componentes e indicadores básicos;

(vii) Preparación de primera versión del Informe Final; (viii) Participación en una segunda misión del BID donde se realizaron

ajustes a la primera versión del Informe Final; (ix) Interacción con el coordinador del proyecto y demás consultores para

la preparación de la versión definitiva del Informe Final (x) Preparación del Informe Final

De acuerdo a los Términos de Referencia (TdR) para el trabajo del Consultor, el objetivo central de esta consultoría es “diseñar e implantar un Sistema de Seguimiento y Evaluación del Programa que permita:

• Evaluar los impactos económicos y sociales del programa en la población beneficiaria y en la caficultura colombiana;

4

• Tener seguimiento periódico de la calidad y cantidad de los instrumentos de acceso y movilización de recursos por parte de los beneficiarios;

• Identificar eventos críticos del programa para decidir sobre ajustes necesarios y eventualmente sobre continuidad de ciertos atributos del proyecto;

• Generar procesos de aprendizaje y retroalimentación útiles para evaluar la replicabilidad del programa para toda la caficultura colombiana.

El documento está dividido en seis secciones y varios anexos. En la primera sección describimos las características básicas del proyecto, especialmente sus objetivos y componentes operativos. En la segunda sección planteamos las implicancias básicas del proyecto respecto al diseño de un Sistema de Seguimiento, Evaluación y Aprendizaje apropiado a sus fines. La tercera sección presenta la propuesta de diseño del Sistema de Seguimiento, Evaluación y Aprendizaje (SSEA) para el proyecto. La cuarta sección describe los métodos, instrumentos e indicadores a usarse para cada uno de los componentes del Sistema propuesto. La quinta sección los elementos del Plan de Implementación del SSEA, así como los recursos humanos, físicos y financieros requeridos tanto para la operación del SSEA. Finalmente, la sexta sección describe los lineamientos para la evaluación ex post del proyecto.

Sección 1. Los elementos del proyecto El proyecto busca enfrentar problemas centrales de la caficultura colombiana por el lado productivo y organizacional, a saber, alta fragmentación de la propiedad, bajo nivel educativo y envejecimiento de los productores; precario acceso a crédito de trabajo y capitalización; y dificultades para acceder y adoptar nuevas tecnologías de producción y post-producción de café. Estos problemas impiden una mayor competitividad de la caficultura colombiana en un contexto de creciente competencia, diversificación de la demanda y una tendencia a menores precios internacionales para líneas de cafés tradicionales. El proyecto busca resolver estos problemas de forma integral a través de la introducción y puesta en prueba de nuevos modelos de gestión productiva, financiera y comercial, sobre la base de unidades conformadas por productores jóvenes asociados empresarialmente y con la institucionalidad cafetera (Federación Nacional de Cafeteros) proveyendo bienes y servicios públicos claves para resolver fallas de mercado de tierras, crédito y tecnología.

5

El esquema de intervención se sustenta en la operación de tres elementos básicos:

• Unidades Empresariales Cafeteras (UCAEs); • Empresa Incubadora (EI); • Unidades Especiales de Acompañamiento (UEAs).

Las UCAEs son las empresas que se formarían con jóvenes agricultores seleccionados por el proyecto y accediendo a tierras y recursos financieros obtenidos por el proyecto; la Empresa Incubadora es la empresa tenedora de los activos iniciales de las UCAEs (empresa holding) y estará a cargo de obtener y canalizar recursos financieros del sistema crediticio privado y público para la conformación y operación de las UCAEs; y las Unidades Especiales de Acompañamiento jugarán el rol de provisión de bienes públicos de asistencia técnica y seguimiento productivo, gerencial y social de las UCAEs. El proyecto tendrá una institucionalidad central a cargo de la Federación Nacional de Cafeteros (FNC) que es la encargada de definir y poner en práctica las reglas del juego y asignar los recursos del proyecto. Esta institucionalidad central está conformada por un Comité Directivo y por una Unidad de Coordinación del proyecto. La institucionalidad central interactúa con las Unidades Especiales de Acompañamiento y la Empresa Incubadora para el desarrollo del proyecto. Algunas de las reglas básicas definidas en este nivel son el tamaño de la intervención; las condiciones y normas para la selección de los participantes; las características de las tierras a ser compradas y asignadas; los paquetes tecnológicos y modelos empresariales disponibles para el proyecto; las condiciones financieras negociadas por la Empresa Incubadora, entre otros. El esquema de intervención puede ser descrito con mayor precisión en el Diagrama Nº 1, donde se presentan las relaciones entre los elementos básicos del proyecto y la institucionalidad central de la FNC, en un contexto de mercados e instituciones vigentes. Las líneas representan relaciones e interacciones entre los diversos elementos. El actor central de la intervención es la UCAE, que es la nueva organización empresarial formada por beneficiarios seleccionados de acuerdo a criterios establecidos. Las UCAEs se conforman sobre la base de tierras adquiridas por el proyecto, y con un menú de alternativas tecnológicas y de organización empresarial

6

disponibles en el sistema tecnológico y la legislación colombianas, respectivamente. Los lineamientos para estos procesos de selección son definidos al nivel central, pero son implementados a nivel de los comités departamentales en interacción con los propios beneficiarios, buscando que éstos se sientan realmente dueños de las empresas que están formando y manejando. Un objetivo importante del proyecto es que los jóvenes participantes adquieran totalmente la propiedad de las tierras al cabo de unos 10 años. Cabe señalar que también influyen en la conformación de las UCAEs las acciones de la Empresa Incubadora, que es la que debe generar acceso al sistema financiero reduciendo costos de transacción y negociación de contratos de préstamo para la formación y el funcionamiento de las empresas. La Empresa Incubadora recibe lineamientos de las instancias superiores del proyecto y aprovecha el aval, prestigio y capacidad de movilizar recursos financieros de la FNC. Finalmente, las UCAEs interaccionan con los mercados locales de factores y productos, así como con las condiciones ecológicas, culturales e institucionales para generar procesos de valor que benefician a los participantes, su entorno y al conjunto de la economía colombiana.

7

Diagrama Nº 1: Elementos Básicos del Proyecto Instancias

superiores, FNC, Comité

Directivo

Unidad de Coordinación Incubadora

Comités Regionales, Unidades Especiales de Acompañamiento

Mercado de Tierras Jóvenes Caficultores Alternativas tecnológicas Modelos Empresariales

Sistema Financiero

selección selección selección selección

Mercados de insumos y productos

Condiciones ecológicas, culturales e

institucionales

Sistema de Monitoreo, Evaluación y Aprendizaje

UCAE

8

Sección 2. Los objetivos del proyecto y las implicancias para el seguimiento, la evaluación y el aprendizaje El proyecto tiene como un objetivo importante el poder validar, evaluar y aprender de distintos modelos de intervención en el sector cafetero colombiano. En el documento conceptual del proyecto (punto 2.24) se plantea como uno de los ejes de la estrategia del proyecto:

“iii) introducir nuevos modelos de intervención en las fincas cafeteras que resuelva las restricciones de acceso y la adopción tecnológica, y que permita generar aprendizajes “ (Pág. 6, subrayado nuestro)

Igualmente, el documento conceptual describe con cierto detalle la importancia para el proyecto del esquema de seguimiento y evaluación en el punto 2.30:

“Debido a que aún no se posee un pleno conocimiento de los mejores atributos de los modelos de intervención, se plantea introducir un modelo de intervención base, el cual estará sujeto a variaciones de algunos de sus atributos. El proyecto validará el modelo base, así como sus variantes identificadas durante la preparación del proyecto, y generará nuevas modificaciones y ajustes durante su ejecución a través de un sistema de evaluación y seguimiento. El proyecto podrá ser expandido posteriormente a mayor escala según los resultados alcanzados” (Pág. 7. subrayado nuestro)

Es decir, el sistema de seguimiento y evaluación también debe permitir hacer ajustes y modificaciones durante el proyecto de tal forma que se logren los objetivos propuestos. Esto implica que el responsable del SSEA deberá tener dentro de sus atribuciones, la posibilidad de proponer ajustes y modificaciones a elementos operativos del proyecto al coordinador general. De otro lado, el esquema de evaluación y seguimiento deberá tener presente los tres principales resultados esperados del proyecto de acuerdo al Marco Lógico, a saber:

• Aumento en la productividad total de los factores de producción en la caficultura colombiana;

• Inicio autónomo de la réplica de los modelos de intervención por parte de los Comités Departamentales de Cafeteros; y

9

• El Valor Presente Neto Financiero ex post de los modelos de negocio implementados por los jóvenes asociados en nuevas empresas será significativamente superior con respecto a los testigos;

A esto debe agregársele el resultado de mejorar explícitamente el nivel de vida de los jóvenes beneficiarios, que es un objetivo implícito del proyecto. Adicionalmente, el SSEA deberá generar información sobre indicadores de factores de riesgo que amenazan al proyecto, así como de algunos indicadores de impacto ambiental asociados al proyecto. De este conjunto de elementos se desprenden tres roles centrales para el sistema de seguimiento, evaluación y aprendizaje del proyecto:

a) Darle seguimiento a indicadores críticos para el desempeño del proyecto identificando eventos críticos e indicadores de riesgo que permitan generar alertas tempranas para hacer ajustes y modificaciones que mejoren el desempeño del proyecto;

b) Medir indicadores de impacto económico, social y ambiental del proyecto

en el tiempo con respecto a la situación “sin proyecto”, de tal forma que éste sea un proyecto “evaluable” objetivamente en términos de impactos con respecto a grupos de control o testigos;

c) Generar un esquema integral de evaluación y aprendizaje sobre los

diversos modelos de intervención y sus atributos, así como sobre los factores causales que expliquen diferencias en resultados, tanto a nivel relativo o interno (entre modelos) como absoluto o externo (entre el proyecto y grupos de control o testigos).

En cada uno de estos tres objetivos hemos marcado las palabras clave: (i) seguimiento, (ii) medición de impactos, (iii) evaluación y aprendizaje. Estos tres conceptos son cruciales y conforman la base del Sistema que proponemos para este proyecto y que se describe en la siguiente sección. Es muy importante reconocer que estos tres objetivos tienen lógicas, unidades de análisis y procedimientos específicos, los cuales permiten distinguirlos y articularlos como parte de un sistema mayor. La particularidad del objetivo de seguimiento es que debe estar orientado a capturar información más periódica y de valor crítico para el desempeño del proyecto, los cuales se centran en flujos

10

generados por unidades básicas como UCAEs, Empresa Incubadora o Unidades Especiales de Seguimeinto. La medición de indicadores de impacto, por su parte, se basa en métodos estadísticos específicos para la conformación de grupos testigos o de control, y esta medición debe hacerse en periodos específicos y discretos en la vida del proyecto. Finalmente, la evaluación y aprendizaje requiere la introducción de modelos interpretativos e hipótesis para establecer relaciones causales entre variables exógenas al proyecto y variables bajo el control del proyecto.

11

Sección 3: El Sistema de Seguimiento, Evaluación y Aprendizaje (SSEA) Como se mencionó en la sección anterior, el SSEA estará compuestos por tres sub-sistemas básicos:

• Sub-sistema 1: seguimiento de procesos y eventos críticos del proyecto; • Sub-sistema 2: medición de indicadores de impacto del proyecto; • Sub-sistema 3: evaluación y aprendizaje sobre modelos de intervención.

Cada uno de estos sub-sistemas tiene procedimientos, métodos y unidades de análisis específicas. Las unidades de análisis básica de cada sub-sistema se describen a continuación:

Sub-sistema

Unidades de Análisis

1. Seguimieto de procesos y eventos críticos

UCAEs, Incubadora, Unidades de Acompañamiento.

2. Medición de Impactos Hogares de jóvenes, Fincas

3. Evaluación y Aprendizaje Modelos de Intervención

En el Diagrama Nº 2 se presenta el esquema general del SSEA, con sus componentes y relaciones en el contexto del proyecto. Como se puede ver, los dos primeros sub-sistemas generan datos e información que debe ser utilizada por otros componentes. El sub-sistema 1, por ejemplo, genera información de seguimiento sobre procesos y eventos críticos para el proyecto. Esta información deberá ser usada por la instancia de gestión del proyecto para ajustes y modificaciones para el mejor desempeño del proyecto. Igualmente, parte de la información generada en este sub-sistema es útil para el sub-sistema 3, encargado del proceso de evaluación y aprendizaje y de todas las evaluaciones del proyecto.

12

Diagrama Nº 2: Esquema General del Sistema de Seguimiento, Evaluación y Aprendizaje (SSEA)

Seguimiento de Procesos y

Eventos Críticos

Medición de Indicadores de

Impacto

Evaluación y Aprendizaje

Otras Fuentes de Información: encuestas de hogares, estudios, grupos

focales, entrevistas

ELB, EEI, EEF a Grupo Intervenido y de Control; Fincas y Jóvenes

Gestión del Proyecto, FNC,

Comités

Factibilidad de II Fase

Seguimiento a Unidades de Acompañamiento, UCAEs e Incubadora

Evaluación Intermedia del Proyecto; Estudios en Profundidad; Evaluación Final del Proyecto; Evaluación Ex post del Proyecto.

II Fase del Proyecto

13

El sub-sistema 2, por su parte, también genera información a ser utilizada por el sub-sistema 3, específicamente sobre impactos diferenciados para cada modelo de intervención, y entre el proyecto y grupos testigos, especialmente luego de que se realice la Encuesta de Evaluación Final. Esta información permite evaluar los impactos relativos de los diversos modelos de intervención puesto en marcha por el proyecto, y al mismo tiempo el impacto absoluto del proyecto al comparar valores de los indicadores con diversos grupos de control. Adicionalmente, el sub-sistema 2 genera información útil para una posible evaluación de factibilidad de una segunda fase del proyecto. El tipo de información de impactos que genera este sub-sistema permite establecer beneficios económicos, sociales y ambientales versus potenciales costos de la intervención, y como tal, son una parte importante de un estudio de factibilidad para un escalamiento mayor del proyecto dentro de la política agraria y cafetera colombiana. Finalmente, el sub-sistema 3 es el más complejo, ya que no sólo toma información de los otros dos sub-sistemas, sino que, además, debe obtener información cualitativa y cualitativa de otras fuentes, con la finalidad de generar explicaciones causales sobre los resultados e impactos diferenciados observados. El sub-sistema 3 generará información de utilidad para: (i) FNC y gestión de proyecto, en la forma de aprendizajes diversos sobre los modelos de intervención; (ii) tomar decisiones sobre posibles ajustes a los atributos de los modelos de intervención; (iii) un posible estudio de factibilidad para el escalamiento del proyecto en el futuro; (iv) la formulación e implementación de una segunda fase del proyecto; y (v) la evaluación ex post del proyecto; Para este sub-sistema es importante diferenciar dos tipos de evaluación y aprendizaje: (i) evaluación y aprendizaje internos; (ii) evaluación y aprendizaje externos. La evaluación y aprendizaje internos se basa en la comparación de los diversos modelos de intervención (atributos) entre sí y también con respecto a un punto inicial de las UCAEs, basado, por ejemplo, en los Planes de Negocio preparados al inicio del proyecto. La evaluación interna no es meramente experimental, si no también se usará para hacer ajustes a los modelos de intervención bajo ciertas condiciones y en base al proceso de aprendizaje interno del proyecto. Por su parte, la evaluación y aprendizaje externos privilegia la comparación de los resultados del conjunto de la intervención con respecto al desempeño de grupos de control o testigos.

14

Este sub-sistema tendrá la función de generar el conjunto de evaluaciones del proyecto (intermedia y final) así como de la realización de estudios en profundidad que permitan evaluar y ajustar los atributos de los modelos de intervención así como para generar aprendizaje sobre los factores causales detrás del éxito relativo (entre modelos) y absoluto (entre el proyecto y grupos de control). Un elemento importante de este sub-sistema es que se plantea que el Proyecto pueda ajustar los atributos de los modelos de intervención luego de la realización de un estudio específico que evalúe el funcionamiento del diseño experimental inicial y el éxito relativo de éstos en una etapa inicial. Finalmente, este sub-sistema deberá generar la evaluación ex post del proyecto, a ser implementado cuando el proyecto ya terminó. Los lineamientos para esta evaluación ex post son presentados en la sección 6 del presente informe.

15

Sección 4: Métodos, instrumentos e indicadores para cada uno de los sub-sistemas Cada sub-sistema tiene enfoques, instrumentos e indicadores específicos, los cuales están relacionados a objetivos y unidades de análisis distintos también. Estos se pasan a describir a continuación.

4.1. El sub-sistema 1 El sub-sistema 1, de seguimiento de procesos y eventos críticos del proyecto tiene como objetivo generar información útil para la toma de decisiones por parte de los encargados de la gestión del proyecto. En este caso, se trata de identificar los procesos o flujos críticos entre las unidades básicas del proyecto (críticos en el sentido que influyen en forma relevante en la calidad y cantidad de “outputs” del proyecto), así como sobre la calidad de los propios “inputs” que generan estas unidades en el contexto del proyecto. Este sub-sistema de seguimiento deberá identificar, además, diversos eventos críticos y riesgos para el proyecto, que generen alertas sobre posibles problemas en la marcha del programa en cuanto al logro de sus metas y objetivos. Estas alertas deben ayudar a tomar medidas correctivas a los responsables del proyecto para el adecuado logro de sus metas y objetivos. Por definición, los procesos y flujos que son materia de este sub-sistema deben ser permanentes y medibles en periodos relativamente cortos (no más allá de un semestre), y por tanto, pasibles de ser incorporados en un sistema de información para la gestión del proyecto sobre la base de actividades recurrentes de alguno de los elementos básicos. Las unidades de análisis para este sub-sistema son aquéllas que tienen roles centrales en el proyecto:

(i) UCAEs; (ii) Unidades Especiales de Acompañamiento; (iii) Empresa Incubadora;

Como se planteó en el Diagrama Nº 1, estas unidades generan flujos permanentes de bienes y servicios, los cuales son materia del sub-sistema de seguimiento de procesos y eventos críticos. Además, se plantea que este sub-sistema haga seguimiento a indicadores de riesgo del proyecto, relacionados

16

fundamentalmente con el contexto en el cual éste se desenvuelve. En el siguiente Cuadro se identifican los indicadores críticos que deberían formar parte de este sub-sistema:

1. Seguimiento de Unidades de Acompañamiento Indicador Periodicidad Unidad acopiadora de datos

Número de concursos Mensual Unidades de Acompañamiento, Reporte Mensual

Número de postulantes Mensual Unidades de Acompañamiento, Reporte Mensual

Número de jóvenes participantes Mensual Unidades de Acompañamiento, Reporte Mensual

Número de UCAEs (por el proyecto y autónomas)

Mensual Unidades de Acompañamiento, Reporte Mensual

Número Comités Departamentales participantes

Trimestral Unidad Coordinadota

Número de transacciones de fincas

Trimestral Unidades de Acompañamiento

Grado de satisfacción de UCAEs respecto a unidades de acompañamiento

Semestral Encuesta Especial del Sistema de Evaluación

2. Seguimiento de UCAEs Indicador Periodicidad Unidad acopiadora de datos Entrada de nuevos socios Semestral Unidades de Acompañamiento Contratos adoptados por UCAEs Semestral Unidades de Acompañamiento Superficie de café en producción en las UCAEs

Trimestral Unidades de Acompañamiento, Software de gestión en UCAEs

Superficie de café instalada por UCAEs

Trimestral Unidades de Acompañamiento, Software de gestión en UCAEs

Porcentaje de área con cafés especiales

Trimestral Unidades de Acompañamiento, Software de gestión en UCAEs

Porcentaje de UCAEs que han adoptado recomendaciones de CENICAFÉ

Trimestral Unidades de Acompañamiento, Software de gestión en UCAEs

Producción de café en las UCAEs Trimestral Unidades de Acompañamiento, Software de gestión en UCAEs

Uso de principales insumos para producción de café en UCAEs

Trimestral Unidades de Acompañamiento, Software de gestión de UCAEs

Ventas de café de UCAEs Trimestral Unidades de Acompañamiento, Software de gestión de UCAEs

Tasa de morosidad en pago de crédito de UCAEs

Trimestral Unidades de Acompañamiento, Incubadora

Indicadores Financieros de UCAES

Semestral Sistema contable de UCAEs, Software de gestión en UCAEs

3. Seguimiento de Empresa Incubadora Indicador Periodicidad Unidad acopiadora de datos

Nivel de satisfacción de UCAEs con Incubadora

Semestral Encuesta Especial del Sistema Evaluación

Contratos generados por Incubadora

Trimestral Empresa Incubadora, reporte trimestral

4. Indicadores de riesgo del proyecto Precio internacional del Café Mensual SSEA Eventos de violencia registrados en las zonas de intervención

Mensual SSEA

Precipitación promedio de lluvias en las zonas de intervención

Mensual SSEA

17

Como se puede ver, la idea básica de este sub-sistema es contar con información continua para el seguimiento de procesos y eventos críticos que ocurren tanto al interior como en la interacción de cada una de las tres unidades básicas del proyecto, así como en el contexto en el que se desenvuelve el proyecto . Los datos deben ser generados con una periodicidad mensual, trimestral o semestral de tal forma que puedan ser útiles para evaluar el funcionamiento regular del proyecto con respecto a metas establecidas por la gerencia con tiempos adecuados para poder tomar medidas correctivas de existir problemas o atrasos en el cumplimiento de metas, por ejemplo. Con respecto a los instrumentos para el recojo de la información, se plantea el uso de un software de gestión para empresas cafeteras ya diseñado e implementado por la FNC1 y a instalarse de manera obligatoria en cada UCAE conformada. Las Unidades de Acompañamiento manejarán la versión del software para muchas fincas en el ámbito de su influencia. Además de este instrumento, se utilizarán encuestas especiales sobre satisfacción de los jóvenes y reportes de las unidade de acompañamiento y de la empresa incubadora. Cabe señalar que el software de gestión a instalarse en cada UCAE permite el seguimiento de factores productivos que servirá como base para el esquema de seguimiento de la productividad total de factores, que es uno de los indicadores más importantes de desempeño del proyecto2. La metodología para construir el indicador de productividad total de factores se explica en mayor detalle en el Anexo N° 3. Igualmente, el seguimiento de indicadores financieros servirá para otro indicador importante de desempeño, que es el valor presente de las explotaciones cafeteras. Este indicador requiere del conocimiento de los flujos de caja de la actividad económica generados por las UCAEs en el lapso del 1 El software tiene el nombre de AgroWin, versiobn 1.4.y que viene siendo implementado por el Programa de Administración de Fincas de la FNC desde el año 2001. Se recomienda para las UCAEs el uso de la versión simplificada que viene siendo implementada en el Comité de Caldas. Un requisito importante para que este sotware funcione es que las UCAEs tengan por lo menos una PC con procesador Pentium I, por lo menos, y una impresora a colores. Además, se requiere adaptar los módulos de costos para incluir la mano de obra familiar como parte de las cantidades de factores usadas por la UCAE. 2 El indicador de productividad total de factores tendrá dos tipos de seguimiento. El primero se basará en la información trimestral del sub-sistema de seguimiento, y sólo podrá medir la evolución de este indicador al interior del proyecto. El segundo tipo de seguimiento se basa en las Encuestas de Línea de Base y de Evaluación Final, donde si es posible comparar la evolución de este indicador versus un grupo de control.

18

proyecto. Estos flujos también serán procesados mediante el software de gestión. Asimismo, el sistema requiere de una Encuesta Especial del Sistema de Evaluación de periodicidad semestral, orientada a tomar información sobre los niveles de satisfacción de los asociados de las UCAEs con respecto a los servicios de las Unidades Especiales de Acompañamiento, y también con respecto a los servicios prestados por la Empresa Incubadora. Esta encuesta deberá ser aplicada por la propia unidad central del SSEA en la medida que se requiere evaluar la satisfacción respecto a UEAs y EI. Esta encuesta puede basarse en la toma de una muestra representativa de no menos de 50 UCAEs. Otro instrumento básico para la recolección de indicadores de este sub-sistema son reportes mensuales o trimestrales estandarizados diligenciados por las Unidades Especiales de Acompañamiento y por la Empresa Incubadora, y que serían diseñados y procesados por la unidad encargada del SSEA. La unidad responsable del SSEA deberá diseñar estos formatos y capacitar el personal de las UEAs y de la EI para su correcto llenado y envío periódico al SSEA.

4.2. El sub-sistema 2 En segundo término, el sistema contará con un sub-sistema de medición de los indicadores de impacto socio-económico y ambiental del proyecto, orientado a generar información cuantitativa sobre indicadores importantes de impacto o resultado del proyecto de acuerdo al marco lógico y necesidades de evaluación económica y ambiental: (i) productividad parcial y total de factores; (ii) valor presente neto de los negocios iniciados y (iii) nivel de bienestar de los beneficiarios versus un grupo testigo. La correcta medición de estos indicadores es clave tanto como insumo para el sub-sistema de evaluación y aprendizaje (ver más adelante) como para justificar la posible ampliación de la escala de los modelos de intervención al resto de la caficultura colombiana de tal forma que esto sea rentable para la economía como un proyecto de inversión más amplio.

19

4.2.1. La metodología para medir impactos Actualmente, se ha convertido en práctica común que toda intervención pública tenga un esquema formal de evaluación de sus impactos en la población beneficiaria. Esto permite que dichas intervenciones puedan ser miradas a la luz de sus costos y beneficios para la sociedad y para sus beneficiarios específicos. Si asumimos que un proyecto quiere impactar en una variable Y, el esquema básico para realizar una evaluación de impacto sobre esta variable se puede apreciar en el siguiente gráfico. En el gráfico definimos al grupo “b” como el intervenido por el proyecto y al grupo “c” como no intervenido (o de control). Al inicio del proyecto ambos grupos tienen un valor promedio Y1 de esta variable para los dos grupos: (i) grupo beneficiario (Y1b); (ii) grupo de control (Y1c). Nótese que no es necesario que el grupo beneficiario y el grupo de control tengan el mismo valor promedio para la variable al inicio del proyecto, aunque sí es deseable que ambos grupos tengan características similares en atributos que influyan en los impactos esperados. Al final del proyecto (o en una etapa intermedia) se mide esta misma variable para ambos grupos obteniéndose Y2b e Y2c. De acuerdo a esto, el impacto en Y “atribuible al proyecto” debe estimarse de acuerdo a la siguiente fórmula de “diferencias en diferencias”:

Impacto del Proyecto en Y = (∆Yneto) = (Y2b – Y1b) – (Y2c – Y1c)

Y1b

Y1c

Y2b

Y2c

Y, variable de impacto

Inicio Final

(Y2b – Y1b)

(Y2c – Y1c)

Variación de variable de impacto en grupo beneficiario

Variación no atribuible a la intervención

Y1b

Y1c

Y2b

Y2c

Y, variable de impacto

Inicio Final

(Y2b – Y1b)

(Y2c – Y1c)

Variación de variable de impacto en grupo beneficiario

Variación no atribuible a la intervención

20

El impacto neto (∆Yneto) debe considerar que existe un impacto “no atribuible” al proyecto, medido en el grupo de control no participante en el proyecto. Este impacto no atribuible al proyecto (Y2c – Y1c) debe sustraerse del impacto observado en el grupo intervenido (Y2b – Y1b). Este enfoque requiere de una medición adecuada de las variables de impacto tanto al inicio del proyecto (Línea de Base) como al final del mismo (Evaluación Final), tanto para un grupo intervenido como de control. En muchos casos se incluye una Evaluación Intermedia que permita medir la evolución de indicadores de impacto al interior del proyecto en su etapa intermedia. En el caso de este proyecto y el SSEA, hay dos unidades básicas de análisis: (i) las fincas y (ii) los hogares de los jóvenes beneficiarios. Es sobre estas unidades que se construyen los grupos de control respectivos, de tal forma que se puedan medir impactos en forma rigurosa. Se propone que el sub-sistema de medición de impactos tenga dos instrumentos para la generación de la información requerida:

• Encuesta de Línea de Base (ELB) aplicada a familias de jóvenes beneficiarios y de un grupo de control; y a fincas intervenidas y de control. Por la naturaleza del proyecto, una parte de la ELB se realiza en el segundo semestre de iniciado el proyecto y el resto de la ELB deberá realizarse en cascada durante los primeros dos años del proyecto, que es cuando se conforman más del 70% de las UCAEs.;

• Encuesta de Evaluación Final (EEF) aplicada a las fincas intervenidas y de control, así como hogares de jóvenes intervenidos y de control a los 42 meses (tres años y medio) de instaladas las UCAEs3.

Las variables a ser medidas por estas encuestas están orientadas a generar tres tipos indicadores centrales para la evaluación económica del proyecto: (a) cambios en el nivel de bienestar de las familias beneficiadas por el proyecto; (b) cambios en la productividad total de los factores de producción cafetera con respecto a la situación “sin proyecto”; (c) cambios en el valor presente neto de las UCAEs versus el sector no intervenido.

3 Se establece que la Encuesta de Evaluación Final se realice antes del fin de proyecto de tal forma que estos datos sirvan como insumo para el Sub-sistema de Aprendizaje descrito en la sub-sección 3.3 así como para la Evaluación Final del Proyecto.

21

Estas encuestas deben recolectar información sobre características de los hogares y sus activos productivos y no productivos, así como de las fincas y sus conductores, relaciones con los mercados de crédito, insumos y productos; aspectos tecnológicos y organizacionales. Estas variables son importantes para que la estimación de impactos esté adecuadamente condicionada a que los hogares beneficiados, las fincas y sus conductores tengan características similares (sean comparables). Adicionalmente, la ELB debe contener mediciones de indicadores sociales y ambientales críticos para el proyecto, de acuerdo a lo definido en el Informe de Gestión Ambiental y Social del proyecto. Un tema central del sub-sistema de medición de impactos es el tamaño de los grupos de control que permitan generar inferencias estadísticamente representativas del sector cafetero intervenido. En el Anexo 1 se discute en mayor detalle una propuesta inicial de tamaño de muestra en función a las fincas como unidades de análisis de los impactos. En este caso, se propone un tamaño adecuado del grupo de control de 160 fincas para generar estimados de impactos estadísticamente representativos para la actividad cafetera.

4.2.2. Criterios para la Línea de Base4 Los impactos de este proyecto se evaluarán en dos poblaciones: (i) jóvenes sin tierras en los distritos cafeteros; (ii) fincas cafeteras. Debido a esto, la Línea de Base tendrá dos componentes, uno dedicado a medir impactos del proyecto en la población joven rural de los distritos cafeteros de Colombia; y el segundo a medir los impactos del proyecto en las fincas cafeteras intervenidas. En ambos casos se construirán grupos de control que serán parte inherente de la Línea de Base (LB). Para el primer componente de la LB (jóvenes) se plantea la utilización de la encuesta anual más reciente con respecto al inicio del proyecto de hogares que genera el DANE, y que mide las condiciones de vida, ingresos y gasto de las familias urbanas y rurales de Colombia. El grupo de control de este primer componente se generará tomando a las familias rurales ubicadas en los distritos cafeteros considerados en la encuesta del DANE, dentro de las cuales se identificará a las familias cuyo jefe de hogar tenga entre 20 y 35 años y que cumplan con las condiciones de elegibilidad para el proyecto. Para la

4 En el Anexo Nº 2 se presenta los Términos de Referencia para el Estudio de Línea de Base para este proyecto.

22

evaluación final, se volverá a usar la encuesta del DANE pero para el año más cercano a la finalización del proyecto y bajo los mismos criterios de la ELB. De otro lado, el grupo de intervención se tomará una vez que hayan sido seleccionados por lo menos el 70% de la meta de jóvenes a ser beneficiados por el proyecto en los respectivos Comités Departamentales de la FNC. Se estima que esto requiere un periodo de por lo menos 24 meses desde el inicio del proyecto, por lo cual este componente de la LB deberá construirse en cascada a medida que se vayan seleccionando jóvenes y conformando UCAEs. El número total de jóvenes beneficiarios del proyecto se acerca a 1,000, y no es necesario aplicarle a todos ellos la ELB. Se recomienda tomar una muestra representativa de estos jóvenes para la encuesta, la cual puede ser de un 20% del número de jóvenes seleccionados en cada uno de los cuatro primeros semestres de operación del proyecto. Esto daría un grupo de 200 hogares liderados por jóvenes confortantes del grupo de intervención de la ELB. La encuesta captaría los indicadores básicos de ingresos y activos de los hogares liderados por estos jóvenes y que sean comparables con la encuesta del DANE. En el caso del segundo componente de la LB orientado a medir impactos en las fincas, se deberá construir el grupo de control sobre la base del Censo de Café del Sistema de Información del Café (SICA), tomando una muestra representativa de fincas de agricultores “comparables” en las zonas a ser intervenidas por el proyecto. Se ha dispuesto que el número de fincas seleccionadas sea de 160, con representatividad para el universo de las fincas de productores cafeteros colombianos con edades y grado de instrucción similar a de los beneficiarios del proyecto, de preferencia a ser tomada en los departamentos intervenidos por el proyecto, con énfasis en los distritos donde se ubicarán las UCAEs a ser conformadas. Para el grupo de intervención de la Línea de Base, se deberá usar el mismo método de cascada que para la encuesta de jóvenes. En este caso, se propone encuestar a los conductores de todas las fincas incorporadas al proyecto en los primeros 24 meses. Se estima que en este periodo se habrán conformado por lo menos el 70% de las UCAEs, con un promedio de 2 fincas por UCAE y para un total aproximado de unas 300 fincas a ser encuestadas. La encuesta a este grupo deberá aplicarse al conductor de cada finca que ha sido seleccionada para ser comprada para el proyecto, antes de que se

23

conforme la respectiva UCAE, buscando generar información confiable sobre las condiciones de producción previas a la intervención del proyecto. Así, la Línea de Base estará conformada por los siguientes elementos:

Jóvenes ( J ) Fincas (F )

Control ( C ) Hogares jóvenes de Encuesta DANE (número por definir)

Muestra de Censo SICA (160), fincas representativas

Intervención ( I ) Muestra de jóvenes elegidos para proyecto (mínimo 200)

Fincas seleccionadas para ser UCAEs (300 aprox)

Para la celda CJ se usará la información de la encuesta de hogares rurales en distritos cafeteros del DANE, cuyo número por ahora es desconocido. Para las celdas IJ y CF se requiere un diseño muestral y la toma de una muestra estadísticamente representativa. Igualmente, en estos casos la FNC y sus Comités Departamentales aplicarán las encuestas respectiva de acuerdo a los lineamientos de los Términos de Referencia del Anexo Nº 2. En el caso de los indicadores de impacto para las fincas, un indicador central es el de la productividad total de factores (PTF) del sector cafetero intervenido. En el Anexo Nº 3 se presenta una definición de este concepto con las variables deben medirse para poder generar el indicador respectivo. Cabe señalar que este indicador tendrá un seguimiento trimestral en el sub-sistema 1 de seguimiento; pero cuyo cambio por efectos del proyecto será medido usando las Encuestas de Línea de Base y Evaluación Final. Para cada uno de estas unidades de análisis deberán generarse indicadores de impacto y de contexto. Los indicadores de impacto hacen referencia a variables que serían influidas directamente por la intervención del proyecto (ingresos de las familias, productividad de las fincas, valor presente neto de las fincas, etc.), mientras que los indicadores de contexto son aquellos poco influenciables por la intervención respectiva pero que tienen importancia para los resultados observados. En el caso de los hogares, algunas variables de contexto pueden ser activos poco o nada influenciables por el proyecto como la edad, género, educación, acceso a telefonía, electrificación rural, acceso a agua potable, de los hogares.; mientras que en el caso de las fincas pueden ser atributos como tamaño de la

24

finca, calidad del suelo, condiciones climáticas, situación de seguridad local, presencia estatal, entre otras.

4.3. El sub-sistema 3 El sub-sistema de evaluación y aprendizaje se centra en el desempeño relativo y absoluto de los modelos de intervención. En este caso, planteamos que el esquema de evaluación y aprendizaje esté orientado a dos funciones: (i) evaluar los atributos de los modelos de intervención y proponer ajustes a estos modelos; (ii) entender los factores explicativos de porqué algunos modelos de intervención terminan funcionando mejor que otros, y entender qué elementos del contexto de las UCAEs influyen en su desempeño global y relativo. Los instrumentos centrales para generar este proceso de evaluación y aprendizaje son diversos estudios específicos sobre temas a ser discutidos más adelante. Este sub-sistema se sustenta en el diseño experimental del proyecto y busca generar aprendizajes sobre el éxito relativo de los diversos modelos de intervención propuestos, los cuales se convierten en la unidad de análisis de este sub-sistema. Es por esto central discutir los atributos iniciales que identificarían a los diversos modelos de intervención que podrían ser materia de variación en el diseño experimental. El diseño experimental inicial del proyecto se basa en tres atributos generales, con seis sub-atributos específicos, conformando un total posible de doce modelos de intervención. Los atributos y sub-atributos iniciales del proyecto son los siguientes: 1. Atributo general: asociatividad/características de la finca

1.1. Finca compacta manejada con propiedad asociativa; 1.2. Finca compacta con propiedad privada conocida desde el principio

por socios (pero con opción de seguir asociados); 1.3. Fincas dispersas (en la misma zona) manejadas individualmente en

la producción pero asociados en post-producción y comercialización.

2. Atributo general: financiero

2.1. Con financiamiento del sistema colombiano; 2.2. Con financiamiento externo.

25

3. Atributo general: tecnología

3.1. Cafés especiales, orgánicos; 3.2. Café convencional con paquete CEPICAFE.

Se entiende que este diseño experimental inicial puede estar sujeto a prueba y error y por ende a un proceso de aprendizaje que debe ser retro-alimentado al proyecto. Si bien los atributos iniciales de los modelos son importantes, es posible que éstos no hayan sido los más apropiados y relevantes para generar éxito en los modelos. Es por esto que se plantea que se realice un primer estudio de evaluación de estos atributos y se como resultado de ello se propongan posibles ajustes a estos atributos para la etapa posterior del proyecto. De esta forma, el diseño experimental no es solamente útil para una evaluación externa posterior, si no que ayuda a generar aprendizaje que es usado por el mismo proyecto para mejorar su desempeño. Esta es una característica especial de este sistema de evaluación y aprendizaje. Este estudio sobre los atributos de intervención podrá alimentarse de información generada tanto por el sub-sistema de seguimiento de procesos y eventos críticos, como de los resultados parciales del sub-sistema de medición de impactos al momento de realizarse. Esta información es crítica para poder generar una visión consistente sobre el éxito relativo de cada uno de los modelos de intervención en el tiempo y poder proponer ajustes a los atributos de los modelos de intervención. De otro lado, este sub-sistema deberá nutrirse de información y otros estudios complementarios, que permitan completar el conjunto de factores explicativos respecto al desempeño diferenciado y absoluto de los modelos de intervención. Así, para todo el sub-sistema de evaluación y aprendizaje se plantean el uso de los siguientes cuatro instrumentos: Evaluación intermedia del proyecto (aproximadamente a los dos años de iniciado el proyecto): debe evaluar los efectos diferenciados de los modelos y plantear estudios para profundizar en las explicaciones de los efectos globales (entre grupo intervenido y control) y relativos (entre modelos), debe usar insumos de la Encuesta Intermedia de Impactos (EII) del sub-sistema 2, así como grupos focales y entrevistas a participantes del proyecto.

26

Estudios en profundidad5 (flexible entre el segundo y cuarto año del proyecto): deben generar una evaluación de atributos de los modelos de intervención, e información explicativa sobre los distintos resultados obtenidos por los modelos;

Evaluación final del proyecto (en último semestre del proyecto): debe usar los resultados de la Encuesta Final de Evaluación del sub-sistema 2; información sobre procesos y eventos críticos generada por el sub-sistema 1; los resultados de los estudios en profundidad, así como información complementaria para generar entendimiento sobre los efectos diferenciados de los modelos y del proyecto en su conjunto. Evaluación ex post del proyecto6 (luego de dos años de finalización del proyecto): esta evaluación deberá consolidar el conjunto de elementos generados por los tres subsistemas y otros estudios y evaluaciones realizadas para llegar a conclusiones sobre la continuidad de los beneficios del proyecto asi como sobre la sostenibilidad institucional del mismo. Igualmente, esta evaluación deberá generar lecciones aprendidas y proponer las mejores prácticas para el éxito de este tipo de proyectos en diversos contextos de intervención. El énfasis del sub-sistema de evaluación y aprendizaje está primero en determinar el éxito relativo y absoluto de los modelos de intervención sobre la base de estimaciones objetivas de impactos diferenciados e impactos con respecto a grupos de control; y en segundo término, en el entendimiento de los factores causales de estos resultados diferenciados. De este sub-sistema deben proponerse los modelos (o modelo) más apropiados para lograr los objetivos del proyecto dentro de la caficultura colombiana. El aprendizaje debe basarse en diversos métodos y disciplinas así como modelos explicativos que capturen los múltiples factores que influyen en las decisiones de los participantes del proyecto dentro de un marco institucional (reglas de juego) establecidas. El aprendizaje obtenido debe ser convertido en material para toma de decisiones sobre cambios operativos en la etapa intermedia así como para discusión con la dirigencia de la FNC, del Gobierno y del BID sobre el posible diseño de una siguiente etapa del proyecto a una escala más amplia y masiva.

5 En el Anexo Nº 4 se plantean un conjunto básico de estudios en profundidad posibles que podrían ser parte de esta etapa del proyecto, pero que deben ser validados por la Evaluación Intermedia del Proyecto. 6 Una descripción más detallada de la evaluación ex post se presenta en la sección 6.

27

Sección 5. Plan de Implantación del SSEA

El SSEA sería una sub-unidad dentro de la Unidad de Coordinación del proyecto. Esta sub-unidad estaría a cargo de un especialista con formación y experiencia en seguimiento de gestión y evaluación de proyectos. En el Anexo N° 5 se detalla el perfil profesional que debe tener este funcionario del proyecto. Dada la importancia de este profesional para el desarrollo del proyecto, se ha planteado como una de las condiciones previas del mismo la contratación de éste de acuerdo los criterios detallados en el Anexo N° 5. El especialista a cargo del SSEA deberá contar con una contraparte en cada uno los equipos de las Unidades Especiales de Acompañamiento así como en la Empresa Incubadora. Estas contrapartes serán responsables de remitir los informes y datos requeridos por el sub-sistema de indicadores críticos en los reportes periódicos correspondientes. Igualmente, se recomienda que el responsable del SSEA tenga como asistente a un experto en sistemas e informática que diseñe e implemente el soporte informático para el sub-sistema 1 del proyecto, así como maneje y alimente las bases de datos y la página web del proyecto. El responsable técnico del SSEA deberá encargarse de generar los términos de referencia para la contratación de una serie de consultorías para alimentar los sub-sistemas de medición de impactos y de aprendizaje. La secuencia de los productos necesarios para estos dos sub-componentes en el periodo de cuatro años (por trimestres) del proyecto y periodo post-proyecto se describe a continuación:

1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4

1. Diseño de sub-sistema 1 1

2. Funcionamiento de sub-sistema 1 1

3. Estudios sobre atributos de modelos 3

4. Encuesta de Línea de Base; 2

5. Evaluación Intermedia del Proyecto 3

6. Estudios en profundidad 3

7. Encuesta de Evaluación Final 2

8. Evaluación Final del Proyecto 3

9. Evaluación Ex Post del Proyecto 3

Cuarto Año

Sub-sistemaPost-proyectoPrimer año Segundo año Tercer año

28

Como se puede ver, la secuencia de los instrumentos y productos permite la completa articulación de los tres sub-sistemas. Algunos elementos a tener en cuenta respecto a la secuencia establecida:

• La primera actividad del responsable técnica del SSEA es diseñar e implementar el sub-sistema 1, que deberá funcionar durante toda la vida del proyecto. Esto implica preparar los formatos en los cuales se recogerá la información periódica de cada uno de los elementos básicos del proyecto: UCAEs, Unidades de Acompañamiento e Incubadora;

• La Encuesta de Línea de Base es parte fundamental del sub-sistema 2 y

de todo el sistema general, por lo que su realización es crítica. Se plantea que esta encuesta se realice en parte el segundo semestre del primer año y en otra parte en el segundo semestre del segundo año, siempre y cuando se hayan seleccionado por lo menos al 70% de las fincas y los jóvenes que serán beneficiados por el proyecto.

Estudio de atributos de los modelos de información también es crítico para el sistema y debe permitir hacer una primera evaluación del éxito relativo de estos diversos modelos de intervención. Lo importante de este estudio es que debe permitir hacer ajustes a estos modelos para el mejor desempeño del proyecto en la etapa posterior. La Encuesta de Evaluación Intermedia del sub-componente 2 se realizaría hacia mediados del segundo año del proyecto y la realización de esta Encuesta sería el gatillo para la evaluación intermedia del proyecto, que se plantea para el último trimestre del segundo año del proyecto;

• En la Evaluación Intermedia deben generarse recomendaciones específicas sobre los estudios en profundidad adicionales requeridos para entender mejor los resultados observados;

• La Encuesta de Evaluación Final, correspondiente al sub-sistema 2, se

realiza hacia mediados del cuarto año, porque la información generada será usada para la Evaluación Final del proyecto, y por ende, se convierte también en gatillo de esta evaluación final.

Recursos financieros Se ha determinado que el presupuesto global para el SSEA sea de US$ 1.5 millones. Este presupuesto deberá ser utilizado para el diseño e

29

implementación de todo el sistema en el periodo de cuatro años que dura el proyecto. La asignación específica de recursos que se recomienda para el SSEA se presenta en el cuadro siguiente:

Presupuesto Estimado para el SSEACantidad Costo Unit Unidad Duración* Costo

Personal (Director/Web/Secretaria) 350

Transporte y viáticos 50

Gastos oficina, equipos, software 70

Diseño y Manual de seguimiento 1 20 Consultoria 60 20

Encuesta a Jóvenes (LB) (/Interv) 1 20 Encuesta 45 20

Encuesta a Fincas (LB) (Control/Interv) 1 20 Encuesta 45 20

Consultoria sobre Linea de Base 1 40 Consultoria 120 40

Estudio sobre atributos de modelos 1 100 Consultoría 60 100

Evaluación Intermedia 1 60 Consultoría 60 60

Estudios en Profundidad 5 100 Consultoria 360 500

Encuesta a Jóvenes (Final) (/Interv) 1 20 Encuesta 45 20

Encuesta a Fincas (Final) (Contr/Interv) 1 20 Encuesta 45 20

Evaluación Final 1 145 Consultoria 60 145

Términos de Referencia Eval. Ex Post 1 5 Consultoría 30 5

Otros gastos 80

TOTAL 1500* Dias calendario

30

La estructura general del gasto del SSEA sería la siguiente:

Como se puede ver, un 40% de los recursos del SSEA estarían orientados a generar los seis estudios en profundidad requeridos para el sub-sistema 3 de evaluación y aprendizaje. El segundo rubro importante de gasto es el del personal del SSEA, que estaría conformado por el responsable, un asistente en informática y sistemas y una asistencia secretarial para los cuatro años. El porcentaje orientado a este rubro es de 23%. El tercer rubro en importancia son las consultorías para el sub-sistema 2, a saber, el diseño y análisis de la ELB, la Evaluación Intermedia y la Evaluación Final del proyecto, que ocupan el 16% del presupuesto. Igualmente, el presupuesto considera un 8% del gasto orientado a la realización de encuestas, que en este caso serán aplicadas por el mismo personal de las Unidades Especiales de Acompañamiento. Sin embargo, es necesario presupuestar los gastos de estas actividades por ser inherentes al SSEA y al proyecto. Finalmente, el presupuesto considera gastos de oficina y equipamiento. En el rubro de equipamiento debe considerarse la compra de software apropiado para el manejo de bases de datos grandes en entornos de intra e internet, así como para poder manejar información geo-referenciada. Además, el presupuesto considera gastos para viajes del personal del SSEA, especialmente de los dos responsables técnicos, quienes deberán capacitar a sus diversas contrapartes en el uso de los instrumentos para el recojo de información de todo el sistema.

Resumen de Gastos del SSEARubros

Personal 350 23%

Transporte y viáticos 50 3%

Oficina, equipos, software 70 5%

Encuestas 80 5%

ELB y Evaluaciones 245 16%

Estudios 600 40%

Diseño/manuales 25 2%

Otros Gastos 80 5%

TOTAL 1500

31

Sección 6: Lineamientos para la evaluación ex post del proyecto7 Una de las particularidades de este proyecto es que se espera que los beneficios se sigan produciendo en un periodo bastante más amplio que el de cuatro años que dura la operación. En particular, la apropiación de las unidades empresariales (UCAEs) por parte de los jóvenes participantes es un proceso de largo aliento que podría tomar entre 4 y 12 años. Además de esto, se espera que los componentes e instrumentos de este proyecto sean plenamente incorporados dentro de la institucionalidad cafetera (FNC), de tal forma que se asegure la continuidad institucional del mismo. En este contexto, la realización de una evaluación ex post a los dos años de terminada la operación del proyecto (y seis años desde su inicio formal), permitirá generar un mejor entendimiento sobre la continuidad de los beneficios y sobre la sostenibilidad de la institucionalidad específica (reglas, conocimientos, capacidades) generada por el proyecto. En este sentido, son objetivos centrales de la evaluación ex post planteada para el proyecto los siguientes:

(i) Evaluar la continuidad de los beneficios del proyecto, especialmente el avance en proceso de apropiación de las empresas por parte de sus beneficiarios en un lapso de tiempo más amplio que el de la operación del proyecto;

(ii) Evaluar la sostenibilidad de la institucionalidad generada por el proyecto, es decir, el grado en el cual la FNC ha adoptado reglas, conocimientos y capacidades generadas por el proyecto para la implementación de modelos innovadores de intervención en el sector cafetero colombiano.

En este caso, la FNC se encargará de diseñar y ejecutar esta evaluación ex post, contando para ello con los recursos económicos, logísticos y de personal que permitan realizar tal emprendimiento. Cabe señalar que los términos de esta evaluación deberán ser coordinados con el BID de acuerdo a sus políticas

7 Dentro del Plan de Trabajo del SSEA se ha propuesto que al final del proyecto se preparen los términos de referencia específicos para la evaluación ex post, asignándose recursos específicos del proyecto para esa tarea.

32

para evaluaciones ex post realizadas tanto por los prestatarios como por el propio Banco8. Una ventaja importante para la realización de la evaluación ex post en este caso es el hecho de que el SSEA generará mucha información directamente útil para dicho propósito, especialmente en cuanto a los diversos estudios en profundidad sobre los modelos de intervención. Igualmente, se espera que luego de la finalización del proyecto, la FNC mantenga en operación por lo menos el sub-sistema de seguimiento de indicadores críticos, el cual podrá seguir generando información útil para la evaluación ex post. Sin embargo, la evaluación ex post requerirá concentrar esfuerzos en dos ámbitos: (i) los avances y limitaciones en el proceso de apropiación de los activos de las UCAEs por parte de los beneficiarios; (ii) el grado de internalización de la institucionalidad del proyecto por parte de la FNC. Estos elementos no son parte central del funcionamiento del SSEA en los cuatro años de la operación, y por ende se requiere de una metodología específica para generar dicha información. Al respecto, se recomienda que a partir del tercer año del proyecto se incorporen al SSEA algunos indicadores relacionados con el grado de apropiación de las UCAEs por parte de los jóvenes beneficiarios. Un indicador clave aquí es el grado de participación accionaria de los beneficiarios en cada UCAE, el cual es probable que aún sea limitado en esta etapa. Sin embargo, a medida que este proceso se vaya generando, es probable que al momento de realizar la evaluación ex post se tengan algunos avances importantes en este proceso de apropiación, el cual es de vital importancia para los objetivos globales del proyecto. Además de esta información a través del SSEA, en la propia evaluación ex post será necesario desarrollar algunos ejercicios del tipo grupos focales y entrevistas con beneficiarios y administradores del proyecto para identificar factores que hn facilitado o trabado el proceso de apropiación de los activos de las UCAEs por parte de los beneficiarios. Obviamente, se espera que modelos de intervención más exitosos estén correlacionados positivamente con un ritmo más rápido de apropiación de las empresas por parte de sus socios trabajadores.

8 Ver el documento sobre políticas operativas del BID, referente a evaluación ex post de operaciones http://www.iadb.org/exr/pic/VII/OP_305.cfm.

33

En segundo término, la evaluación ex post deberá concentrar esfuerzos en identificar los procesos de apropiación de normas, capacidades y conocimientos generados por el proyecto dentro de la institucionalidad cafetera de la FNC. Esto requiere de una metodología de análisis institucional que identifique los aciertos y desaciertos del proyecto con respecto a su sostenibilidad institucional. La hipótesis inicial de trabajo es que la FNC tiene la capacidad e instrumentos para apropiarse plenamente del proyecto e incorporar sus aportes dentro de su institucionalidad, pero esto puede o no ocurrir, u ocurrir en mayor o menor medida. Las técnicas para acercarse al tema de la sostenibilidad institucional son mayormente cualitativas, con entrevistas estructuradas y/o abiertas a diversos actores del proyecto y de la estructura funcional de la FNC tanto a nivel central como descentralizado. Se debe prestar particular atención a los costos de transacción para que la FNC incorpore dentro de su institucionalidad al proyecto. En ese caso, se podrán afinar mejor algunos de los lineamientos presentados en esta sección. En cuanto al tipo de consultoría que debería hacerse, se sugiere la contratación de un consultor externo que realice la evaluación ex post de acuerdo a los términos de referencia generados dentro del marco del SSEA. En forma preliminar, se estima que una consultoría de esta magnitud debería costar unos US$ 35,000. El perfil del consultor deberá plantear una persona con amplia experiencia en evaluación de proyectos en el ámbito rural, de preferencia con conocimiento del sector cafetero colombiano y de la institucionalidad de la FNC.

34

Anexo Nº 1: Determinación de Tamaño Muestral para Grupo de Control en Encuesta de Línea de Base La Encuesta de Línea de Base es el instrumento más importante para la medición cuantitativa de impactos del programa en términos económicos, productivos y sociales. Para un adecuado funcionamiento de esta encuesta, se requiere identificar con bastante cuidado al grupo de control que servirá de base para comparar indicadores con respecto al grupo intervenido. Un elemento importante para el grupo de control es que sea estadísticamente representativo del universo de caficultores “comparables” con los productores beneficiarios del programa en atributos básicos como edad, educación y tamaño de sus unidades productivas. Esto requiere definir en primer lugar al “universo de caficultores comparables” en estos atributos, para luego determinar un tamaño muestral que garantice la representatividad de este sub-universo de agricultores. Entonces, el primer paso es determinar el sub-universo de agricultores comparables. Para este fin, se solicitó al SICA información del Censo Cafetero respecto a tres variables básicas: (i) tamaños de propiedad, (ii) edades y (iii) niveles educativos de los cafeteros colombianos. En base a esta información, se determinó que los caficultores comparables serían aquellos con nivel educativo de secundaria y universidad; y cuyas edades estén entre 18 y 45 años (la desagregación que hace SICA no permite el rango de igual o más de 9 años de educación ni acotar para edades de menos de 35 años). Se determinó la proporción de cafeteros que cumplen con estos criterios de comparabilidad, obteniéndose las siguientes proporciones.

Universo de agricultores comparablesNivel Educ SECUND. UNIVER. TOTAL

Edad

18-24 0.108 0.008 0.115

25-30 0.107 0.017 0.12431-45 0.089 0.031 0.120

TOTAL 0.095 0.025 0.120FUENTE: ENCUESTA NACIONAL CAFETERA - FASES I, II, III , IV y VFEDERACION NACIONAL DE CAFETEROSGERENCIA TECNICA - OFICINA DE ESTUDIOS Y PROYECTOS BASICOS CAFETEROS

35

Se observa que un 12% de los caficultores dentro del rango de edades de 18 a 45 años cumplen con los requisitos educativos planteados. Este porcentaje no varía significativamente por rangos de edad. El siguiente paso fue aplicar estos porcentajes a la estructura de tamaños de finca y de explotación cafetera de la población en el rango de edad correspondiente (18 a 45 años). El resultado fue el siguiente:

tamaño Productores Has_café Ha_productor

< 1 12857 4632 0.36

1 a 3 7820 7359 0.94

3 a 5 2935 4395 1.50

5 a 10 2772 5900 2.13

10 a 15 1017 2917 2.87

15 a 20 510 1672 3.28

20 a 30 499 2013 4.03

30 a 40 251 1159 4.62

40 a 50 135 602 4.47

50 a 100 217 1237 5.71

>=100 78 615 7.91

Total 29088 32501 1.12 Un estimado de 29,088 productores tienen los atributos deseables, con un total de 32,501 hectáreas de cafetales y un promedio de 1.12 Hectáreas de café por productor para este universo. Como no disponemos de los datos individuales de estos productores sino solamente con los valores promedio del cuadro, se asumió la existencia de distribuciones normales de productores alrededor de las medias de cafetales por productor para cada uno de los estratos de tamaño del cuadro. Esto nos permite estimar un promedio y una desviación estándar global para esta distribución con los cuales estimamos el tamaño óptimo de muestra que se requiere para representar a esta distribución. El promedio y desviación estándar de la distribución simulada son los siguientes:

36

Promedio = 3.4381 Has de café/productor Desv Std= 2.2248 Has de café/productor

Con un nivel de confianza de 95% y un margen de error de 10%, el tamaño de muestra óptimo para representar a este universo sería:

n* = [(1.96*2.2248)/(0.1*3.4381)]^2 = 160 caficultores Esto equivale a tener que seleccionar por lo menos 160 fincas de caficultores (cada uno tiene por lo menos una finca) para poder generar un grupo de control suficientemente representativo del universo comparable con los beneficiarios del programa. Este tamaño muestral permitiría generar un estimado del promedio de la variable “tamaño de cafetal” que en el 95% de los casos esté no más allá del 10% alejada del tamaño promedio de la población de la cual se toma la muestra. El uso de la variable tamaño de cafetal como eje de la definición del tamaño de la muestra se justifica por la importancia que tiene esta variable en el potencial desempeño productivo y económico de las explotaciones cafeteras en general, y en el programa a aplicarse en particular. De adoptarse este tamaño para el grupo de control, se requeriría también tener un número de fincas similar o mayor en el grupo de intervención de tal forma que se puedan utilizar metodologías de emparejamiento de atributos básicos, y generar estimados confiables de impactos del programa en indicadores de productividad y rentabilidad de la actividad cafetera y económica en general. Se sugiere contar con 180 fincas en el grupo de beneficiarios, las que serían comparadas con 180 fincas del grupo de control. Esto daría como resultado la necesidad de aplicar la Encuesta de Línea de Base (ELB) a un total de 360 fincas al inicio del programa, las que serían visitadas en el periodo intermedio y al final de programa. Las mediciones correspondientes tendrían validez para el sub-universo cafetero de agricultores educados con edades entre 18 y 45 años.

37

Anexo Nº 2: Términos de Referencia para el Estudio de Línea de Base para Proyecto “Modelos de Intervención para el Sector Cafetero” Antecedentes El Gobierno de Colombia y la Federación Nacional de Café (FNC) están formulando un proyecto de carácter innovativo para el sector cafetero colombiano ante el Banco Interamericano de Desarrollo (BID). El fin del proyecto es contribuir a mejorar la competitividad de la caficultura colombiana en el actual contexto internacional. Su propósito es adoptar modelos institucionales sostenibles de intervención para mejorar el acceso a recursos productivos, en particular de jóvenes agricultores, y para movilizar recursos hacia la caficultura colombiana. La estrategia del proyecto se centra en: i) promover la adopción tecnológica, ii) facilitar el relevo generacional mediante el acceso a factores productivos por parte de jóvenes agricultores y la movilidad de recursos hacia el sector, iii) introducir nuevos modelos de intervención en las fincas cafeteras que resuelva las restricciones al acceso y a la adopción tecnológica, y que permita generar aprendizajes; y iv) impulsar la asociatividad entre los beneficiarios. El proyecto consta de dos componentes: (i) Creación de Instituciones Complementarias; (ii) Implementación de una Experiencia Piloto de los Modelos Institucionales. Dentro del primer componente se tiene previsto generar un sistema de evaluación y seguimiento del proyecto (SEP). Este sistema requiere del diseño e implementación de una Línea de Base que permita evaluar al final del programa los impactos económicos, sociales y ambientales del proyecto en el conjunto de la caficultura y economía colombiana. El propósito del Estudio es contar con una adecuada Línea de Base para este proyecto, contando para tal fin con el apoyo logístico y financiero de la FNC. Objetivo de la Consultoría La consultoría deberá generar la Línea de Base requerida para poder medir los impactos económicos, sociales y ambientales en la caficultura y economía colombiana, usando instrumentos cuantitativos preferentemente de fuente primaria como encuestas de hogares y fincas. Características de la Consultoría Consultor(a) nacional individual, honorarios bajo modalidad suma alzada. Duración: la consultoría tendría una duración de cuatro meses.

38

Lugar de trabajo: oficina del consultor Fecha de inicio de la consultoría: por definir Calificaciones del Consultor(a) Deberá ser Economista, de preferencia con post-grado, con más de 6 años de experiencia en la realización de Estudios de Línea de Base y Evaluación de Proyectos de Inversión Pública en el contexto de la economía colombiana, de preferencia con conocimiento sobre el sector rural y sector cafetero colombiano. Descripción de los criterios para la Línea de Base Los impactos de este proyecto se evaluarán en dos poblaciones: (i) jóvenes sin tierras en los distritos cafeteros; (ii) fincas cafeteras. Debido a esto, la Línea de Base tendrá dos componentes, uno dedicado a medir impactos del proyecto en la población joven rural de los distritos cafeteros de Colombia; y el segundo a medir los impactos del proyecto en las fincas cafeteras intervenidas. Em ambos casos se construirán grupos de control que serán parte inherente de la Línea de Base (LB). Para el primer componente de la LB se plantea la utilización de la encuesta anual más reciente de hogares que genera el DANE, y que mide las condiciones de vida, ingresos y gasto de las familias urbanas y rurales de Colombia. El grupo de control de este primer componente se generará tomando a las familias rurales ubicadas en los distritos cafeteros considerados en la encuesta del DANE, dentro de las cuales se identificará a las familias lideradas por personas entre 20 y 35 años y que cumplan con las condiciones de elegibilidad para el proyecto. De otro lado, el grupo de intervención se tomará de los jóvenes seleccionados para participar en el proyecto al segundo semestre de iniciado el proyecto. En este caso se requerirá aplicar una encuesta que capte los indicadores básicos de ingresos y activos de los hogares liderados por estos jóvenes y que sean comparables con la encuesta del DANE. Cabe señalar que la parte de la línea de base del grupo intervenido se realizará en cascada, correspondiéndole al consultor el diseño e implementación de los instrumentos a ser aplicados al primer grupo intervenido (durante el segundo semestre del proyecto). El consultor deberá dejar estos instrumentos validados para ser usados en el siguiente año en la construcción definitiva de la línea de base, tanto de jóvenes como de fincas. Se estima que el grupo de intervención deberá contar con por lo menos 200 encuestas a hogares liderados por jóvenes, mientras que el grupo de control contará con los hogares liderados por jóvenes que estén presentes en la encuesta del DANE En el caso del segundo componente de la LB orientado a medir impactos en las fincas, se deberá construir el grupo de control sobre la base del Censo de Café del Sistema de Información del Café (SICA), tomando una muestra representativa de fincas en las zonas a ser intervenidas por el proyecto. Se ha determinado que el número de fincas seleccionadas sea de 160, con

39

representatividad para el universo de fincas colombianas conducidas por caficultores de entre 18 y 45 años y niveles educativos iguales o superiores a secundaria. Para el grupo de intervención, la consultoría deberá generar los instrumentos y aplicarlos para el primer grupo de fincas seleccionadas al segundo semestre del proyecto. Al igual que en el caso de jóvenes, se deberán dejar los instrumentos validados para que este línea de base de fincas intervenidas se complete durante el segundo año del proyecto. Se ha determinado que se tendrán aproximadamente 300 fincas como grupo de intervención correspondientes a entre 120 y 140 UCAEs conformadas durante los primeros dos años del proyecto. Así, la Línea de Base estará conformada por los siguientes elementos: Jóvenes ( J ) Fincas (F )

Control ( C ) Hogares jóvenes de Encuesta DANE (número por definir)

Muestra de Censo SICA (160), fincas representativas

Intervención ( I )

Muestra de jóvenes elegibles para proyecto (mínimo 200)

Fincas seleccionadas para convertirse en UCAEs (300 aprox)

Para la celda CJ se usará la información de la la encuesta de hogares rurales en distritos cafetetos del DANE, cuyo número es desconocido. Para las celdas IJ y CF se requiere un diseño muestral y la toma de una muestra estadísticamente representativa. Igualmente, en estos casos la FNC y sus Comités Departamentales aplicarán las encuestas a ser diseñadas en el marco de esta consultoría. Para cada uno de estos elementos deberán generarse indicadores de impacto y de contexto. Los indicadores de impacto hacen referencia a variables que serían influidas directamente por la intervención del proyecto, mientras que los indicadores de contexto son poco influenciables por la intervención respectiva. Actividades del Consultor(a) Para la elaboración de la LB el Consultor(a) deberá realizar las siguientes actividades en función de los criterios descritos previamente:

(i) Análisis de la encuesta de hogar más actual del DANE para identificar a los hogares rurales ubicados en distritos cafeteros de Colombia y generar el grupo de control de jóvenes;

(ii) Diseño muestral y selección de muestras para el grupo de intervención de jóvenes, así como para los grupos de control e intervención de fincas;

(iii) Diseño de los cuestionarios para el grupo de intervención de jóvenes, así como para los grupos de control e intervención de fincas;

(iv) Labores de capacitación y supervisión del personal de la FNC que aplicará las tres encuestas: al grupo de intervención de jóvenes y a los grupo de control e intervención de fincas.

(v) Diseño y ejecución del esquema de procesamiento de la información de las tres encuestas descritas en (iv);

40

(vi) Análisis de los resultados y generación de los indicadores de impacto y de contexto para los cuatro grupos conformantes de la LB.

(vii) Manual para la conformación definitiva de la LB de los grupos de intervención de jóvenes y fincas durante el segundo año del proyecto.

Cabe señalar que la FNC y los Comités Departamentales serán responsables de la ejecución de la encuesta, mientras que el Proyecto deberá proveer del sistema para el procesamiento de las encuestas y su disposición por parte del Consultor(a) en los tiempos apropiados para el cumplimiento del contrato. Informes El consultor(a) deberá generar dos informes: (i) Informe Metodológico, al mes de iniciada la consultoría, donde se presenta el diseño muestral para los grupos a encuestarse, los indicadores de impacto y de contexto y los cuestionarios respectivos y el plan para la ejecución de las encuestas y su procesamiento; (ii) Informe Final: donde se generan los estimados para todos los indicadores de impacto y contexto de cada uno de los cuatro grupos correspondientes (solo parciales para los grupos de intervención) y se entrega a la FNC las bases de datos utilizadas para generarlos. Este informe deberá contener el manual para completar la LB en el segundo año del proyecto.

41

Anexo Nº 3 : El cálculo del cambio en productividad total de los factores

Uno de los objetivos importantes del proyecto es generar cambios en la productividad total de los factores de la actividad cafetera colombiana. Esta variable es un buen indicador de procesos de cambio técnico para actividades productivas como esta, señalando que es posible producir más café (o café de mayor valor) con menor uso de factores escasos como tierra, trabajo, capital e insumos químicos. Así, se asumirá que el aumento en la productividad total de los factores de la actividad cafetera en el ámbito intervenido por el proyecto es una señal de que se está generando un proceso de cambio técnico y aumento en la eficiencia productiva. La productividad total de los factores de café es ratio entre valor de la producción total de café y el valor total de los insumos utilizados para generar esta producción. Un ratio mayor que 1 indica que la actividad está generando valor agregado, mientras que un ratio inferior a 1 indicaría pérdidas de valor en el proceso productivo. En el caso del proyecto bajo evaluación, más que el valor absoluto de este ratio, interesa su evolución en el tiempo. Es por esto necesario construir un valor inicial para este ratio y un método para su seguimiento en el tiempo. Asumiremos que existen dos variedades de café, café tradicional y café especial, y que las unidades productivas pueden producir ambas categorías en cualquier punto del tiempo. El valor inicial del ratio de productividad total de los factores se medirá mediante la siguiente expresión: PTF0 = (pt0qt0 + pe0qe0) / (Σwi0ri0) (1) Donde qt0 y qe0 son cantidades producidas de café tradicional y especial, respectivamente, en el periodo “0” y pt0 y pe0 sus precios en el mismo periodo. Igualmente, se tienen ri0, i=1, 2, ...n factores de producción relevantes para la producción de café en el periodo “0” con sus precios wi0, respectivamente. Estos factores de producción deben incluir la tierra con café en producción, el trabajo utilizado, el uso de insumos químicos, los servicios de maquinaria, servicios de asistencia técnica, entre otros factores importantes para el proceso productivo del café. Tanto los precios de los productos como de los factores deben ser estimados de acuerdo a precios de mercado vigente en el periodo relevante en las zonas donde se realiza la medición para una calidad promedio de estos bienes y servicios. Cabe también señalar que en el cálculo de (1) sólo se debe computar la tierra con café en producción al momento de la medición, así como el uso de insumos aplicados únicamente en estas tierras. Las tierras y el esfuerzo dedicado a instalación de nuevos cafetales o a procesos de corte (soqueo) durante el periodo y que no generan producción inmediata, no deben ser considerados en este cálculo. Sólo interesan los procesos que en el periodo en cuestión hayan y estén generando producción efectiva de café. Para el cálculo de (1) debe usarse la Encuesta de Línea de Base, donde se tiene un grupo intervenido compuesto por las fincas seleccionadas para convertirse en UCAEs; y se tiene el grupo de control compuesto por fincas seleccionadas del universo de productores cafeteros comparables. En ambos casos, debe tomarse información

42

sobre la última campaña de cosechas de café en los aspectos de producción, uso de insumos y precios de productos e insumos. Los precios estimados de la ELB deben usarse para construir precios promedio en cada zona específica y son estos precios promedio (no los individuales) los que se usarán para el cálculo de (1). Luego de estimado (1) para todas las UCAEs y para el grupo de control, se procederá a hacer un seguimiento trimestral de la PTF sólo para las UCAEs. En ese caso, se estimarán las cantidades de café producidos e insumos utilizados en cada trimestre producción a cargo de las Unidades Especiales de Acompañamiento usando el software de gestión AgroWin instalado en cada UCAE. Para el periodo “1” por ejemplo, se tendrá:

PTF1 = (pt0qt1 + pe0qe1) / (Σwi0ri1) (2) Nótese que en el cálculo de (2) se mantienen los precios de los tipos de café y de los insumos del periodo inicial, registrándose solamente cambios en las cantidades. Este procedimiento es importante para identificar los cambios en eficiencia productiva distintos a cambios relacionados con variaciones en precios. Sin embargo, es posible también cambiar el periodo de base para los precios si se observa que el periodo inicial no es el más representativo. En base a este método, el sub-sistema 1 de seguimiento estará en condiciones de generar mediciones trimestrales de PTF, y se podrá registrar la variación porcentual en este ratio para las UCAEs, sobre la base de:

∆PTF1 = 100* [(PTF1 – PTF0)/PTF0] (3) Se espera que con el tiempo y la maduración de las UCAEs, este valor sea positivo, indicando un aumento en la productividad total de los factores utilizados en la producción de café. Cabe señalar que parte importante en el posible aumento de este indicador provendrá de la mayor producción de cafés especiales de mayor calidad y valor. Al respecto, el esquema puede usar más de dos categorías para las variedades relevantes de café, siempre y cuando sea posible observar y medir los distintos precios de mercado de estas variedades. De otro lado, dentro del sub-sistema 2, se tendrá una medición final de PTF usando la Encuesta de Evaluación Final, la cual es aplicada tanto al grupo intervenido como de control. Sobre esta base, será posible determinar el cambio en PTF atribuible al proyecto: ∆PTF (atribuible al proyecto) = ∆PTF(grupo intervenido) – ∆PTF(grupo control) (4) En (4) se estima los cambios en PTF tanto en el grupo intervenido como de control, usando expresiones como (3), y luego se deduce del cambio en el grupo intervenido el cambio en el grupo de control. Es por esto que (4) es el cálculo riguroso de cambio en productividad total de los factores debido a la intervención del proyecto.

43

Anexo Nº 4: Temas específicos que pueden ser materia de Estudios en el Sub-sistema de Aprendizaje Aunque en el sub-sistema de aprendizaje se propone realizar una evaluación de los modelos de intervención al año de iniciado el proyecto, y sobre esta base definir con mayor precisión los estudios que serían necesarios para generar aprendizajes sobre los factores que influyen en el éxito relativo de los modelos, proponemos algunos temas que podrían ser materia de estos estudios. Organizaremos los temas específicos de acuerdo a temas generales: Temas organizacionales

• Viabilidad interna y externa de las formas asociativas en la agricultura colombana;

• Incentivos para el trabajo y la inversión en formas asociativas; Funcionamiento de mercados de factores

• Mercado de tierras en zonas cafeteras; • Mercado de trabajo en zonas cafeteras;

Funcionamiento de mercado de servicios complementarios

• Mercados financieros y actividad cafetera; • Mercado por servicios de asistencia técnica para café; • Mercados por servicios de información para café;

Funcionamiento del mercado del café

• La cadena de comercialización del café colombiano; Aspectos tecnológicos

• Determinantes de adopción de tecnologías en café; • La oferta tecnológica para la actividad cafetera;

Bienes públicos regionales y locales

• Funcionamiento de las instancias estatales a nivel regional y local en la provisión de bienes públicos para la actividad cafetera.

44

Anexo N° 5: Perfil del Especialista responsable del SSEA El especialista encargado del Sistema de Seguimiento, Evaluación y Aprendizaje (SSEA) del proyecto deberá tener las siguientes características:

• Profesional en ciencias económicas o sociales, con post-grado en economía por lo menos a nivel de maestría;

• Experiencia y capacitación en evaluación social de proyectos. Es

deseable que haya coordinado por lo menos dos evaluaciones de proyectos públicos en el ámbito agrario o rural de Colombia, preferiblemente con financiamiento internacional;

• Deseable tener experiencia en análisis cuantitativo de encuestas de

hogares y de encuestas de producción, así como en análisis cualitativo en base a entrevistas o grupos focales;

• Compromiso de por lo menos dos años de trabajo en proyecto, y sin

impedimentos para realizar viajes continuos al interior del país;

• Deseable que tenga conocimientos y experiencia sobre la actividad cafetera colombiana así como sobre la agricultura y sector rural de Colombia;

• Liderazgo y capacidad de coordinación con otras instancias públicas y

privadas;

• Poder trabajar bajo condiciones de presión y en un contexto de transparencia y rendición de cuentas hacia la institucionalidad cafetera y el público en general.