Del modelo a las prácticas

Mariano Nino (UBA-CONICET)

1. Presentación

2. Propósitos de la evaluación

3. Condiciones poco favorables para la evaluación

4. Utilización de las evaluaciones

5. Enfoque del Marco Lógico

6. Sistema de seguimiento y evaluación

7. Ventajas del enfoque

8. Posibles críticas al enfoque

9. Roles del evaluador

¿Qué entendemos por evaluación?

Programas y proyectos

¿Qué tiene de similar y diferente a la investigación académica?

Importancia de la evaluación

Breve historia de la evaluación

Importancia de la identificación temprana de motivos reales y expectativas de los diferentes actores

¿Quiénes están interesados en la evaluación?

Propósitos “legítimos” y anunciados

◦ Herramienta para la toma de decisiones

◦ Aprendizaje institucional

◦ Rendición de cuentas

◦ Ampliar conocimiento general sobre consecuencias de intervenciones sociales

Propósitos encubiertos

◦ Cumplir con ritual

◦ Utilización manipuladora

Escasa claridad de contenidos, actividades y objetivos de los programas

Falta de acuerdo sobre estos

Inexistencia de algunas rutinas establecidas y de una cierta estabilidad sobre estas

Limitaciones por financiadores o administradores sobre lo que la evaluación puede estudiar

Insuficiente dinero o equipos capacitados

Evaluación como panacea

Mayor modestia y concientización sobre dificultades y limitaciones

Existencia de otros elementos para la toma de decisiones

Necesidad de incidir en proceso complejo de toma de decisiones

Otros usos más allá de los inmediatos y directos

Objetivo

Primera parte: entender y caracterizar el programa

◦ Descubrir la realidad del programa / familiarización

◦ Identificación de objetivos del programa:

Objetivos explícitos

Obtener información de los diferentes actores

Taller para construcción de árbol de problema (problema principal, causas, efectos y relaciones causales internas o premisas teóricas latentes)

Segunda parte: matriz del proyecto (resumen del proceso de desarrollo)

Ejecución de un programa como consecuencia de conjunto de eventos con relación causal interna

◦ Objetivo global: objetivo a largo plazo al que contribuirá el proyecto (justificación del proyecto)

◦ Objetivo específico: efectos esperados del proyecto para los beneficiarios directos (propósito del proyecto, más allá del control directo de la dirección del proyecto)

◦ Resultados: objetivos que la dirección del proyecto debe lograr y mantener durante la vida del proyecto. Su impacto combinado deberá bastar para lograr objetivo inmediato

◦ Actividades: expresadas como procesos

◦ Insumos: se expresan los principales en términos de presupuesto, personal y bienes

Cada nivel debe contener condiciones necesarias y suficientes para el siguiente nivel superior

No existe certeza absoluta de que lo previsto se cumpla. Proceso como secuencia de hipótesis de desarrollo que se pueden analizar y describir

◦ si los insumos están disponibles, entonces las actividades se realizarán

◦ si las actividades se realizan, entonces se producirán los resultados

◦ si se producen los resultados, entonces se logra el objetivo específico

◦ a largo plazo, esto contribuirá al cumplimiento del objetivo global

Las incertidumbres del proceso se explican con factores externos a cada nivel

Obtener información en base a indicadores intermedios que muestren si las distintas etapas se desarrollan como se suponía: hasta qué grado se han logrado los objetivos en diferentes momentos

Mediciones de distinto tipo

Posibilidad de complementar con indicadores indirectos adicionales

Permite clarificar y sistematizar los factores más importantes para examinar en la evaluación

Promueve aprendizaje y reflexión sobre el programa (evaluador y resto)

Sirve a los diseñadores y administradores para identificar problemas tempranamente, saber específicamente qué es lo que debe ser corregido

Sirve para unificar ideas entre funcionarios sobre lo que están haciendo y por qué

Claridad en las explicaciones hacia el público y los decisores políticos sobre resultados, fortalezas y debilidades de los programas

Demanda muchos datos

Demanda información cuanti y cuali

Dudas sobre capacidad de diferentes actores para identificar procesos a través de los cuales acontece el cambio

Programas son demasiados complejos para poder descomponer en serie finita de variables

Imposibilidad de generalizar, importancia de contextos locales

Rigidez del modelo puede dejar afuera aspectos importantes

Negociación con otros actores

Puede asumir diferentes roles e interactuar de manera distinta: tensión entre rol de ajenidad y rol comprometido

◦ Rol de ajenidad (tradicional): neutralidad, búsqueda de información objetiva, fe puesta en metodología, sigue siendo importante

◦ Nuevas visiones: mayor compromiso, respeto por el conocimiento y experiencia de actores involucrados

Evaluación empoderadora (Empowerment Evaluation)

Evaluación colaborativa

Evaluación participativa per se (de stakeholders)

Motivos para evaluación participativa (filosóficos, prácticos, éticos)

Desventajas posibles