USOS DE LA EVALUACIÓN

Hugo ChavarríaEspecialista en Análisis Estratégico

CAESPAProyecto Competitividad y Sustentabilidad de Cadenas Agrícolas

IICA – Sede Central

Taller: Buenas prácticas para la evaluación de políticas para la agricultura

Montevideo, Uruguay, 13 y 14 de Junio 2017

Luis MoránEspecialista en AgronegociosRepresentación del IICA en Perú

Pensando en la política evaluada: ¿Cuándo son útiles los resultados de la evaluación?

• Cuando NO forman parte de auditorias o vigilancias

• Cuando NO son vistos como ejercicios de control o intervención

LOS NO LOS SI

• Cuando se basan en una cultura de rendición de cuentas

• Cuando retroalimentan las políticas

• Cuando contribuyan a evaluar riesgos y construir acciones correctivas

El diseño de políticas públicas basadas en evidencia (Bardach)1. Definir el problema público

2. Recopilar información:

3. Construir alternativas

4. Seleccionar criterios para evaluar los resultados de cada alternativa

5. Proyectar resultados

6. Confrontar costos

7. Decidir

8. Contar la historia

El diseño de políticas públicas basadas en evidencia (Bardach)• ¿Por qué no sucede? Críticas desde la ciencia

• Las políticas públicas no son necesariamente racionales

• Cuando se habla de evidencia se piensa en experimentos controlados RCT

• La investigación científica no es la única fuente de evidencia

• Pero además:• Tomadores de decisión carecen de autonomía

• Instituciones incipientes: rotación, falta de capacidades, poca influencia

• Poca institucionalización de la evaluación: baja demanda

• Falta de insumos para investigación y evaluación (estadísticas)

El diseño de políticas públicas basadas en evidencia (Bardach)• Pero también hay condiciones que las promueven:

• Crisis económicas o políticas

• Incertidumbre, búsqueda de alternativas, momentos de riesgo, etc.

• Transiciones políticas• Presiones internas y externas

• Desarrollos de nuevas tecnologías de información y análisis• Difícil clamar falta de conocimiento

¿Qué encontramos en la investigación del IICA?

El uso de los resultados de la evaluación dependerá de:

a) La participación de los evaluados en la evaluación

b) La calidad de la información generada

c) El convencimiento de los beneficios de la evaluación

d) La generación de recomendaciones de utilidad

e) El uso de metodologías de evaluación de utilidad para la institución rectora

f) La consideración de la diversidad socioeconómica y cultural

Las Evaluaciones Orientadas al Uso – Patton -

• Desarrollada por Michael Quinn Patton (sociólogo presidente de AAE), bajo el argumento de que evaluación debe ser:• Útil: relevante y de utilidad

• Factible: realista, prudente y alcanzable

• Preciosa: técnicamente adecuada para lo que se quiere

• Apropiada: respetuosa y ética

• Lleva 5 ediciones: cada edición actualiza considerando desarrollo de la teoría y evidencia empírica

• La presente edición fue implementada de manera estricta en proceso de políticas públicas en Asia y cuenta con casos documentos

¿En qué consiste la EOU?

Paso 1: valorar la disposición del proyecto

Facilitación participativa

-Clarificar el enfoque

-Comunicar su valor y requerimientos

-Explicar y proveer un análisis de actores

-Preparar a los participantes

-Planear, facilitar y negociar mejoras

¿Cómo?

Valorar compromiso:

-enfoque

Determinar disposición

-Tiempo

-Recursos

-Participación

Determinar mejoras

¿Qué hacer?

Asegurar entendimiento e interés en la EOU

¿Para qué?

Preparación de la evaluación

Paso 2: valorar la idoneidad del evaluador

-Sincerar el nivel de conocimiento

-Orientar y mantener el foco en el uso de la evaluación

-Desarrollar destrezas de facilitación

-Autorreflexiónhonesta

¿Cómo?

Valorar

-Conocimiento

-Compromiso

-Habilidades

Asegurarpreparación respecto a cómo será evaluado

¿Qué hacer?

Garantizar que el facilitador de la evaluación cuente con las habilidades requeridas.

¿Para qué?

Preparación de la evaluación

Paso 3: identificar el usuario primario de la evaluación

Facilitación participativa

-Determinar

-Generar

-Incrementar

Las características que contribuyan al proceso

¿Cómo?

Identificar y seleccionar

-Interés , apertura

-Conocimiento de la organización

-Experiencia previa

-Comprensión EOU

-Relaciones

-Credibilidad y autoridad

-Disponibilidad para estar y aprender

¿Qué hacer?

Conocer quiénes son los usuarios primarios, sus objetivos y sus necesidades con fines de involucramiento y desarrollo

.

¿Para qué?

Preparación de la evaluación

Paso 4: análisis situacional

-Examinar experiencias previas

-Identificar factores favorables y posibles barreras de uso

-Elaborar estrategias

-Incorporar al pto y cronograma

-Fortalecer y equilibrar liderazgos , equipos

-Pensamiento de contingencia

-Repasar 1 a 4

-Aumentar capacidades

¿Cómo?

Identificar, valorar, y entender los factores situacionales que puedan afectar el uso de los hallazgos, y actuar con base en ellos.

¿Qué hacer?

Favorecer el uso de la evaluación a partir de tener en cuenta factores situacionales claves

.

¿Para qué?

Preparación de la evaluación

Paso 5: definir los usos primordiales de la evaluación

-Ayudar a entender los tipos de evaluación, las opciones de uso y la importancia de priorizar

-Ayudar a establecer prioridades y resolver conflictos

-Evitar la tentación de jugar con un poco de todo

¿Cómo?

Identificar y priorizar los usos primordiales mediante la determinación de los objetivos prioritarios

¿Qué hacer?

Garantizar que los usuarios asuman el control de los propósitos de la evaluación

.

¿Para qué?

Preparación de la evaluación

Paso 6-7-8: ajustar el enfoque y prioridades de la evaluación

-Tener en cuenta objetivos y beneficiarios

-Ofrecer un menú de opciones de enfoque

-Escuchar y ayudar a identificar preguntas relevantes , enfocadas

-Confrontar con la acción

-Asegurar que se han considerado implementación, resultados y atribuciones.

¿Cómo?

Traducir usos en temas y preguntas claves de evaluación cuidadosamente formuladas

Mejorar o ajustar las preguntas clave en el proceso

Verificar áreas fundamentales

¿Qué hacer?

Ayudar a los usuarios a revisar y confirmar los usos que se le dará a la evaluación, establecer prioridades y asegurar el buen direcciona-miento

.

¿Para qué?

Diseño de la evaluación

Paso 9: Determinar la teoría de cambio que está siendo evaluada

-Ayudar a comprender y utilizar la teoría de cambio en la EOU

-Diseñar una evaluación para probar hipótesis de atribución causal

-Seleccionar herramientas y métodos apropiados

-Fabricar hallazgos cercanos a la realidad para generar aprendizaje

-Mantener a los usuarios informados

¿Cómo?

Vincular diseño y teoría de cambio

Tomar decisiones de diseño de la evaluación

Simular los datos y su potencial uso

Mejorar o ajustar las preguntas clave en el proceso

¿Qué hacer?

Garantizar que la selección de los métodos y el diseño de la evaluación genere hallazgos útiles para los usos pretendidos

.

¿Para qué?

Diseño de la evaluación

Paso 10: Diseño de la evaluación

Paso 11: Asegurar que los usuarios entiendan posibles transcendencias de las controversias

Paso 12: Simulación del uso

Desempeño de la evaluación

• Facilitación del uso

• Seguimiento con los usuarios

• Análisis de datos

• Recolección de datos

13 14

1516

Trabajar con el usuario aprendizajes para usar los hallazgos a lo largo del proceso

Examinar los usos potenciales y los posibles usuarios más allá de los definidos al inicio

Seleccionar los mecanismos y medios de diseminación (usos definidos y adicionales)

Identificar posibles usos inapropiados y elaborar un plan para que los usos sean los apropiados

Permanecer involucrado más allá de la elaboración formal de los informes

Paso 17: Metaevaluación

-Mantenerse abierto al aprendizaje

-Encontrar el tiempo y los recursos para el trabajo de campo necesario

-Ayudar al usuario a ser abierto y reflexivo

¿Cómo?

Seguimiento

-grado en el que se lograron los usos deseados

-Nuevos usos y usuarios

-Usos inapropiados o consecuencias indeseables

¿Qué hacer?

Aprender algo nuevo de cada evaluación

.

¿Para qué?