View
98
Download
0
Category
Preview:
Citation preview
USOS DE LA EVALUACIÓN
Hugo ChavarríaEspecialista en Análisis Estratégico
CAESPAProyecto Competitividad y Sustentabilidad de Cadenas Agrícolas
IICA – Sede Central
Taller: Buenas prácticas para la evaluación de políticas para la agricultura
Montevideo, Uruguay, 13 y 14 de Junio 2017
Luis MoránEspecialista en AgronegociosRepresentación del IICA en Perú
Pensando en la política evaluada: ¿Cuándo son útiles los resultados de la evaluación?
• Cuando NO forman parte de auditorias o vigilancias
• Cuando NO son vistos como ejercicios de control o intervención
LOS NO LOS SI
• Cuando se basan en una cultura de rendición de cuentas
• Cuando retroalimentan las políticas
• Cuando contribuyan a evaluar riesgos y construir acciones correctivas
El diseño de políticas públicas basadas en evidencia (Bardach)1. Definir el problema público
2. Recopilar información:
3. Construir alternativas
4. Seleccionar criterios para evaluar los resultados de cada alternativa
5. Proyectar resultados
6. Confrontar costos
7. Decidir
8. Contar la historia
El diseño de políticas públicas basadas en evidencia (Bardach)• ¿Por qué no sucede? Críticas desde la ciencia
• Las políticas públicas no son necesariamente racionales
• Cuando se habla de evidencia se piensa en experimentos controlados RCT
• La investigación científica no es la única fuente de evidencia
• Pero además:• Tomadores de decisión carecen de autonomía
• Instituciones incipientes: rotación, falta de capacidades, poca influencia
• Poca institucionalización de la evaluación: baja demanda
• Falta de insumos para investigación y evaluación (estadísticas)
El diseño de políticas públicas basadas en evidencia (Bardach)• Pero también hay condiciones que las promueven:
• Crisis económicas o políticas
• Incertidumbre, búsqueda de alternativas, momentos de riesgo, etc.
• Transiciones políticas• Presiones internas y externas
• Desarrollos de nuevas tecnologías de información y análisis• Difícil clamar falta de conocimiento
¿Qué encontramos en la investigación del IICA?
El uso de los resultados de la evaluación dependerá de:
a) La participación de los evaluados en la evaluación
b) La calidad de la información generada
c) El convencimiento de los beneficios de la evaluación
d) La generación de recomendaciones de utilidad
e) El uso de metodologías de evaluación de utilidad para la institución rectora
f) La consideración de la diversidad socioeconómica y cultural
Las Evaluaciones Orientadas al Uso – Patton -
• Desarrollada por Michael Quinn Patton (sociólogo presidente de AAE), bajo el argumento de que evaluación debe ser:• Útil: relevante y de utilidad
• Factible: realista, prudente y alcanzable
• Preciosa: técnicamente adecuada para lo que se quiere
• Apropiada: respetuosa y ética
• Lleva 5 ediciones: cada edición actualiza considerando desarrollo de la teoría y evidencia empírica
• La presente edición fue implementada de manera estricta en proceso de políticas públicas en Asia y cuenta con casos documentos
¿En qué consiste la EOU?
Paso 1: valorar la disposición del proyecto
Facilitación participativa
-Clarificar el enfoque
-Comunicar su valor y requerimientos
-Explicar y proveer un análisis de actores
-Preparar a los participantes
-Planear, facilitar y negociar mejoras
¿Cómo?
Valorar compromiso:
-enfoque
Determinar disposición
-Tiempo
-Recursos
-Participación
Determinar mejoras
¿Qué hacer?
Asegurar entendimiento e interés en la EOU
¿Para qué?
Preparación de la evaluación
Paso 2: valorar la idoneidad del evaluador
-Sincerar el nivel de conocimiento
-Orientar y mantener el foco en el uso de la evaluación
-Desarrollar destrezas de facilitación
-Autorreflexiónhonesta
¿Cómo?
Valorar
-Conocimiento
-Compromiso
-Habilidades
Asegurarpreparación respecto a cómo será evaluado
¿Qué hacer?
Garantizar que el facilitador de la evaluación cuente con las habilidades requeridas.
¿Para qué?
Preparación de la evaluación
Paso 3: identificar el usuario primario de la evaluación
Facilitación participativa
-Determinar
-Generar
-Incrementar
Las características que contribuyan al proceso
¿Cómo?
Identificar y seleccionar
-Interés , apertura
-Conocimiento de la organización
-Experiencia previa
-Comprensión EOU
-Relaciones
-Credibilidad y autoridad
-Disponibilidad para estar y aprender
¿Qué hacer?
Conocer quiénes son los usuarios primarios, sus objetivos y sus necesidades con fines de involucramiento y desarrollo
.
¿Para qué?
Preparación de la evaluación
Paso 4: análisis situacional
-Examinar experiencias previas
-Identificar factores favorables y posibles barreras de uso
-Elaborar estrategias
-Incorporar al pto y cronograma
-Fortalecer y equilibrar liderazgos , equipos
-Pensamiento de contingencia
-Repasar 1 a 4
-Aumentar capacidades
¿Cómo?
Identificar, valorar, y entender los factores situacionales que puedan afectar el uso de los hallazgos, y actuar con base en ellos.
¿Qué hacer?
Favorecer el uso de la evaluación a partir de tener en cuenta factores situacionales claves
.
¿Para qué?
Preparación de la evaluación
Paso 5: definir los usos primordiales de la evaluación
-Ayudar a entender los tipos de evaluación, las opciones de uso y la importancia de priorizar
-Ayudar a establecer prioridades y resolver conflictos
-Evitar la tentación de jugar con un poco de todo
¿Cómo?
Identificar y priorizar los usos primordiales mediante la determinación de los objetivos prioritarios
¿Qué hacer?
Garantizar que los usuarios asuman el control de los propósitos de la evaluación
.
¿Para qué?
Preparación de la evaluación
Paso 6-7-8: ajustar el enfoque y prioridades de la evaluación
-Tener en cuenta objetivos y beneficiarios
-Ofrecer un menú de opciones de enfoque
-Escuchar y ayudar a identificar preguntas relevantes , enfocadas
-Confrontar con la acción
-Asegurar que se han considerado implementación, resultados y atribuciones.
¿Cómo?
Traducir usos en temas y preguntas claves de evaluación cuidadosamente formuladas
Mejorar o ajustar las preguntas clave en el proceso
Verificar áreas fundamentales
¿Qué hacer?
Ayudar a los usuarios a revisar y confirmar los usos que se le dará a la evaluación, establecer prioridades y asegurar el buen direcciona-miento
.
¿Para qué?
Diseño de la evaluación
Paso 9: Determinar la teoría de cambio que está siendo evaluada
-Ayudar a comprender y utilizar la teoría de cambio en la EOU
-Diseñar una evaluación para probar hipótesis de atribución causal
-Seleccionar herramientas y métodos apropiados
-Fabricar hallazgos cercanos a la realidad para generar aprendizaje
-Mantener a los usuarios informados
¿Cómo?
Vincular diseño y teoría de cambio
Tomar decisiones de diseño de la evaluación
Simular los datos y su potencial uso
Mejorar o ajustar las preguntas clave en el proceso
¿Qué hacer?
Garantizar que la selección de los métodos y el diseño de la evaluación genere hallazgos útiles para los usos pretendidos
.
¿Para qué?
Diseño de la evaluación
Paso 10: Diseño de la evaluación
Paso 11: Asegurar que los usuarios entiendan posibles transcendencias de las controversias
Paso 12: Simulación del uso
Desempeño de la evaluación
• Facilitación del uso
• Seguimiento con los usuarios
• Análisis de datos
• Recolección de datos
13 14
1516
Trabajar con el usuario aprendizajes para usar los hallazgos a lo largo del proceso
Examinar los usos potenciales y los posibles usuarios más allá de los definidos al inicio
Seleccionar los mecanismos y medios de diseminación (usos definidos y adicionales)
Identificar posibles usos inapropiados y elaborar un plan para que los usos sean los apropiados
Permanecer involucrado más allá de la elaboración formal de los informes
Paso 17: Metaevaluación
-Mantenerse abierto al aprendizaje
-Encontrar el tiempo y los recursos para el trabajo de campo necesario
-Ayudar al usuario a ser abierto y reflexivo
¿Cómo?
Seguimiento
-grado en el que se lograron los usos deseados
-Nuevos usos y usuarios
-Usos inapropiados o consecuencias indeseables
¿Qué hacer?
Aprender algo nuevo de cada evaluación
.
¿Para qué?
Recommended