Upload
truonganh
View
226
Download
0
Embed Size (px)
Citation preview
La evaluación en el sector público en
América Latina
Reflexiones sobre paradigmas, usos y métodologías
Lucy Winchester
ILPES/CEPAL
Seminario Internacional “Evaluar las Políticas Públicas para un
Desarrollo Inclusivo” Programa de Evaluación de las Políticas Públicas,
Jefatura de Gabinete de Ministros, Presidencia de la Nación
Buenos Aires, Argentina, 10 al 11 de 2013
Temas de la reflexión
1. Paradigmas – fundacionales para la práctica de la evaluación; y en relación a AL
2. Implicaciones uso AL – tendencias observadas
3. Implicaciones metodológicas AL – tendencias observadas
4. Logros, dificultades, innovaciones y pendientes
Las raíces fundacionales de la evaluación (paradigmas)
1. Accountability - alude a que el gobierno (u organización) debe hacerse responsable de los resultados logrados producto de su accionar. - actividades diseñadas para mejorar la intervención pública y la sociedad.
Alkin, Marvin C. y Christina A. Christie (2004). “An Evaluation Theory Tree” en Evaluation’s Roots,
Tracing Theorists’ Views and Influences, ed., M.C. Alkin, Sage.
Accountability (cont.)
• En relación a los objetivos – si los objetivos y metas han sido definido en forma adecuado y razonable.
• En relación al proceso – si se ha establecido (e implementado) procedimientos suficientes, adecuados y razonables para alcanzar su logro.
• En relación al resultado – si se ha logrado los objetivos establecidos, en qué grado.
Alkin, Marvin C. (1972). “Accountability defined.” Evaluation Comment: The Journal of Educational
Evaluation, 3, 1-5.
2. La investigación social – el estudio sistemático del comportamiento de grupos de individuos en distintos entornos sociales, a través de una variedad de métodos. - el estudio empírico vía la recolección y análisis de información empírica sobre grupos sociales.
Las ramas “teóricas” del árbol:
1. Los métodos – la evaluación guíada por las metodologías de investigación (el marco evaluativo). Busca generalizar, busca construir conocimiento. (defn. de objetivos y resultados, hipótesis; diseños
experimentales, cuasi experimentales; teoría del programa; …)
2. La valoración – el rol esencial de la evaluación es valorar la data, formular un juicio. (criteria de evaluación; cadena
causal; descripción crítica, interpretación de signficado, valoración; actores y participación)
3. El uso – cómo se utilizará la información evaluativa, y quiénes la utilizarán. (CIPP – contexto, insumos, proceso, producto;
analizar proceso, medir resultados; aprendizaje)
Alkin, Marvin C. y Christina A. Christie (2004). “An Evaluation Theory Tree” en Evaluation’s Roots,
Tracing Theorists’ Views and Influences, ed., M.C. Alkin, Sage.
América Latina – paradigmas 1. Accountability - Para la evaluación en el sector público, el
concepto está asociado a la rendición de cuentas y la transparencia respecto de las decisiones, productos, gasto, políticas y acciones públicas, incluyendo su forma de administración, gestión e implementación.
2. Value for Money - un compromiso explícito por garantizar que se obtuvieron los mejores resultados posibles con los recursos públicos gastados. La evaluación en este paradigma sirve para: a. controlar el uso de los recursos públicos en la provisión de bienes y servicios públicos, b. la administración de los grandes desequilibrios (macroeconómicos, sociales y ambientales), c. la acumulación de capital social, físico y humano, y d. la consolidación de los procesos de gobernabilidad democráticos.
Bello, Rosario (2013)
Paradigmas AL (cont)
3. Gestión para resultados del desarrollo y valor público – objetivo último: habilitar a las organizaciones públicas para que logren, mediante la gestión del proceso de creación de valor público, los resultados consignados en los objetivos del gobierno.
4. Complementado con el paradigma de la calidad de la gestión estatal – la orientación hacia el ciudadano y la satisfacción de sus necesidades, y la modernización de los recursos humanos, operativos, tecnológicos, organizacionales. La evaluación comienza a mirar hacia el sujeto de la intervención del Estado. Y se convierte en un activo político con capacidad de legitimar las acciones públicas (Moyado 2002). Bello, Rosario (2013)
Creación de sistemas de M&E en LAC
Cuatro razones principales
1. el mandato de darle mayor racionalidad a los ajustes y correcciones fiscales dentro de un marco de modernización y racionalización de la gestión pública
2. la percepción de los gobiernos de que deben pagar un costo político cada vez más alto por la mala gestión de programas públicos
3. la mayor demanda de participación y transparencia por parte de la sociedad
4. una tendencia creciente de la ciudadanía por exigir servicios efectivos con respuestas sostenibles, lo que obliga al Estado a legitimarse sobre la base de un mejor desempeño público.
Bello, Rosario (2013)
La evaluación por tanto es conceptualizada - como una función crítica de la administración pública,
- como un instrumento que consolida la información necesaria para alimentar las decisiones de presupuesto y la cuenta pública, y - en menor medida para la gestión de los programas, la planificación y la formulación de programas y políticas.
Bello, Rosario (2013)
Institución que tiene la responsabilidad de planificar y evaluar por país (2012)
Institución Quién planifica por país Quién evalúa por país
Institución Planificación Bolivia, Colombia, Costa Rica, Ecuador, Paraguay, Perú y Trinidad y Tobago.
Colombia, Costa Rica, Ecuador, Guyana,
Paraguay, Trinidad y Tobago, Venezuela
Oficina de la Presidencia
Chile, El Salvador, Guatemala, Honduras,
México y Nicaragua.
El Salvador, Guatemala, Honduras, Jamaica, Nicaragua, Panamá
Mixto: Finanzas y Planificación
Brasil, Jamaica, República, Dominicana,
Uruguay, Venezuela.
Brasil, República Dominicana, Uruguay
Institución de Finanzas (o Hacienda)
Bahamas, Guyana, Panamá
Chile, México, Perú
Consejo o Comité especial
Argentina Argentina, Bolivia
Cada Institución Belize Belize
País Toma de decisiones
presupuestarias
Planificación nacional o sectorial
Gestión de programas
Rendición de cuentas
Formulación y/o mejoramiento de
programas o políticas
Argentina x x x x
Brasil x x x x x
Bolivia x x x
Colombia x x x x x
Costa Rica x x x x x
Chile x x x x x
Ecuador x x x
Guatemala x x x
Guyana x x
Honduras x
Jamaica x x x
México x x x x x
Nicaragua x x
Panamá x
Paraguay x x x
Perú x x x x
República Dominicana
x x x
Trinidad y Tobago x
Uruguay x x x
?Qué apoyan los sistemas de M&E en AL (2012)?
¿Para que se usa el sistema de monitoreo y evaluación, principalmente?
Muy frecuente: El sistema está institucionalizado y cuenta con metodologías e instrumentos formalizados.
Frecuente: El sistema está institucionalizándose y se están elaborando los instrumentos y las metodologías
Poco frecuente: el sistema está comenzando a implementarse
Para tomar decisiones técnicas y presupuestarias
Chile
Para tomar decisiones de alto nivel
Brasil, Colombia, Costa Rica, Uruguay
Bolivia, Ecuador, México
Para corregir cumplimiento de metas
Argentina, Guatemala
Honduras, Nicaragua,
Panamá, Paraguay,
Perú, Guyana
Uso de los sistemas de M&E en AL (2012)
Hechos estilizados: ejes de evaluación, tipos de indicadores, métodos y metodologías
Eje de la evaluación: • Chile, Colombia y México muestran avances en la
incorporación de un menú de evaluaciones que den cuenta de manera más integral de la cadena de generación de valor público, incorporando también evaluaciones de impacto rigurosas y financiadas por el país.
• El resto de los países está focalizado mayoritariamente en alguna de las partes de la cadena con énfasis las evaluaciones que miden los niveles de producción de los bienes y servicios provistos, sus costos y el desarrollo del cronograma de actividades.
• En éstos, el acento sigue colocado en la eficiencia del gasto, donde el control financiero y presupuestario constituye la base de dicha evaluación.
Tipos de indicadores: • En la práctica ha sido difícil establecer indicadores de resultados y que
además estén vinculados con el gasto de un programa.
• Se han definido una cantidad indiscriminada de indicadores para los cuales no necesariamente se recopila información (se definen para cumplir sin intención real de medirlos).
• Los objetivos sobre los cuales se basan los indicadores no están bien formulados (en muchos casos los indicadores de desempeño se han desarrollado antes de haber aclarado o legitimado los objetivos)
• En algunos de los países más avanzados no se utilizan los mismos indicadores y metas para comparar los logros (se cambian los indicadores o las bases de comparación)
• Al no producirse una articulación entre niveles de objetivos y metas sectoriales, la utilidad de medir resultados se cuestiona por cuanto no se conoce cómo los resultados de un sector pueden deshacer los logros en otro sector, salud o educación.
Métodos de evaluación: • Es común el uso de auditorías financieras, y de
evaluaciones de resultados (eficiencia y eficacia). • En la mayor parte de los países se evalúa con la
información que se tiene. • Predominan las revisiones relativamente sencillas de
programas (examen de documentos, entrevistas a las principales partes interesadas, debates en grupos focales y el uso de cualquier tipo de datos de los programas disponible)
• En algunos países, se ha intentado avanzar hacia una valoración de los resultados de las políticas y de la calidad de los servicios prestados a través de estudios de caso de índole cualitativo.
Metodologías de evaluación:
• En general, las metodologías de evaluación utilizadas identifican los problemas y los dividen en pequeños subgrupos temáticos de manera de poder medirlos.
• No se incorpora mediciones multisectoriales que reconozcan los nexos entre metas.
• Las evaluaciones están abocadas centralmente a la comparación entre objetivos y metas propuestas en el nivel micro, de programas y proyectos
• Esto es válido también para las evaluaciones de impacto que no miden ni cambios en las políticas públicas ni sus efectos concertados sobre los usuarios, más allá de la contribución de un programa o un proyecto específico.
• Por lo general el argumento es que “basta con las evaluaciones de corto plazo de un conjunto de programas para tener indicaciones sobre los resultados de la implementación de las políticas públicas dado que éstas se traducen en programas y proyectos”.
Metodologías de evaluación (cont): • Las evaluaciones de avance de las políticas públicas no dan cuenta de la
complejidad de los fenómenos sociales -- los resultados del accionar público dependen de una multiplicidad de factores, endógenos y exógenos
• Aunque algunos países tratan de abordar este tema, no pasan de ser un ejercicio aislado de un programa.
• Dependiendo de los ámbitos a evaluar se definen como Evaluaciones en Profundidad o Módulo de Evaluación de Impacto. Países como Chile, México y Colombia han avanzado en este sentido.
• Las evaluaciones de la política pública se han centrado en medir el desempeño de corto plazo a nivel de procesos y productos, dejando de lado la medición de la sostenibilidad/sustentabilidad de los resultados y la calidad de los mismos.
• Existe un sesgo hacia la medición de productos en términos absolutos debido a una cultura de medición que privilegia cantidades (1,500 mil vacunas) más que la calidad del gasto o la rendición del valor público de aquello que es producido.
Observaciones adicionales
• Se observa una fricción entre paradigmas de investigación social y accountability evidenciados por tipo de profesionales involucrados y perspectivas internalizadas en los sistemas de M&E.
• Se observa una debilidad de la aplicación de metodologías de evaluación de programas, desde la perspectiva de la investigación social aplicada. En particular en el desarrollo insuficiente de los modelos de programas (teoría del cambio). Asimismo en el involucramiento de los beneficiarios/ciudadano/as.
• Los indicadores se vuelven un fin y no un medio para comprender la intervención pública y evidenciarla. Sistemas de indicadores son el principal “evidencia” hoy en día en la región.
Observaciones adicionales
• Las metodologías utilizadas, aunque en muchos casos son “estandaridizadas”, en general no tiene objetivos de mejoramiento de implementación y aprendizaje organizacional. (falta demanda efectiva)
• Débil calidad de la información de monitoreo, falta de sistemas integrados
• Débil diseño de proyectos, programas, especialmente políticas (estrategias y planes)
• Falta de interconectividad entre micro, meso y macro niveles de planificación
• Débil conectividad entre sistemas de planificación y presupuesto.
Estructura Institucional
y
Administración / Gestión Insumos
Actividades Productos Resultados Impacto
Evaluaciones de
procesos
Evaluación de
Productos Evaluación de
Resultados
Evaluación
de Impacto
Medición anual de
procesos y productos
Micro Meso
Evaluación de i) impacto de todos
los programas de un sector, de
programa intersectorial, regional;
ii) de diseño y resultados de
mediano plazo en provisión de
bienes y servicios x programa/
proyecto
Medición Impacto, resultados, productos de mediano plazo Inter/Sectoriales Programas /
Proyectos
Evaluación de: i) avance en metas
de producción de bienes y servicios;
ii) análisis de los procesos de
producción y administración; iii)
eficiencia y calidad de los productos,
IV) eficacia y efectividad de los
sistemas de información, monitoreo
y rendición de cuentas
Evaluación de i) coherencia y
pertinencia entre metas de largo
y mediano plazo, entre
prioridades nacionales y
territoriales de largo plazo; ii)
análisis de escenarios y riesgos
de mediano y largo plazo
Medición Largo/mediano Plazo; Estrategias Prioritarias
Nacionales y Territoriales
Macro
Análisis de escenarios y ries-
gos; Coherencia y pertinencia Insumos
Modelo integrado de planificación y evaluación
Bello, Rosario (2013)
El nivel macro de evaluación
Centrado en la valoración de distintos escenarios para la definición y actualización de las políticas públicas:
i) la coherencia, pertinencia y viabilidad del diseño de las políticas públicas;
ii) los riesgos de amplio espectro y los escenarios fiscales que afectan su logro, así como de las reasignaciones de recursos presupuestarios en períodos de gobierno y su efecto sobre las metas definidas de largo plazo; y
iii) la relación entre los resultados intermedios con las metas fijadas al largo plazo.
Relacionada con la toma de decisiones estratégicas, la legitimación social de la acción pública y la gobernabilidad. Asimismo, permite actualizar las opciones de políticas de Estado a la luz de nuevos escenarios económicos, sociales y políticos.
Estudios de prospectiva definida ésta como un análisis sistemático que permite la identificación, anticipación y proyección de tendencias en los campos sociales, económicos y tecnológicos (Costa Rica, Uruguay)
El nivel meso de evaluación Un nivel meso que evalúe la política sectorial e intersectorial de mediano
plazo y la institucionalidad pública que la opera. Este tipo de evaluación se enfocaría en medir:
i) la alineación y consistencia de los objetivos institucionales sectoriales (Ministerios/Secretarías) con las definiciones estratégicas y prioridades nacionales;
ii) el impacto de un conjunto de programas institucionales que tienen relación con una meta sectorial (por ejemplo todos los que contribuyen al objetivo y la meta de productividad agrícola); y
iii) el desempeño (resultados intermedios o impacto) en la provisión de bienes y servicios públicos por un conjunto de programas o proyectos intersectoriales y territoriales.
Colombia presenta un ejemplo interesante de seguimiento de los resultados e impactos de un conjunto de programas y proyectos sectoriales orientados al cumplimiento de metas de largo plazo desde un enfoque piramidal. El seguimiento y análisis estratégico de metas en tres niveles articulados realizado por el Sistema Nacional de Evaluación de Resultados de la Gestión Pública (SINERGIA).
Metodologías de micro simulación de evaluación de impactos de Programas de Transferencia Condicionadas (CEPAL).
El nivel micro de evaluación
Por su parte, el nivel micro de evaluación se centra en valorar: i) el avance -a nivel de la unidad programa- en el cumplimiento de
metas anuales de producción, de cobertura, focalización y de gasto;
ii) el avance en los compromisos de gestión y de desempeño institucional en el año (administración, compras públicas, etc);
iii) la calidad de la administración de los procesos, la calidad de los bienes y servicios de una institución o un programa, y la calidad de los sistemas de información institucional y su relación con los ciudadanos, usuarios y grupos de interés; y
iv) medir la eficiencia y calidad del gasto.
Sistema Chileno de Evaluación de Programas Públicos, SED de
México, convenios de desempeño
Referencias seleccionadas Moore, Mark H. (1995). Creating Public Vlaue. Strategic Management in
Government, Cambridge: Harvard University Press. Hunt, G. 2010. “The Principle of Complementarity: Freedom of Information,
Public Accountability & Whistleblowing”, cap 5 en R A Chapman & M Hunt (eds) Open Government in a Theoretical and Practical Context. Ashgate, Aldershot, 2006.
Bovens, M. "Two concepts of accountability: accountability as a virtue and as a mechanism," West European Politics 33 (2010), 946–967.
Christopher, W. 2006. Leadership, accountability in a globalizing world. London: Palgrave Macmillan.
Bello, Rosario (2013). Sistemas de evaluación y políticas públicas en América Latina, se está avanzando? Serie Gestión Pública 78, CEPAL, en prenta.
Moyado, F. (2002). “Gestión pública y calidad : hacia la mejora continua y el rediseño de las instituciones del sector público.” Ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Octubre.
Olavarría, M (2010). “Efectividad en la Gestión Pública”. Universidad de Chile Revista de Ciencias Sociales Nº52:11-36 (enero-abril).
Feinstein, O. 2007. Evaluación Pragmática de las Políticas Públicas. En Evaluación de Políticas Públicas (mayo-Junio) #836:19-31