M&E Cover-Spanish 1/9/08 10:35 AM Page 1 BANCO MUNDIAL ...€¦ · Elogios otorgados al libro Cómo crear sistemas de SyE que contribuyan a un buen gobierno “Desde hace mucho tiempo,

Cómo crear sistemas de SyEque contribuyan a un buengobierno


BANCO MUNDIAL

BANCO MUNDIAL

BA

NC

OM

UN

DIA

LC

óm

o crear sistem

as de SyE

qu

e con

tribu

yan a u

n b

uen

gob

ierno

Có

mo

crear sistemas d

e SyE q

ue co

ntrib

uyan

a un

bu

en go

biern

o

Keith Mackay

Elogios otorgados al libro Cómo crear sistemas de SyE que contribuyan a un buen gobierno

“Desde hace mucho tiempo, el Grupo de Evaluación Independiente (GEI) del Banco Mundial cuenta conun programa que da apoyo a países en vías de desarrollo para que éstos puedan fortalecer sus sistemasde SyE. Esta experiencia proviene de una amplia diversidad de países y de variados ámbitos del sectorpúblico. Gran parte de esta experiencia ha sido documentada a través de publicaciones del GEI perorecién ahora es finalmente resumida en un solo documento. Este libro será una referencia muy valiosatanto para funcionarios del gobierno como para donantes involucrados con la institucionalización de lossistemas de SyE gubernamentales.”

Ajay ChhibberDirector, GEI-Banco Mundial

”El argumento primordial de este libro se refiere a que la utilización de la información del SyE es una con-dición necesaria para el manejo eficaz del gasto público en la reducción de la pobreza. Dicho de otramanera, el SyE es necesario para que la evidencia sea la base de la implementación de políticas, de laadministración pública, y de la rendición de cuentas. Este libro brinda una valiosa contribución para aque-llos involucrados en la creación de sistemas de SyE los cuales son una buena base para alcanzar unagobernabilidad sólida.”

David ShandEx Consejero de Administración Financiera

El Banco Mundial

“Este es un excelente informe. El contenido es muy sólido y probablemente será muy útil para aquellos paí-ses interesados en desarrollar o mejorar sus sistemas de SyE. Los estudios de casos son muy útiles y muybien elaborados. Este tipo de información difícilmente se encuentra en otro lugar.”

Harry HatryDirector, Programa de Administración Publica

El Instituto Urbano

“El Banco Mundial cada día dedica más recursos para apoyar a los países en vías de desarrollo en susesfuerzos para fortalecer la orientación de sus resultados. Nosotros vemos esto como un camino impor-tante para mejorar la efectividad del desarrollo. Este libro es un compendio del creciente conocimiento delBanco sobre la institucionalición de los sistemas de SyE gubernamentales. Recomiendo este libro a losfuncionarios de gobierno, a nuestras contrapartes en el desarrollo, y al equipo del Banco que trabaja conlos gobiernos en crear capacidad, y así ayudar a los diferentes países a conocer más sobre el tema ylograr resultados en este campo.”

Susan StoutGerente, Secretaría de Resultados

El Banco Mundial

SKU 17191

ISBN 978-0-8213-7191-6

M&E Cover-Spanish 1/9/08 10:35 AM Page 1

1. Mackay, Keith. 1998. “Lessons from Experience.”

2. Brushett, Stephen. 1998. “Evaluation Capacity Development in Zimbabwe: Issues and Opportunities.”

3. Barberie, Alain. 1998. “Indonesia’s National Evaluation System.”

4. Mackay, Keith. 1998. “The Development of Australia’s Evaluation System.”

5. Guerrero, R. Pablo O. 1999. “Comparative Insights from Colombia, China and Indonesia.”

6. Mackay, Keith. 1998. “Fortalecimiento de la Capacidad de Evaluación: Guía para el Diagnóstico y Marcopara la Acción.”

7. Schacter, Mark. 2000. ”Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance.”

8. Hauge, Arild. 2001. “Fortalecimiento de la Capacidades de Seguimiento y Evaluación en Uganda: UnaPerspectiva de Gestión basada en los Resultados.”

9. Adrien, Marie-Hélène. 2003. “Guide to Conducting Reviews of Organizations Supplying M&E Training.”

10. Hauge, Arild. 2003. “Desarrollo de la Capacidad de Seguimiento y Evaluación para Mejorar el DesempeñoDel Estado en Uganda.”

11. Mackay, Keith. 2004. “Two Generations of Performance Evaluation and Management System in Australia.”

12. Ravindra, Adikeshavalu. 2004. “An Assessment of the Impact of Bangalore Citizen Report Cards on thePerformance of Public Agencies.”

13. Schiavo-Campo, Salvatore. 2005. “Building Country Capacity for Monitoring and Evaluation in the PublicSector: Selected Lessons of International Experience.”

14. Boyle, Richard. 2005. “Evaluation Capacity Development in the Republic of Ireland.”

15. Mackay, Keith. 2006. “Institucionalización de los Sistemas de Seguimiento y Evaluación para Mejorar laGestión Del Sector Publico.”

16. Zaltsman, Ariel. 2006. “Experiencia con la Institucionalización de Sistemas de Monitoreo y Evaluación enCinco Países Latinoamericanos: Argentina, Chile, Colombia, Costa Rica y Uruguay.”

17. Mackay, Keith, Gladys Lopez-Acevedo, Fernando Rojas, Aline Coudouel, y otros. 2007. “Diagnóstico delSistema Nacianal de SyE de Colombia: SINERGIA.”

Estos reportes del Grupo de Evaluación Independiente (GEI) estan disponibles en linea en el sitiohttp://www.worldbank.org/ieg/ecd.

Serie de Documentos de Trabajo del Grupo GEI Sobre Desarrollo de la Capacidad de Evaluación

Cómo crear sistemas de SyE que contribuyan a un buen gobierno

El seguimiento y la evaluación (SyE) son parte central de los acuerdos para una buena gober-nabilidad y son necesarios para lograr la formulación de políticas basadas en la evidencia, latoma de decisiones presupuestarias, la administración y la rendición de cuentas.

No existe un modelo “perfecto” de lo que debería ser un sistema de SyE. Éste dependemayormente de los diferentes usos potenciales de la información que proporciona;dichos usos constituyen las razones más importantes para desarrollar esta clase desistema.

Es útil comenzar con un análisis de las funciones del SyE que ya existen: sus fortalezasy desafíos en términos de demanda (el uso real de la información) y de oferta (la calidad técnica de la información del seguimiento y los informes de evaluación).

Los análisis también pueden ayudar a crear conciencia y a establecer acuerdos en rela-ción con la prioridad del SyE.

El siguiente paso consiste en desarrollar un plan de acción –la orientación que regirá el sistema de SyE–, el cual debe involucrar a las partes interesadas clave de losministerios centrales y sectoriales, a los donantes, a las universidades, entre otros.

Los elementos clave de un plan de acción son los promotores entusiastas e influyentes; la generación de incentivos poderosos para conducir el SyE y utilizar lainformación; la capacitación en SyE y en el uso de la información que proporciona; los acuerdos estructurales para asegurar la objetividad y calidad del SyE, y además un compromiso de largo plazo para institucionalizarlo.

Existen muchas enseñanzas de países que han desarrollado exitosos sistemas de SyEgubernamentales; sin embargo, hay muchos errores que se pueden evitar. El primerode ellos es la complejidad excesiva en un sistema de SyE que no sólo significa esfuerzoperdido sino que puede llegar a socavarlo.

Otro error es creer que el SyE tiene un valor intrínseco; la información del SyE es valiosa sólo si es ampliamente utilizada.

Es una buena práctica supervisar y evaluar en forma periódica el desarrollo del sistemade SyE y su funcionamiento. Tal vez sea necesario realizar continuas correccionesdurante el camino.

El criterio básico del éxito está en la medida en que la información del SyE se utilizapara mejorar la actuación del gobierno.



2007Banco Mundial

Washington, D.C.

B A N C O M U N D I A L G R U P O D E E V A L U A C I Ó N I N D E P E N D I E N T E

http://www.worldbank.org/ieghttp://www.worldbank.org/ieg/ecd

Keith Mackay

© 2007 Banco Internacional de Reconstrucción y Fomento/Banco Mundial1818 H Street NWWashington, DC 20433Teléfono: 202-473-1000Sitio web: www.bancomundial.orgCorreo electrónico: [email protected]

Todos los derechos reservados

1 2 3 4 10 09 08 07

Los descubrimientos, interpretaciones y conclusiones aquí expresados pertenecen a los autores y no reflejannecesariamente los puntos de vista de la Junta de Directores Ejecutivos del Banco Internacional de Reconstrucción yFomento/Banco Mundial o de los gobiernos que representan.

El Banco Mundial no garantiza la exactitud de los datos incluidos en este trabajo. Las fronteras, los colores, los nombresy otra información expuesta en cualquier mapa de este trabajo no denotan opinión alguna por parte del Banco Mundialrelacionada con la condición jurídica de ninguno de los territorios, ni aprobación o aceptación de tales fronteras.

Derechos y permisosEl material de esta obra tiene derechos reservados. La copia y/o difusión de partes o de toda la obra sin autorización puedenconstituir una violación de la ley aplicable. El Banco Internacional de Reconstrucción y Fomento/Banco Mundial estimula ladivulgación de su obra y normalmente otorga permisos oportunamente.

Para autorización de fotocopias o reimpresión de cualquier parte de este trabajo, solicítela con información completa aCopyright Clearance Center Inc., 222 Rosewood Drive, Danvers, MA 01923, USA, teléfono 978-750-8400; fax 978-750-4470;sitio web: www.copyright.com.

Todas las preguntas sobre derechos y licencias, incluso derechos subsidiarios, se deben dirigir a la Oficina del Editor,Banco Mundial, 1818 H Street NW, Washington, DC 20433, USA; fax: 202-522-2422; e-mail: [email protected].

Fotografías de la portada:Superior izquierda, planificadores Egipcios, por Ray Witlin, Biblioteca de Foto del Banco Mundial;superior derecha, reparaciones de vías en Sur África, por Trevor Samson, Biblioteca de Foto del Banco Mundial; inferiorizquierda, imagen cortesía de Leica Geosystems; inferior derecha, trabajador egipcio de ferrocarril, por Ray Witlin, Bibliotecade Foto del Banco Mundial.

ISBN: 978-0-8213-7191-6e-ISBN: 978-0-8213-7192-3DOI: 10.1596/978-0-8213-7191-6

Se ha efectuado ha solicitud de inclusión en los datos del Catálogo de Publicaciones de la Biblioteca delCongreso.

Impreso en papel reciclado

InfoShop del Banco Mundial

Correo electrónico: [email protected]

Téléfono: 202-458-5454

Facsímile: 202-522-1500

Grupo de Evaluación Independiente

Grupo de programas de gestión de

conocimientos y fortalecimiento de la capacidad

de evaluación (IEGKE)

Correo electrónico: [email protected]

Teléfono: 202-458-4497

Facsímile: 202-522-3125

v Prefacio

vii Reconocimientos

ix Siglas y acrónimos

1 1 Introducción

5 PARTE I—¿Qué ofrece el seguimiento y la evaluación a los gobiernos?

7 2 ¿Qué significa SyE? Principios fundamentales del SyE

9 3 Contribución del SyE a un buen gobierno

17 4 Tendencias clave que influyen en los países — ¿Por qué los países están creando sistemas de SyE?

21 PARTE II—Experiencias de algunos países

23 5 Países con buenas prácticas – ¿Cómo se percibe el “éxito”?

25 6 Chile

31 7 Colombia

37 8 Australia

45 9 El caso especial de África

51 PARTE III— Enseñanzas

53 10 Creación de sistemas de SyE gubernamentales — Enseñanzas de la experiencia

63 11 Incentivos para el SyE — Cómo crear demanda

67 PARTE IV—Cómo fortalecer un sistema de SyE gubernamental

69 12 La importancia de un diagnóstico de país

75 13 Preparación de planes de acción

Índice

85 PARTE V—Temas pendientes

87 14 Temas de relevancia y vanguardia

93 15 Comentarios finales

95 PARTE VI—PyR: Preguntas frecuentes

109 Anexos

111 A: Enseñanzas sobre cómo garantizar evaluaciones influyentes

115 B: Diagnóstico de un país—El ejemplo de Colombia

137 C: Términos de referencia para el diagnóstico exhaustivo del sistema de SyEde Colombia

141 D: Evaluación del apoyo del GEI para la institucionalización de sistemas de SyE

147 E: Glosario de términos claves en SyE

155 Notas

163 Bibliografía

i v

C Ó M O C R E A R S I ST E M AS D E S y E Q U E C O N T R I B U YA N A U N B U E N G O B I E R N O

v

Prefacio

Desde su creación en 1973, el Grupo de Evaluación Independiente delBanco Mundial (GEI) –antes conocido con el nombre de Departamentode Evaluación de Operaciones – ha apoyado los esfuerzos de los go-

biernos de los países en desarrollo para fortalecer sus sistemas de segui-miento y evaluación (SyE) y sus capacidades. Durante este período, el GEI haacumulado gran experiencia en este tema dentro de un gran número de pa-íses y de ambientes del sector público.

En 1998, el GEI inició una serie de documentosde trabajo y otras publicaciones sobre esta materiacon el fin de documentar y ayudar a difundir estasenseñanzas. Las publicaciones están disponiblesen el portal del GEI: http://www.worldbank.org/ieg/ecd/. El gran interés en este tema se vereflejado en el alto índice de lectura de estas pu-blicaciones –sólo el portal atrae más de 110.000visitantes cada año, y representa una proporciónconsiderable del total de lectores del GEI.

Las publicaciones del Grupo de Evaluación In-dependiente mencionadas documentan sistemasde seguimiento y evaluación de países con bue-nas prácticas y otros con prácticas prometedoras.También incluyen guías de análisis, diagnósticosde países, ejemplos de evaluaciones muy influ-yentes, así como material didáctico sobre SyE y laevaluación del impacto, entre otros. En este con-texto, el propósito de esta obra es sintetizar yprocesar todo ese acervo de conocimientos paraofrecerlo a los lectores.

La Parte I de este libro empieza con la presenta-ción de lo que el seguimiento y evaluación ofre-cen exactamente a los gobiernos. Se intenta aclararlo esencial de la retórica subyacente. Se presentanlos principios fundamentales del SyE (Capítulo 2)junto con un análisis de las maneras específicas enque la información del seguimiento y los hallazgosde las evaluaciones pueden emplearse y se hanusado para mejorar el desempeño del gobierno,por ejemplo, al apoyar una toma de decisión pre-supuestaria (Capítulo 3). Se sostiene que la utili-zación de la información del SyE es una condiciónnecesaria para el manejo eficaz del gasto públicodirigido hacia la reducción de la pobreza; en otraspalabras, se afirma que el SyE es necesario para re-alizar la formulación de políticas, la gestión y ren-dición de cuentas basadas en la evidencia. Por esola mayoría de los países miembros de la Organi-zación para la Cooperación y el Desarrollo Eco-nómicos (OCDE) –los países más ricos del mundo–ponen mucho énfasis en tener y utilizar la infor-mación del SyE para reforzar una buena

gobernabilidad. También se analizan algunas de lastendencias clave que influyen para que los paísesotorguen una mayor prioridad al SyE (Capítulo 4).

La Parte II se concentra en la experiencia de va-rios países que han tenido éxito en la creación deun sistema de SyE gubernamental. En el capítulo5 se examina lo que debe ser un sistema de SyE“exitoso”. Ejemplos de varios países –como Chile(Capítulo 6), Colombia (Capítulo 7) y Australia (Ca-pítulo 8)– ilustran tal sistema. Sin embargo, nó-tese que un tema especial de esta obra, es que noexiste el “mejor” modelo de un sistema de SyE gu-bernamental o sectorial. En países relativamentedébiles, puede ser apropiado tener un enfoquemás cuidadoso con los cambios progresivos siestos países tienen el potencial de demostrar queel SyE es eficaz en función del costo. África, porejemplo, donde existen muchas limitaciones, seanaliza dentro de este contexto (Capítulo 9).

En la Parte III se presentan las enseñanzas deri-vadas de la creación de sistemas de SyE guber-namentales en diferentes países, tanto de-sarrollados como en desarrollo. Se pone énfasisen 13 enseñanzas clave (Capítulo 10); las cualestambién son consistentes con la experiencia in-ternacional en otras formas de fomentar la capa-cidad del sector público. Las enseñanzascontemplan, por ejemplo, el requisito previo deuna fuerte demanda, por parte del gobierno, deinformación del seguimiento y de los hallazgos dela evaluación, y del papel central de los incenti-vos. Entre las enseñanzas, también se considerael valor que tiene realizar un diagnóstico del SyEen un país y contar con un promotor influyentedel SyE. Es común encontrar poca demanda deSyE por parte del gobierno, lo que con frecuen-cia se percibe como una barrera insuperable delos esfuerzos por crear un sistema de SyE. Sin em-bargo, éste no es el caso; existen muchas formas

para crear demanda de SyE, utilizando una mez-cla de diversos elementos: premios, castigos yconsejos (Capítulo 11).

En la Parte IV se ofrecen algunas sugerencias parafortalecer un sistema de SyE gubernamental. Sepresta particular atención a los beneficios quebrinda llevar a cabo un diagnóstico de país (Ca-pítulo 12). Tal diagnóstico puede proporcionar unabuena comprensión de los actuales esfuerzos delSyE en un país, en el ámbito del servicio civil, yen las oportunidades para utilizar la informaciónde este sistema para funciones centrales del go-bierno, tales como la toma de decisiones presu-puestarias y la continua realización de programasy proyectos. Un diagnóstico conduce natural-mente hacia un plan de acción que identifica lasprincipales opciones para el fortalecimiento de unsistema de SyE gubernamental (Capítulo 13).

En la Parte V se abordan temas donde la expe-riencia internacional con sistemas de SyE guber-namentales no está bien entendida o biendocumentada. Esto incluye temas relevantes yde vanguardia como la eficacia en función de loscostos de los enfoques alternativos para fortale-cer los sistemas de SyE gubernamentales, y los mo-delos de buenas prácticas de SyE en los nivelessectoriales y subnacionales (Capítulo 14). Tambiénse ofrecen las respuestas de una serie de inte-rrogantes que surgen frecuentemente acerca deltema de los sistemas de SyE gubernamentales(Capítulo 15). Se incluye una lista de los princi-pales peligros y errores que se deben evitarcuando se busca fortalecer el SyE en un país,como el error de creer que el SyE tiene un mé-rito intrínseco, o adoptar un enfoque tecnocráticopara desarrollar capacidad.

Por último, en la Parte VI se ofrece una serie depreguntas comunes sobre el SyE y sus respuestas.

v i


v i i

Reconocimientos

Esta obra fue escrita por Keith Mackay, quien co-menzó la serie de documentos de trabajo del GEIy otras publicaciones sobre este tema en 1998. Elcontenido del libro ha recibido comentarios deotros colegas como Harry Hatry y David Shand.La edición de la versión en inglés la llevó a caboHeather Dittbrenner. Diana Chávez tradujo la ver-sión en español y Laura Valencia editó esta versión.No obstante, las opiniones expresadas en esta

obra son las del autor y no reflejan necesaria-mente la opinión del Banco Mundial o del Grupode Evaluación Independiente.

Se agradece el generoso apoyo financiero de laAgencia Noruega de Cooperación para el Desa-rrollo (Norad, por su acrónimo en inglés) para laelaboración de este trabajo.

i x

Siglas y acrónimos

AfrEA Asociación Africana para la EvaluaciónANAO Oficina Nacional de Auditoría de AustraliaBID Banco Interamericano de DesarrolloCAD Comité de Asistencia para el Desarrollo (OCDE)COINFO Comisión Intersectorial de Políticas y de Gestión de Información para la

Administración Pública (Colombia)CONPES Consejo Nacional de Política Económica y Social (Colombia)CRC Tarjeta de Informes CiudadanosDANE Departamento Administrativo Nacional de Estadística (Colombia)DCE Desarrollo de la Capacidad de EvaluaciónDdF Departamento de Finanzas (Australia)DDTS Dirección de Desarrollo Territorial Sostenible (Colombia)DEPP Dirección de Evaluación de Políticas Públicas (Colombia)DFID Departamento de Desarrollo Internacional (Reino Unido)DIFP Dirección de Inversiones y Finanzas Públicas (parte del DNP, Colombia)DNP Departamento Nacional de Planeación (Colombia)GAO Oficina General de Rendición de Cuentas (Estados Unidos de América)GEI Grupo de Evaluación Independiente HMN Red de la Métrica en SaludICBF Instituto Colombiano de Bienestar FamiliarIDEAS Asociación Internacional de Evaluación del DesarrolloMdH Ministerio de Hacienda (Chile)MEN Ministerio de Educación (Colombia)NIMES Sistema Nacional Integrado de Seguimiento y Evaluación (Uganda)OCDE Organización para la Cooperación y el Desarrollo EconómicosODM Objetivos de Desarrollo del MilenioOMB Oficina de Administración y Presupuesto (Estados Unidos de América)ONG Organización No GubernamentalPART Instrumentos de Clasificación de las Evaluaciones de Programas (Estados

Unidos de América)PBB Presupuesto por resultadosPEAP Plan de acción para la erradicación de la pobreza (Uganda)PEP Plan de Evaluación de Portafolio (Australia)PETS Encuesta de seguimiento del gasto público (Uganda)PRSP Documento de estrategia para la reducción de la pobrezaSEDESOL Secretaría de Desarrollo Social (México)SENA Servicio Nacional de Aprendizaje (Colombia)SIGOB Sistema de Programación y Gestión por Objetivos y Resultados (Colombia)SIIF Sistema Integrado de Información Financiera (Colombia)SINERGIA Sistema Nacional de Evaluación de Resultados de la Gestión Pública (Colombia)TdR Términos de referencia

1

Introducción

Un número cada vez mayor de gobiernos trabajan para mejorar su de-sempeño creando sistemas que les ayudan a precisar y entender suejercicio. Estos sistemas de seguimiento y evaluación (SyE) son utili-

zados para medir la cantidad, la calidad y los destinatarios de los bienes y ser-vicios –los productos– que el Estado proporciona, y así cuantificar los efectosdirectos e impactos de estos productos. Tales sistemas también son un mediopara entender con mayor facilidad las causas de un buen o mal desempeño.

Existen muchas razones para aumentar los esfuer-zos por fortalecer los sistemas de SyE guberna-mentales. Las presiones fiscales y las expectativascada vez mayores por parte de los ciudadanos trans-miten un ímpetu continuo para que los gobiernosproporcionen más y mejores servicios. Estas pre-siones también constituyen una razón suficientepara encontrar formas más rentables de operación,de manera que los gobiernos puedan hacer más conmenos. Los países en desarrollo generalmentemiran hacia los países más ricos –miembros de laOrganización para la Cooperación y el DesarrolloEconómicos (OCDE)– y adoptan los instrumentosadministrativos del sector público que esos paísesutilizan comúnmente, tales como el SyE y el pre-supuesto por resultados. La sociedad civil y loscongresos también están presionando en la rendi-ción de cuentas de los gobiernos para que informeny expliquen públicamente su desempeño. Asi-mismo, los donantes internacionales son presio-nados para que demuestren los resultados de las

grandes cantidades de ayuda financiera que otor-gan y de las cuales son responsables; también estántrabajando de persuadir y apoyar a los países en de-sarrollo a fortalecer sus propios sistemas de SyE.

En los últimos años, el apoyo de los donantes seconcentró particularmente en los países más po-bres, es decir, en los que preparan estrategias deerradicación de la pobreza como parte de las ini-ciativas de reducción de la deuda. Estos países tra-tan de alcanzar los Objetivos de Desarrollo delMilenio (ODM). Los donantes también comien-zan a apreciar que los sistemas de SyE de los pa-íses pueden desempeñar una función importanteen los esfuerzos contra la corrupción; puedenayudar a identificar “fugas” en los fondos del go-bierno, así como algunas posibles consecuenciasde la corrupción –como cuando el gasto del go-bierno no se refleja en la calidad física de la in-fraestructura o en el volumen y la calidad de losservicios que proporciona.

1

El seguimiento y la evaluación y los sistemas deSyE son generalmente vistos de manera limitada,en términos tecnocráticos, muy similar al desa-rrollo de una gestión financiera o de un sistemade adquisiciones. En realidad existen aspectostécnicos de SyE y sus sistemas que necesitan ma-nejarse de manera muy cuidadosa. Pero un énfa-sis tecnocrático sería altamente inadecuado siéste ignora los factores que determinan la medidaen la que la información del SyE se puede utili-zar. Cuando un sistema de SyE no se utiliza enforma adecuada, no sólo se convierte en un des-perdicio de recursos, sino que también puedesocavar seriamente la calidad de la informaciónque produce. También causa que se cuestione lasostenibilidad del sistema mismo.

Con frecuencia, los especialistas en evaluaciónsostienen que el SyE y los sistemas de SyE son una“cosa buena” y que tienen mérito intrínseco; losexpertos en mejoras de gestión generalmenteparecen postular que la gestión basada en resul-tados u otras maneras de utilizar la informacióndel SyE ofrecen algún tipo de panacea para me-jorar el desempeño del gobierno. Sin embargo,los débiles argumentos de estas ideas no con-vencen a los gobiernos escépticos o abrumadosde los países en desarrollo; pero existen ejemplosmuy convincentes de gobiernos que han dedicadolos esfuerzos necesarios para construir un sis-tema de SyE. Estos gobiernos utilizan amplia-mente la información que generan dichos sistemaspara mejorar en forma significativa el desempeñode sus políticas, programas y proyectos.

El propósito de este libro es ayudar a los gobier-nos en sus esfuerzos por construir, fortalecer, einstitucionalizar sus sistemas de SyE, no comoun fin por sí mismo, sino como un apoyo al me-joramiento de su desempeño; es decir, para unbuen gobierno. En este libro se reúne un caudalde la experiencia acumulada por el Grupo deEvaluación Independiente (GEI) del Banco Mun-dial en su programa de apoyo continuo a los go-biernos y al personal del Banco en sus esfuerzospor construir sistemas de SyE. Asimismo, hace usode referencias bibliográficas provenientes de otrasfuentes dentro de este mismo tema.

En la actualidad existe un gran énfasis en los re-sultados y en la capacidad de demostrar un buendesempeño. La Parte I se concentra en presentarlo que el SyE ofrece exactamente a los gobiernos;se busca aclarar lo esencial de la retórica subyacente.En el capítulo 2 se presentan los principios fun-damentales del seguimiento y evaluación, y en elanexo E, donde se continúa con este análisis, se in-cluye un glosario de los términos clave relaciona-dos con la evaluación y la gestión basada enresultados que desarrolló el Comité de Asistenciapara el Desarrollo (CAD) de la OCDE. Para algunosaltos funcionarios y personal del grupo de do-nantes, el SyE puede parecer un tema altamentetécnico, con tecnología difícil de entender por losinexpertos. Por tanto, en este capítulo se intentadesmitificar el SyE proporcionando una visión am-plia de diferentes tipos y métodos del SyE.

En el capítulo 3 se continúa con el estudio de lasformas específicas en que el SyE puede ser o hasido utilizado para mejorar el desempeño de ungobierno. Aquí el enfoque está en la manera enque el gobierno ha utilizado el SyE, por ejemplo,para apoyar la toma de decisiones presupuesta-rias. Se proporcionan ejemplos de la utilizacióndel SyE por la sociedad civil para evaluar e indu-cir a los gobiernos a mejorar su desempeño. Tam-bién se incluyen ejemplos de evaluacionesinfluyentes, las cuales confirman que el SyE puedeser muy eficaz en función de los costos para losgobiernos. En el capítulo 4 se consideran breve-mente las tendencias clave que están influen-ciando en los países para crear sistemas de SyE.

En la Parte II se presenta la experiencia de variospaíses que han tenido éxito en la creación de unsistema de SyE eficiente. En el capítulo 5 se danlos lineamientos generales de lo que debe ser unsistema de SyE gubernamental “exitoso” y se pro-ponen tres niveles de éxito. Una pregunta comúnes si realmente existen países que hayan conse-guido crear exitosamente un sistema nacional deSyE. La respuesta a esta pregunta es un rotundo“sí.” Muchos países desarrollados, y un númeropequeño pero cada vez mayor de países en de-sarrollo han tenido éxito en la creación de siste-mas de SyE eficientes para todas las áreas del

2


gobierno. En los capítulos 6, 7 y 8 se presentanlos estudios de casos de tres de estos países:Chile, Colombia y Australia, respectivamente.

El caso especial de África se comenta en el capí-tulo 9. Claramente, África es considerada alta prio-ridad para la comunidad internacional, y ha sidoel centro de una considerable cantidad de asis-tencia para el desarrollo, incluida la creación decapacidad. Se han realizado esfuerzos para forta-lecer el SyE dentro del contexto de preparaciónde estrategias de reducción de pobreza. En estecapítulo se consideran algunas de las dificultadesy oportunidades que enfrentan los países pobresdebido a estos esfuerzos.

Muchos países desarrollados y en desarrollo hanacumulado experiencias considerables en la crea-ción de sistemas de seguimiento y evaluación. Asícomo con cualquier forma de creación de capaci-dades, existe un número de lecciones aprendidascon esfuerzo sobre lo que funciona mejor y lo queno funciona, y esto es lo que se analiza en la ParteIII. La consistencia de estas experiencias en dife-rentes países y regiones no es sorprendente; estasenseñanzas están de acuerdo con la experiencia in-ternacional en relación con otros tipos de creaciónde capacidad en el área de gestión del sector pú-blico, por ejemplo, los sistemas de presupuesto ouna reforma en el servicio civil (Capítulo 10). Comose mencionó antes, el tema de la utilización de lainformación del SyE es básico para el desempeñoy sostenibilidad de un sistema de SyE. La utilizacióndepende de la naturaleza y fuerza de la demandade información –que, a su vez, depende de los in-centivos para utilizar el SyE. Los países que tienenuna demanda muy baja o muy débil por SyE pue-den percibirse como países que enfrentan una ba-rrera insuperable para crear sistemas de SyE.Empero, esta perspectiva es demasiado pesimista.Existen maneras de incrementar la demanda for-taleciendo los incentivos, y éstas se tratan en el ca-pítulo 11, donde se consideran los premios, loscastigos y los consejos para garantizar la utilizaciónde la información del SyE.

En la Parte IV se postulan diversas maneras defortalecer un sistema de SyE gubernamental. Una

de las enseñanzas para la creación de un sistemade SyE es la importancia de realizar un diagnós-tico de país (Capítulo 12). Dicho diagnóstico pro-porciona un sólido conocimiento de los esfuerzosactuales de SyE del ambiente del sector público,de las oportunidades para reforzar un sistema deSyE y el uso de su información. Ésta se puedeemplear en las funciones básicas del gobierno,como la toma de decisiones presupuestarias y lagestión de programas y proyectos en marcha. Talvez igualmente importante, un diagnóstico ayudaa que las partes clave interesadas dentro del go-bierno y en la comunidad de donantes se con-centren en las fortalezas y desafíos de los acuerdosde SyE vigentes; tal diagnóstico también puede ase-gurar que estas partes interesadas compartan unatoma de conciencia en común acerca de estosasuntos. Un diagnóstico conduce naturalmente aun plan de acción que identifica las principales op-ciones para el fortalecimiento de un sistema de SyEgubernamental (Capítulo 13).

En esta obra no se pretende abarcar todos lostemas que pueden surgir cuando se busca crearun sistema de SyE gubernamental, o fortalecer unoya existente. En la Parte V se señalan algunos deesos temas sobre los cuales la experiencia inter-nacional no se entiende o no está bien docu-mentada. Estos temas novedosos y relevantesson importantes para la institucionalización delSyE donde el conocimiento actual es escaso (Ca-pítulo 14). Se habla de modelos de SyE reco-mendables en los niveles subnacional y sectorial;de las formas en las que los gobiernos pueden tra-bajar de manera efectiva y fiable para apoyar a lasociedad civil en asuntos de SyE del desempeñogubernamental; y de la eficacia en función de loscostos de modelos alternativos del apoyo de losdonantes para la institucionalización del SyE.

En el capítulo 15 se plantean algunas considera-ciones finales.

En la Parte VI se responden muchas preguntas quegeneralmente surgen en las conferencias nacio-nales e internacionales sobre los temas que se tra-tan en este libro. La frecuencia con que surgenpreguntas similares nos ayuda a identificar los

1 : I N T R O D U C T I O N

3

temas clave que deben ser abordados cuando sebusca institucionalizar un sistema de SyE.

Un reto que enfrentan tanto el gobierno como lasoficinas de evaluación de donantes es asegurar quelas evaluaciones que ellos producen sean utiliza-das intensivamente. Ahora es claro que no es su-ficiente completar un informe de evaluación, quese publique y que se crea que de alguna manerase utilizará. En lugar de eso, los evaluadores ysus oficinas de evaluación necesitan ser altamenteproactivos en la implementación de una estrate-gia detallada para la difusión no sólo del informede evaluación sino también de los hallazgos –a finde fomentar la aceptación de las conclusionesde la evaluación y la implementación de sus re-

comendaciones. En el anexo A se presentan va-rias experiencias y consejos prácticos para asegurarque las evaluaciones sean influyentes.

El anexo B ofrece un ejemplo de diagnóstico de paíspara el caso de Colombia. En el anexo C se inclu-yen términos de referencia (TdR) ilustrativos paraun diagnóstico más profundo del sistema de SyEde Colombia. Las conclusiones de una autoeva-luación del grupo de apoyo del GEI para la insti-tucionalización de los sistemas de SyE se describenen el anexo D. Esta evaluación proporciona unposible modelo para donantes y gobiernos quebuscan evaluar sus propios esfuerzos para crear ofortalecer el sistema de SyE de un país. Finalmente,el anexo E es un glosario de términos claves de SyE.

4


La Parte I se concentra en presentar lo que el SyE ofrece exactamente

a los gobiernos; se busca aclarar lo esencial de la retórica subyacente.

En el capítulo 2 se presentan los principios fundamentales y la defi-

nición del SyE. Además, se responde la interrogante acerca de lo que signi-

fica el seguimiento y la evaluación y se analizan algunos de los principales

instrumentos, métodos y enfoques que los gobiernos y los donantes inter-

nacionales utilizan. En el capítulo 3 se exponen los métodos específicos que

el SyE utiliza para mejorar el desempeño gubernamental. Luego, en el capí-

tulo 4, se consideran muy brevemente las tendencias clave que estimulan a

los países a poner en práctica sistemas de SyE.

PARTE I¿Qué ofrece el seguimiento

y la evaluación a losgobiernos?

7

¿Qué significa SyE? Principios fundamentalesdel SyE

Existen varios términos y conceptos relacionados dentro del campo delSyE que pueden prestarse a confusiones. Es más, cada país o cadaagencia de desarrollo generalmente utiliza una definición diferente

para el mismo concepto. El CAD preparó un glosario de términos y concep-tos clave con el fin de evitar confusiones y lograr una homogeneidad (CAD,2002), el cual forma parte del anexo E. En este capítulo se ofrece una expo-sición más amplia de la perspectiva general.

Los indicadores de desempeño son medidasde insumos, actividades, productos, efectos di-rectos e impactos de las actividades guberna-mentales. Los indicadores pueden ser de muyalto nivel, en lo que se refiere a la medición deldesempeño del gobierno en relación con los Ob-jetivos de Desarrollo del Milenio (ODM) o con elPlan de Desarrollo Nacional, o en términos de lasactividades y los resultados de ministerios y de-pendencias del sector público. Asimismo, sonútiles para determinar los objetivos de desem-peño, para evaluar los progresos con miras a sulogro y para comparar el desempeño de diversasorganizaciones. Los indicadores son medios re-lativamente económicos utilizados para medir eldesempeño de los gobiernos con regularidad.

Si bien los indicadores de desempeño se pue-den utilizar para identificar problemas y, por ende,permiten tomar acciones correctivas, su limitaciónes que no siempre revelan si las acciones del go-

bierno condujeron a mejorar el desempeño. Sinembargo, se pueden utilizar para señalar la ne-cesidad de un seguimiento o evaluación de untema específico. Un riesgo común de los sistemasde indicadores de desempeño es la complejidadexcesiva del sistema si se incluyen demasiados in-dicadores que son subutilizados y que deterioranla calidad de la información.

Los métodos de evaluación previa son rápidosy de bajo costo, sirven para recoger opiniones yretroalimentación de los beneficiarios y de otraspartes interesadas. Estas opiniones ofrecen in-formación rápida para la toma de decisiones en lasgestiones, especialmente en el nivel de activida-des o de programas. Éstos incluyen entrevistas, dis-cusiones de grupos focales, observación directa ypequeñas encuestas. Puede ser difícil generalizarlos hallazgos de estos métodos cualitativos; ade-más, son mucho menos válidos, confiables o ve-rosímiles que las encuestas formales.

2

La evaluación rápida supone una revisión for-mal de una actividad o programa gubernamental.Por ejemplo, en Chile, las evaluaciones rápidas ne-cesitan estudios documentados que revisen los ob-jetivos de un programa y preparen un análisis demarco lógico (lo cual esquematiza la conexión cau-sal entre las actividades del gobierno y los efec-tos directos e impactos deseados). Cualquierinformación disponible (como los indicadoresde desempeño) se analiza para evaluar la efi-ciencia y eficacia de la actividad. El Banco Mun-dial utiliza este enfoque en muchas de susevaluaciones ex ante y ex post de proyectos. ElBanco también utiliza una gama de informaciónadicional en sus evaluaciones ex post, incluidoslos hallazgos de las misiones de supervisión, lasentrevistas de informantes clave y cualquier otrainformación primaria o secundaria que haya sidorecopilada.

Las principales ventajas de las evaluaciones rápi-das son su velocidad y su relativo bajo costo. Susprincipales desventajas, en comparación con en-foques más rigurosos, son su débil evidencia em-pírica y sus técnicas de análisis de datos, aúnmucho más débiles. Asimismo, tienen dificultadpara identificar posibles relaciones causales entrelas acciones del gobierno y las consiguientes me-joras en su desempeño.

La evaluación de impactos se centra en los efec-tos directos e impactos de las actividades guber-namentales. Los métodos de evaluación rápida sepueden utilizar para estimar el impacto, pero mé-todos más sofisticados pueden aportar resultadosmucho más confiables y persuasivos. Estos mé-

todos suponen la comparación de los beneficia-rios del programa con grupos control o de com-paración, en dos o más momentos dentro de unperíodo determinado. Se utilizan técnicas esta-dísticas avanzadas para identificar los impactos pre-cisos del programa sobre los beneficiarios. Estetipo de evaluación es sumamente exigente en re-lación con los datos y también puede resultarmuy costosa; sin embargo, existen formas de re-ducir el costo significativamente. Es necesarioque estas evaluaciones se planifiquen con muchaanticipación, calculando cuándo se van a necesi-tar los hallazgos, ya que casi siempre es imposi-ble llevarlas a cabo con celeridad. A pesar de quelas evaluaciones sofisticadas generalmente soncostosas, pueden ser altamente eficaces en fun-ción del costo cuando incluso conducen a mejo-ras marginales en el desempeño del programa.

Las revisiones exhaustivas de gastos con-forman un tipo de evaluación de políticas. El Mi-nisterio de Hacienda de Chile las utiliza pararevisar todos los programas dentro de un área fun-cional en particular, por ejemplo, los colegios.Éstos suponen estudios documentales acerca dela ineficiencia y la duplicidad de los programas. Lasrevisiones bienales de gastos del Reino Unido in-vestigan estos temas, así como los efectos direc-tos del programa y las prioridades del gobierno.

Las ventajas y desventajas, costos, habilidades ytiempo necesarios para utilizar estos instrumen-tos del SyE se analizan en Monitoring and Eva-luation: Some Tools, Methods and Approaches(GEI, 2004b). Véanse también el glosario de eva-luación del CAD (2002) y el anexo E.

8

I : ¿ Q U É O F R E C E E L S E G U I M I E N TO Y L A E VA L UAC I Ó N A L O S G O B I E R N O S ?

9

Contribución del SyE a unbuen gobierno

El SyE puede ofrecer información exclusiva acerca del desempeño de laspolíticas, programas y proyectos de un gobierno. Puede identificar loque funciona y lo que no funciona, y las razones para cada caso. Ade-

más, el SyE ofrece información acerca del desempeño de un gobierno, de unministerio o de alguna dependencia en especial, así como de gerentes y suequipo de trabajo. Por otro lado, también aporta información sobre el de-sempeño de los donantes que apoyan el trabajo de los gobiernos.

Es tentador, y peligroso a la vez, considerar queel SyE tiene un valor intrínseco. Su valor no se basaúnicamente en llevar a cabo un seguimiento y eva-luación, o en contar con la información que ge-nera; más bien, su valor radica en el uso de lainformación para ayudar a mejorar el desempeñodel gobierno. Como se verá más adelante, existenmuchos gobiernos que utilizan en forma siste-mática la información del SyE para mejorar sudesempeño. Algunas formas en que la informacióndel SyE puede ser muy útil para los gobiernos ydemás entidades son las siguientes:

• Apoyar en la formulación de políticas –es-pecialmente en la toma de decisionespresupuestarias– en el presupuesto porresultados y en la planeación nacional.Estos procesos se centran en las prioridadesque establece el gobierno a partir de las de-mandas competitivas de los ciudadanos y delos grupos sociales. La información del SyEpuede apoyar las deliberaciones del gobierno

ofreciendo evidencia de las diversas activida-des eficaces en función de sus costos, como losdiferentes programas de empleos, las inter-venciones en salud o los pagos por transfe-rencia monetaria condicionada. Los términosque describen el uso de la información delSyE en esta forma particular incluyen la for-mulación de políticas basada en evidencia, lospresupuestos basados en resultados y los pre-supuestos por informe de desempeño (Re-cuadro 3.1).

• Ayudar a los ministerios en su desarrollo y aná-lisis de políticas, así como en el desarrollo deprogramas.

• Ayudar a los ministerios y a las dependenciasgubernamentales a administrar actividadesen el nivel de sectores, programas y proyectos.Esto incluye la prestación de servicios y el ma-nejo del personal. El SyE identifica el uso máseficiente de los recursos disponibles; se puedeutilizar para identificar dificultades en la im-plementación, por citar un ejemplo. Los indi-

3

cadores de desempeño se pueden utilizar paracomparar costos y desempeño –normas de re-ferencia de desempeño– entre las diferentesunidades, regiones y distritos administrativos.Las comparaciones pueden hacerse a lo largodel tiempo y así ayudar en la identificación deprácticas buenas, malas o prometedoras, detal manera que pueda motivar la búsqueda derazones para determinado desempeño. Las eva-luaciones y las revisiones se utilizan para iden-tificar estas razones (véase por ejemplo, Wholey,Hatry y Newcomer, 2004). Ésta es la función deaprendizaje del SyE y frecuentemente se le de-nomina gestión basada en resultados o ges-tión orientada hacia los resultados.

• Incentivar la transparencia y apoyar lasrelaciones de rendición de cuentas reve-lando hasta qué punto el gobierno ha logradosus objetivos. El SyE proporciona la evidencia

esencial necesaria para sostener fuertes rela-ciones de rendición de cuentas, como las delgobierno con el Parlamento o Congreso, conla sociedad civil y con los donantes. El SyEtambién apoya las relaciones de rendición decuentas dentro del gobierno, tanto entre mi-nisterios sectoriales y centrales, entre depen-dencias y ministerios sectoriales, y entreministros, administradores y personal. A suvez, una sólida rendición de cuentas puedeofrecer los incentivos necesarios para mejorarel desempeño.

Estos usos ubican el SyE en el centro de los pla-nes para un mejor gobierno, como condición ne-cesaria para una administración efectiva del gastopúblico en la reducción de la pobreza. De esta ma-nera, el SyE es esencial para lograr la formulaciónde políticas, la gestión y la rendición de cuentas

1 0


Recuadro 3.1 ¿Qué significa presupuesto por resultados?

La mayoría de los países de la OCDE ejecutan algún tipo de pre-supuesto por resultados (Curristine, 2005). Algunos otros pa-

íses, como Chile, han creado un sistema de SyE gubernamentalpara apoyar el presupuesto por resultados, y el número de pa-íses en desarrollo que lo están aplicando es cada vez mayor. ElSyE es considerado ampliamente como una herramienta muy útilpara asistir a los gobiernos con problemas fiscales a reducir susgastos totales identificando programas y actividades que ten-gan eficacia relativamente baja en función de los costos. Elpresupuesto por resultados también ayuda a los gobiernos a prio-rizar entre las propuestas competitivas de gastos. De esta ma-nera, constituye una vía para obtener un mayor valor del dineroen sus gastos.

El presupuesto por resultados implica utilizar la información delseguimiento y los hallazgos de la evaluación. Existen tres enfoquesprincipales para realizar el presupuesto por resultados. El pri-mero se denomina presupuesto basado en resultados directos,donde hay una relación directa, generalmente basada en una fór-mula, de manera que la asignación del presupuesto para un pro-grama esté basada en su desempeño y en la medición de susresultados (es decir, sus productos o sus efectos directos). Un ejem-plo de ello es la asignación de fondos a una universidad según elnúmero de estudiantes que se gradúan en cada disciplina, ya seaen medicina o en letras.

El segundo enfoque es el presupuesto basado en resultados

indirectos. Ésta es la forma más común de presupuestos por re-sultados. La información del SyE sobre los resultados del pro-grama constituye un insumo, y sólo uno, en las decisiones sobrela asignación del presupuesto para el programa. Otra información,así como las prioridades de las políticas del gobierno (como es eltema de las consideraciones de equidad), también influye en lasasignaciones.

El tercer enfoque es el denominado presupuesto por presen-tación de resultados. El gobierno utiliza la información del SyE parahacer un informe sobre los resultados reales (pasados) o esperados(futuros) de los presupuestos que envía al Parlamento o Con-greso. Esta información puede no tener influencia alguna en la tomade decisiones de presupuesto y se considera como la forma másvulnerable de los presupuestos por resultados.

Un error muy común es que la evidencia de un bajo desempeñohaga que un programa no reciba su asignación completa o que seacancelado completamente. Aunque esto podría suceder con unaactividad gubernamental de baja prioridad, generalmente se ne-cesita gastar más dinero para corregir el programa, por lo menosa corto plazo. Por ejemplo, una evaluación que determina que laeducación primaria o los gastos en hospitales públicos son muyineficientes no haría que estos programas sean eliminados, ya queellos son muy importantes. Por el contrario, será necesario iden-tificar las razones de un pobre desempeño –lo que sería reveladopor una evaluación– para finalmente dirigirlas.

basadas en evidencias. Poner énfasis en el SyE esun medio para tener un sector público orientadoa los resultados y a la rendición de cuentas, de talmanera que se promueva una cultura de desem-peño en el servicio civil. Por tanto, el SyE no de-bería tomarse como una actividad limitada otecnocrática.

Dentro de las cuatro grandes categorías de utili-zación de la información del SyE, existen muchasactividades específicas donde se puede aplicar. Asi-mismo, el SyE está estrechamente relacionadocon otros aspectos de la administración del sec-tor público:

• Sistemas de seguimiento presupuestales e in-formes financieros;

• Relaciones fiscales intergubernamentales, queincluyan la descentralización gubernamental yel grado en que éstas abarcan un enfoque enel desempeño del gobierno;1

• Instituciones de rendición de cuentas, comooficinas nacionales de auditoría

• Oferta de servicios públicos por parte del sec-tor de comercialización y privado (con y sinfines de lucro), por ejemplo, la subcontrataciónde funciones del gobierno.2 El éxito de estasactividades depende de un pleno entendi-miento de los objetivos y del desempeño real;

• Aclaración e información pública sobre lasmetas y objetivos del programa y las estrategiasnecesarias para lograrlos;

• Establecimiento de normas específicas de ser-vicio al cliente por medio de dependenciasque ofrezcan servicios, así como el seguimientoy la publicidad para los logros que se vanalcanzando;

• Reforma del servicio civil que se concentre enel desempeño, la administración y la evaluacióndel personal, y que contemple la contratación,ascensos o despidos con base en méritos, te-niendo en cuenta la relación entre el desem-peño individual y el desempeño del proyectoo programa;

• Calidad de la asesoría de políticas del serviciocivil y la medida en que esta asesoría se basaen la evidencia (con utilización del SyE);

• Esfuerzos para combatir la corrupción. El SyEse utiliza para identificar la “fuga” de fondos del

gobierno por medio de, por ejemplo, encuestasde seguimiento del gasto público (PETS). El se-guimiento comunitario de proyectos de losdonantes (o del gobierno) también puede serun medio efectivo que ayude a poner freno ala corrupción en la implementación de losproyectos, y

• Participación en la sociedad civil. El SyE brindaun medio para reforzar la participación de lasociedad civil y presionar al gobierno para quealcance niveles de desempeño más altos.

Experiencias de paísesLa mayoría de los gobiernos de la OCDE ponemucho énfasis en las cuatro categorías de utiliza-ción de la información de SyE con el fin de apo-yar la formulación de políticas basada en evidencias(especialmente el presupuesto por resultados), eldesarrollo de políticas, la administración y la ren-dición de cuentas. Los gobiernos de la OCDE tie-nen colectivamente mucha experiencia en estetema: existe una idea general de que para que ungobierno mejore su propio desempeño, es nece-sario que realice un gran esfuerzo para medirlo.El secretariado de la OCDE y otras agencias hanpublicado numerosos estudios y análisis acerca deltrabajo realizado por los países miembros parareforzar su orientación hacia el desempeño (porejemplo, OCDE, 1995, 1997a, 2005; Curristine,2005; Shand, 2006). Éstos incluyen una revisión ex-haustiva de las prácticas y las enseñanzas de eva-luación de los gobiernos, tanto en la creación decapacidad como en el uso de la evaluación (OCDE,1997a), y una revisión de las prácticas y las ense-ñanzas del presupuesto por resultados:

La orientación del desempeño de la admi-nistración pública ha llegado para que-darse, es esencial para que un gobiernotenga éxito. Las sociedades actuales son de-masiado complejas para ser sólo adminis-tradas por reglas para insumos y procesosy una cultura de espíritu público. El movi-miento del desempeño ha incrementado laplanificación formal, el informe y el controlen muchos gobiernos, lo cual ha llevado amejorar la información disponible paralos administradores y los responsables de laspolíticas (OCDE, 2005, p. 81).

3 : C O N T R I B U C I Ó N D E L S y E A U N B U E N G O B I E R N O

1 1

Durante los últimos 15 años, la mayoríade los gobiernos de la OCDE ha tratado decambiar el énfasis del presupuesto y la ad-ministración dejando de lado los insumosy centrándose en los resultados, medidosen la forma de productos y efectos direc-tos. Así como el contenido, ritmo y métodode implementación de estas reformas varíasegún los países y a lo largo del tiempo,también comparten un renovado enfoqueen los resultados medibles... En la mayoríade los países de la OCDE, los esfuerzospara evaluar el desempeño de los progra-

mas y ministerios constituyen, en la ac-tualidad, una parte normal y aceptada delgobierno. Los países siguen una serie demétodos diferentes para evaluar el de-sempeño, los que incluyen medidas de de-sempeño, evaluaciones y normas dereferencia (Curristine, 2005, pp. 88–89).

Es sorprendente la diversidad de enfoques queexisten respecto al SyE según los países, y es-pecialmente las formas como se utiliza la in-formación del SyE. En el recuadro 3.2 sepresentan ejemplos de cinco países cuyos

1 2


Recuadro 3.2 Gobiernos que utilizan intensivamente la información de SyE

AustraliaA fines de la década de 1980, el gobierno creó un sistema de eva-luación para todo el ámbito público, dirigido por el Departa-mento de Finanzas (DdF). Se solicitó a todos los ministerios queevaluaran cada uno de sus programas cada tres o cinco años.También se les pidió preparar planes de evaluación de portafo-lio que detallaran las evaluaciones programadas durante los si-guientes tres años e indicaran los programas que seríanevaluados, los temas por cubrir en cada evaluación y los méto-dos de evaluación por utilizarse.

Las evaluaciones se llevaron a cabo por los mismos ministe-rios, pero el DdF y otras dependencias centrales las supervisaron.Como resultado de ello, el número de evaluaciones realizadas seincrementó rápidamente y, hacia mediados de los años 1990, al-rededor de 160 de estas evaluaciones estaban en progreso. Estasevaluaciones se usaron principalmente durante el proceso pre-supuestario anual. Cada nueva propuesta de gasto presentada porun ministerio debería especificar sus objetivos y presentar cual-quier hallazgo de evaluación del desempeño disponible, real o pro-bable, de la actividad del gobierno. Del mismo modo, las opcionesde ahorro, propuestas para reducir el gasto del gobierno y pre-paradas por el DdF o por otros ministerios, también debieron in-cluir cualquier hallazgo de evaluación disponible.

El DdF estimó que, para 1994, casi 80% de las nuevas propues-tas de gastos se basaban en hallazgos de evaluación, generalmenteen un nivel bastante significativo. Cerca de dos tercios de las op-ciones de ahorros también se basaron en hallazgos de evaluación.Funcionarios del departamento, quienes asistieron a las reunionesdel gabinete que analizaba estas propuestas sobre el presupuesto,concluyeron que esta información tuvo mucha influencia en la de-

cisión que el gabinete tomó acerca del presupuesto. La Oficina Na-cional de Auditoría de Australia encontró que ministerios sectorialestambién utilizaron mucho esta información, particularmente paraayudar a mejorar su propia eficiencia operacional (para mayor in-formación acerca Australia, véase el capítulo 8).

ChileEl Ministerio de Hacienda (MdH), en 1994, desarrolló progresi-vamente un sistema de SyE para el gobierno. Este sistema incluyecerca de 1.550 indicadores de desempeño, evaluaciones rápidas(se completan alrededor de 10 a 12 cada año), y evaluaciones deimpacto rigurosas (unas cuatro por año). El MdH encarga la re-alización de las evaluaciones a académicos o empresas de con-sultoría, y utiliza términos de referencia y metodologíasestandarizadas para cada tipo de evaluación. Los funcionariosdel MdH utilizan mucho la información del seguimiento y los ha-llazgos de evaluación en sus análisis de presupuestos del de-sempeño de cada ministerio y dependencia como un insumopara la toma de decisiones acerca del presupuesto del gobierno.El ministerio también utiliza esta información para establecermetas de desempeño para cada dependencia y para imponer me-joras administrativas, tanto en los ministerios como en las de-pendencias. El MdH supervisa cuidadosamente hasta qué puntocada ministerio implementa estas mejoras administrativas (véaseel capítulo 6 para mayor información acerca de Chile).

ColombiaEl sistema de SyE gubernamental, SINERGIA, es administradopor el Departamento Nacional de Planeación (DNP). Uno de losprincipales componentes del sistema es la base de datos con in-


1 3

Recuadro 3.2 Gobiernos que utilizan intensivamente la información de SyE (continuación)

formación sobre el desempeño, la cual contiene cerca de 500 in-dicadores que rastrean el desempeño del gobierno en función delas 320 metas del Plan Nacional de Desarrollo.

Para cada indicador de desempeño, la base de datos disponibleal público registra el objetivo, la estrategia para alcanzar el objetivo,el desempeño de base, las metas anuales y el monto gastado por elgobierno. Cuando las metas de desempeño no se cumplen, el ad-ministrador responsable de que la meta se cumpla debe preparar uninforme dando las explicaciones del caso. El presidente utiliza estainformación en sus reuniones mensuales administrativas de controlcon cada ministro y en sus reuniones semanales en los diversos mu-nicipios del país (véase el capítulo 7 para mayor información acercade Colombia). Valdría la pena señalar que es un sistema que haceevaluaciones también, no solo seguimiento porque uno de los aspectoque configura un sistema es el balance entre estas funciones.

Reino UnidoEn 1998, el gobierno creó un sistema de metas de desempeño, lascuales se señalan en los Acuerdos del Sector Público con el Te-soro Público y cada uno de los 18 ministerios principales. LosAcuerdos del Sector Público establecen la meta general del mi-nisterio, los objetivos prioritarios y las metas de desempeño clave.

En la actualidad existen 110 metas del gobierno en su conjuntoy están enfocadas fuertemente en las áreas prioritarias de edu-cación, salud, transporte y justicia penal. Las metas se expresanprincipalmente en términos de efectos directos (más que en pro-ductos) por ser alcanzados. Dos veces al año, los ministerios in-forman públicamente acerca del número de evaluaciones, comoun aporte para la toma de decisiones de presupuesto. Las priori-dades de gastos, topes de gastos y metas de desempeño afinesse establecen dentro de un sistema de informes de gastos de tresaños. La Oficina Nacional de Auditoría del Reino Unido informa quelos ministerios también utilizan la información de desempeño delos Acuerdos del Sector Público para su propia planeación y ren-dición de cuentas; sin embargo, esta información se utiliza enmenor grado para la administración en curso.

Estados Unidos de AméricaEn el año 2002, el gobierno creó los Instrumentos de Clasifica-ción de las Evaluaciones de Programas (PART) basándose en es-

fuerzos anteriores destinados a medir su desempeño. Los 1.000programas del gobierno son clasificados utilizando la metodo-logía PART, que se basa en cuatro aspectos del programa de de-sempeño: 1) la claridad de los objetivos y del diseño del programa;2) la calidad de la planeación estratégica y la extensión del en-foque en las metas del programa; 3) la efectividad en la admi-nistración del programa; y 4) los resultados logrados en elprograma real. Este último criterio representa 50% de la clasi-ficación PART para cada programa.

Estos cuatro aspectos ponen mucho énfasis en la obten-ción de evidencia sólida acerca del desempeño del programa,basándose en la información de seguimiento y los hallazgos deevaluación. La clasificación se prepara conjuntamente con la Ofi-cina de Administración y Presupuesto (OMB), la cual equivaldríaal ministerio de hacienda en Estados Unidos de América, y conotros ministerios y agencias; sin embargo, la OMB tiene la úl-tima palabra en el momento de tomar la decisión en lasclasificaciones.

Durante el año fiscal 2005, 44% de los programas fueron cla-sificados como efectivos o moderadamente efectivos; 24% clasi-ficaron como resultados sin demostrar debido a la falta deinformación de SyE (esto representó una baja significativa a par-tir del año fiscal 2002, cuando 50% de los programas clasificaroncomo resultados no demostrados).

Los ministerios requieren el uso de clasificaciones PART parasolicitar anualmente sus fondos a la OMB. Las solicitudes debenresaltar las clasificaciones PART, las recomendaciones para lasmejoras en el desempeño del programa y las metas de desempeño.Por otro lado, la OMB también utiliza las clasificaciones PARTcomo un aporte cuando prepara las solicitudes de fondos de la ad-ministración ante el Congreso. Además, la OMB utiliza las clasi-ficaciones PART para aceptar o imponer mejoras en el desempeñode los ministerios.

La Oficina General de Rendición de Cuentas (GAO) concluyóque el PART asistió a la OMB en el análisis de información del SyEsobre el desempeño de programas como parte de su labor de aná-lisis de presupuesto. Además captó el interés de los ministeriosacerca de la información de los resultados del presupuesto. Sinembargo, la GAO concluye que el Congreso continua abordandolos debates presupuestales con un enfoque tradicional, el cualpone relativamente poco énfasis en la información del SyE.

Fuentes: Australia—Mackay, 1998a, 2004; Chile—Rojas y otros, 2005; Guzmán, 2003, 2005, 2006; Colombia—Castro, 2006a, 2006b; May y otros, 2006; Reino Unido—

United Kingdom Treasury (sin fecha); United Kingdom National Audit Office, 2006; Estados Unidos de América—OMB, 2003; GAO, 2004; Sandoli, 2005.

sistemas de SyE se han documentado y anali-zado ampliamente.

Los ejemplos de estos cinco países contienen al-gunas características comunes, como el enfoqueglobal del gobierno para medir su propio desem-peño, el papel destacado de un ministerio centralpoderoso (como el ministerio de hacienda o de pla-neación) y el énfasis en el uso de información delSyE para apoyar el proceso presupuestario. Sinembargo, la diversidad de enfoques también esevidente. Algunos países dan mayor importanciaal proceso presupuestario, otros a la planeación;algunos más a la rendición de cuentas, mientras queotros dan importancia al aprendizaje para ayudaren la administración cotidiana. Finalmente, hayquienes dan mayor importancia al seguimiento yevaluación conjuntamente, mientras que otrossólo enfatizan el seguimiento o sólo la evaluación.

Es tentador concluir que las diferencias entre lospaíses son mayores que las similitudes. Sin em-bargo, lo que resulta común entre un número cre-ciente de países es el enfoque sistemático haciael SyE, que generalmente se refiere a un sistemapara todo el gobierno, aunque en algunos casos–como en México– sólo incluye una secretaríaen particular (la Secretaría de Desarrollo Social,SEDESOL), que viene a ser una “isla” de buenasprácticas. Una característica especial del sistemade México es que después del éxito del SyE en SE-DESOL, se está creando un sistema de SyE paratodo el gobierno, con el apoyo de la Secretaría deHacienda y Crédito Público, la Secretaría de la Fun-ción Pública, y el recientemente creado, ConsejoNacional de Evaluación (Hernández, 2007).

Muchos países en desarrollo buscan en los paísesde altos ingresos, miembros de la OCDE, los me-jores modelos de buena gobernabilidad que in-cluyan el SyE; sin embargo, esto puede convertirseen un concepto un tanto engañoso y potencial-mente peligroso. El ambiente del sector públicode cada país es único, y los mismos países de laOCDE poseen gran variedad de enfoques para eva-luar el desempeño del gobierno y utilizar esta in-formación. Por tanto, a pesar de que existentendencias comunes que influyen en los gobier-nos para crear sistemas de SyE, y que también hay

muchos instrumentos comunes para el SyE den-tro de los mismos países, existen también gran-des diferencias en el énfasis que se le da a cadainstrumento y a la manera en que se usan.

Sociedad civilEn el momento de crear sistemas para dar se-guimiento y evaluar el desempeño del gobierno,puede ser tentador concentrarse sólo en los ac-tores gubernamentales, como los ministerios cen-trales, ministerios sectoriales, niveles de gobiernosubnacionales y el Parlamento o Congreso. Sin em-bargo, esto podría dejar de lado el papel pre-ponderante que la sociedad civil puede tener enel seguimiento y evaluación del desempeño delgobierno. La sociedad civil –organizaciones no gu-bernamentales (ONG), universidades, institutosde investigación, grupos de expertos y medios decomunicación– pueden desempeñar diversas fun-ciones en el SyE, ya sea como usuarios o genera-dores de la información del SyE.3

Uno de los ejemplos que mejor presenta ambasfunciones es la tarjeta de informe ciudadano queideó una ONG en Bangalore, India en 1994. Estemodelo ha sido copiado en muchas otras ciuda-des de la India y en países como Bangladesh, Fi-lipinas, Uganda, Ucrania y Vietnam. La ONG deBangalore ha utilizado estas tarjetas para destacarel buen y el mal desempeño de varios departa-mentos del gobierno municipal y para presionarcon éxito al gobierno con el fin de mejorar su de-sempeño (Recuadro 3.3).

Otro ejemplo similar proviene de Bogotá, Co-lombia, donde una iniciativa de la sociedad civilse desarrolló independientemente de los go-biernos nacional o municipal en 1997. Se le co-noce como Bogotá Cómo Vamos, y fue creadamediante una alianza entre una fundación pri-vada, el principal diario de Bogotá, y la Cámara deComercio. En la actualidad aparece como una ca-racterística permanente del panorama social.4 Bo-gotá Cómo Vamos comprende el análisis expertoy la amplia publicación de datos sobre el desem-peño del gobierno distrital, además de la infor-mación obtenida de encuestas de opinión públicasobre la calidad y disponibilidad de los servicios.La iniciativa exitosamente ha puesto presión sobre

1 4



1 5

Fuentes: Ravindra, 2004; Bamberger, Mackay y Ooi, 2004. Véase también http://www.pacindia.org/.

Recuadro 3.3 Tarjetas de Informe Ciudadano – Una herramienta poderosa para la sociedad civil

La Tarjeta de Informe Ciudadano (CRC) de Bangalore fue la pri-mera en su género gracias a una ONG independiente, el Cen-

tro de Relaciones Públicas, en el año1994. Las tarjetas suponenuna serie de encuestas de hogares en Bangalore elegidos al azarpara evaluar los niveles de satisfacción en relación con variosaspectos de la calidad de los servicios otorgados por el go-bierno municipal y otras dependencias de servicios públicos. Losaspectos que se estudian en estas encuestas de servicios pres-tados incluyen el comportamiento del personal, la calidad del ser-vicio, la información proporcionada por el personal y el gradode corrupción (dinero fácil). Los servicios que los entrevistadosdeben evaluar son agua, energía, otros servicios municipales,transporte, vivienda, teléfonos, bancos y hospitales.

La primera tarjeta de informe descubrió diversos problemas:un bajo nivel de satisfacción público; las dependencias públicasno eran amables con los ciudadanos; faltaba orientación al con-sumidor; corrupción; y un alto costo por la ineficiencia del sectorpúblico. La segunda encuesta de la CRC de 1999 reveló mejorasen los niveles de satisfacción pero no hubo mejoras en la proporciónde hogares que pagaban sobornos. El Centro de Relaciones Pú-blicas difundió ampliamente los descubrimientos de la tarjeta deinforme con la ayuda de los medios de comunicación –así estosdescubrimientos se convirtieron en titulares de las noticias– reu-niones públicas y presentaciones a las dependencias públicas pres-tadoras de estos servicios.

El Grupo de Evaluación Independiente (GEI) encargó un estu-dio de impacto de las dos primeras tarjetas de informe (1994 y 1999)basándose en entrevistas con una muestra de jefes de depen-dencias, funcionarios estatales de alto mando, grupos de acciónciudadana y los medios de comunicación en Bangalore. Los en-trevistados declararon que en general estaban de acuerdo con latarjeta de informe como herramienta para obtener una reacciónrespecto a los servicios. Gracias a los resultados de la CRC, mu-chas de las dependencias iniciaron medidas de reforma. Las tar-jetas ayudaron a incrementar la conciencia del público acerca dela calidad de los servicios y estimuló a los grupos de ciudadanosa demandar mejores servicios. Asimismo, hicieron que los fun-cionarios clave comprendieran las percepciones de los ciudada-nos comunes y el papel de la sociedad civil en la gobernabilidadde la ciudad. Bangalore ha sido testigo de una serie de mejoras,particularmente después de la segunda tarjeta de informe. El go-

bierno estatal y las dependencias públicas municipales iniciaronuna serie de reformas para mejorar la infraestructura y los servi-cios de la ciudad –incluyendo, mediante la reforma del impuestoa la propiedad, la creación del Bangalore Agenda Task Force, ehicieron más eficiente los sistemas y procedimientos internos delas dependencias. En la actualidad existe gran transparencia enlas operaciones de las dependencias del gobierno y mejor res-puesta a las necesidades de los ciudadanos. Aunque otros fac-tores contribuyeron también a esta transformación de Bangalore,las tarjetas de informe sirvieron de catalizadores en el proceso.

Los beneficios que se derivarán de las tarjetas parecen de-pender en gran parte de una diversidad de factores. En primer lugarestá el uso que los medios de comunicación y la sociedad civil dana dicha información. Los medios de comunicación desempeñanuna función preponderante en publicitar un desempeño deficientede una dependencia, lo que a su vez puede provocar un estímuloen la sociedad civil, en las mismas dependencias y en otras par-tes interesadas dentro del gobierno. Una sociedad civil activapuede cumplir un cometido importante para continuar presio-nando con el fin de lograr las reformas necesarias para las de-pendencias y dar seguimiento al grado en que las reformas sematerializan. De esta manera, las tarjetas de informe también re-alizan una función política (Banco Mundial, 2003).

Es muy importante la receptividad de las dependencias del go-bierno, especialmente su liderazgo. Cuando los funcionarios demayor rango se preocupan por el desempeño de sus dependen-cias y por servir a ciudadanos comunes lo mejor posible, es pro-bable que se estén creando mejores condiciones para la acciónbasándose en los hallazgos de la tarjeta de informe ciudadano(CRC). Evidentemente, mientras que la cultura de servicio civil noesté orientada hacia el cliente o tenga como principio lograr altosniveles de desempeño, habrá importantes limitaciones en lo quese pueda lograr, aun cuando los funcionarios de mayor rangoestén comprometidos con la reforma. La experiencia de Banga-lore ilustra lo que se puede alcanzar cuando una organización di-námica, el Centro de Relaciones Públicas, es capaz de (1) llevara cabo estudios rigurosos sobre el nivel de satisfacción de los ciu-dadanos con el desempeño del gobierno, (2) asegurar un altonivel de cobertura periodística de los resultados, y (3) persuadira las dependencias del gobierno a mejorar su propio desempeñoy proporcionar algún tipo de apoyo para ayudarlas en este fin.

el gobierno distrital para que mejore su desem-peño; además ha estimulado al gobierno a reco-pilar y publicar una amplia gama de informaciónconfiable sobre su propio desempeño.

Otro cometido de la sociedad civil es llevar a cabolas evaluaciones. Algunos gobiernos, como losde Chile y Colombia, contratan académicos o fir-mas consultoras para que realicen las evaluacio-nes como parte del sistema de SyE del gobierno.5

Una de las razones para encargar estas evalua-ciones, en vez de que sean realizas por funcio-narios del gobierno, es tratar de alcanzar un nivelmás alto de independencia, objetividad y credi-bilidad –y evitar un conflicto de intereses poten-cial o real que podría originarse con unaautoevaluación. Otra de las razones puede ser lausual limitada disponibilidad de experiencia enevaluación dentro del mismo gobierno. Encar-gar las evaluaciones a otros también puede ayu-dar a aumentar el grupo de evaluadoresdisponibles en un país. Como la mayoría de lospaíses divulga las evaluaciones realizadas –tantoaquellas que se encargan a terceros como las quellevan a cabo internamente los mismos ministe-rios o dependencias– esto hace que la calidad deellas se someta a un minucioso análisis externo.A su vez, esto haría que se redujeran los incenti-vos para aquellos gobiernos que producen eva-luaciones sin criterio, interesadas o deshonestas.

ConclusionesLa información de seguimiento y los hallazgosde evaluación pueden contribuir en diversas for-mas a una buena gobernabilidad: en la formula-ción de políticas con base en evidencias (incluidala toma de decisiones de presupuesto), en el de-sarrollo de políticas, en la administración y en larendición de cuentas. Muchos gobiernos en elmundo se han dado cuenta de este potencial,como la mayoría de los países de la OCDE y unpequeño pero creciente número de países endesarrollo, lo cual se ilustra gracias a los cinco pa-íses cuyo uso intensivo de la información del SyEse resume en este capítulo. Todos estos países handado pasos importantes para crear y progresiva-mente refinar los sistemas de SyE para apoyar asílas funciones claves del gobierno. Varias tenden-cias que influyen en los gobiernos y las enseñan-zas de las experiencias internacionales en lacreación de sistemas de SyE del gobierno se dis-cutirán en los capítulos 4 y 5 respectivamente.

El papel potencialmente importante de la socie-dad civil debe ser subrayado tanto como pro-ductor, así como usuario de la información de SyEdel desempeño del gobierno. Uno de esos ejem-plos es la tarjeta de informe de Bangalore, quetuvo influencia en los gobiernos estatales y mu-nicipales. La propuesta de la tarjeta de informe hasido copiada en muchos otros países.

1 6


1 7

Tendencias clave que influyen en los países — ¿Por qué los países estáncreando sistemas de SyE?

Los estudios de la OCDE parecen indicar que existen ciclos o tendenciasen los tipos de reformas del sector público que adoptan los países (porejemplo, OCDE, 1995, 1997a, 1997b, 1998b, 2004, 2005). Las reformas

prioritarias que los países desarrollados enfatizaron en la década de 1990comprenden la privatización, las normas de servicio al cliente, la gestión ba-sada en resultados, la subcontratación, el pago por desempeño, la descen-tralización y el presupuesto por resultados.

Tendencias similares influyen en los países en de-sarrollo, algunos de los cuales buscan conscien-temente adoptar las mejores prácticas disponiblesen el mundo. Según se mencionó anteriormente,esto puede ser un concepto peligroso para los sis-temas de SyE debido a la necesidad de adaptar-los de acuerdo con las circunstancias y prioridadesde cada país.

La influencia de las tendencias de la OCDE en lospaíses en desarrollo parece operar con cierto re-traso, y el gran beneficio de ello es que estos pa-íses pueden aprender de los éxitos y fracasos dela implementación en otros lugares del mundo.

Así por ejemplo, en América Latina es evidente quegran número de países (alrededor de 20) están tra-bajando en la actualidad con el fin de reforzar sussistemas de SyE gubernamentales (May y otros,2006). Una segunda explicación de esta tenden-cia es el efecto causado por la demostración de li-

derazgo que ofrecen países como Chile, Colom-bia, México y Brasil. En tercer lugar, una serie depresiones económicas y sociales que son quizásmás importantes en América Latina: continuas li-mitaciones macroeconómicas y presupuestales; in-satisfacción debida a que el aumento de gastos delgobierno en sectores sociales no es acorde con elaumento en la calidad o cantidad de los serviciosotorgados; constantes presiones para mejorar yampliar los servicios públicos y la transferencia deingresos; y crecientes presiones hacia la rendi-ción de cuentas del gobierno y hacia el “controlsocial”; esto quiere decir una rendición de cuen-tas más clara por parte de los gobiernos ante losciudadanos comunes y los congresos.

En Europa Oriental se puede observar además otrainfluencia. Los países que se han unido a la UniónEuropea o son candidatos a la adhesión tienen quereforzar sus sistemas de SyE y esto está dandomayor impulso a esta tendencia (Boyle, 2005).

4

Las iniciativas de los donantes internacionales,como el Banco Mundial, están teniendo fuerte in-fluencia sobre los países prestatarios, particular-mente en los que más dependen de la ayudainternacional. La iniciativa del Banco para el ali-vio de la deuda de los países pobres muy en-deudados exige –como una condición por partede los donantes– que los países preparen docu-mentos de estrategia para la reducción de la po-breza (PRSP), que contengan indicadores deléxito alcanzado en los esfuerzos del país por re-ducir la pobreza (GEI, 2002). Se necesita un en-foque similar en el énfasis de los donantes en ellogro de los Objetivos de Desarrollo del Milenio.Los PRSP requieren un análisis del sistema deSyE de los países, en particular de la adecuaciónde los indicadores de desempeño disponibles.Sin embargo, muchos países pobres han experi-mentado dificultades para mejorar sus sistemas deseguimiento, tanto en términos de la producciónde datos como, muy en especial, en la utilizaciónde éstos (Banco Mundial y Fondo Monetario In-ternacional, 2004; Bedi y otros, 2006).

Existen, asimismo, grandes presiones sobre los do-nantes internacionales para que rindan cuentas ydemuestren los resultados obtenidos con losmiles de millones de dólares que se destinan a asis-tencia cada año, y que pongan mayor énfasis enel SyE. Para el Banco Mundial estas presiones hanmodificado su agenda de resultados, lo cual im-plica, entre otras cosas, la necesidad de que las es-trategias de asistencia del Banco a los países seconcentren con firmeza hasta qué punto se hanalcanzado en realidad los resultados y en la con-tribución del Banco para alcanzarlos (Banco Mun-dial, 2004a; GEI 2006a).

Este movimiento está conduciendo hacia unagran atención en la disponibilidad de informacióndel SyE en relación con el desempeño de los pro-yectos del Banco en los países, así como sobre lostemas más amplios vinculados con el desempeñode un país respecto a los objetivos de desarrollo.Por tanto, se crea mayor dependencia de los sis-temas de seguimiento del gobierno y en la infor-mación que éstos producen.1 Las deficiencias deestos sistemas están impulsando al Banco a rea-

lizar más esfuerzos por ofrecer apoyo para refor-zarlos mediante préstamos, subsidios y asistenciatécnica.

Al mismo tiempo, existe en cierto modo un cam-bio en la orientación de los préstamos que ofre-cen el Banco y otros donantes, apartarse deproyectos estrictamente definidos y orientarsehacia préstamos programáticos, que suponenprovisiones para financiamiento global (de hecho,apoyo a un amplio presupuesto). La ausencia deactividades y productos de proyectos claramentedefinidos con estos tipos de préstamos tambiénrequiere un enfoque panorámico más amplio delos resultados de la asistencia para el desarrollo.Esto a su vez requiere depositar mayor confianzaen los sistemas de estadísticas nacionales y en lossistemas de seguimiento y evaluación de los pro-gramas gubernamentales.

Presiones similares para la rendición de cuentassobre otros donantes han conseguido que ellosse involucren más en estos temas y ofrezcanmayor colaboración. Una vía que permite a los do-nantes compartir experiencias en este tema es laIniciativa de Gestión para Resultados de Desa-rrollo (MfDR, por sus siglas en inglés), que pro-mueve una mejor medición, seguimiento y gestiónpara resultados de donantes y gobiernos. Estainiciativa surgió de una reunión de bancos de de-sarrollo multilateral en Monterrey, México, en2002; y ha guiado un ambicioso programa de ac-tividades, que incluye conferencias de alto nivelen Marrakech (2004), París (2005) y Hanoi (2007).La iniciativa también comprende la preparaciónde una creciente colección de material didácticoy estudios de caso de países en desarrollo, rela-cionados con la aplicación del SyE y la adminis-tración del desempeño, en los niveles nacional,sectorial, de programas y de proyectos.2

Estos factores se han combinado para incremen-tar el nivel de participación de los donantes en lacreación o fortalecimiento de sistemas de SyE depaíses en desarrollo. Parte de este esfuerzo seconcentra en los sistemas de estadísticas nacio-nales que miden el progreso del país comparán-dolo con los ODM. Otra parte se concentra en los

1 8


sistemas de SyE gubernamentales para el de-sempeño del propio gobierno. (La importancia deesta distinción se explica en el capítulo 9).

El GEI estimó que, para 2002, el Banco Mundialya estaba colaborando con más de 30 países eneste último tipo de desarrollo del sistema (GEI,2002); y el número se ha incrementado sustan-cialmente desde entonces. El Banco Mundial tieneun programa regional que apoya la creación de sis-temas de SyE en América Latina, y que incluye lacreación de una comunidad de práctica de altonivel para gerentes y otros funcionarios en siste-mas de SyE. El Banco Asiático de Desarrollo tam-bién creó una comunidad de práctica similar,3 yel Banco Africano de Desarrollo ha anunciadouna comunidad de este tipo para África. El BancoInteramericano de Desarrollo inició, en 2005, unprograma de ayuda a países de América Latina yel Caribe para la creación de sus sistemas de SyE.Cerca de 20 países recibieron donaciones pormedio de este programa. Otros donantes, comoel Departamento de Desarrollo Internacional delReino Unido (DFID), desempeñan un papel cadavez más activo en esta área. El DFID, por ejemplo,ha prestado particular atención a los sistemas deseguimiento de la pobreza y al uso de la infor-mación de desempeño como apoyo en el procesopresupuestario (por ejemplo, Booth y Lucas,2001a, 2001b; Roberts, 2003).

Una última tendencia que influye en el enfoquedel SyE es el crecimiento de las asociaciones na-cionales, regionales y mundiales de evaluación, ydel número de sus miembros. En África, por ejem-plo, existen en la actualidad 16 asociaciones na-cionales y algunas de ellas (como las de Nigeria,Ruanda, Kenia y Sudáfrica) han estado particu-larmente activas en los últimos años. Aunque un

reto constante es mantener sus niveles de activi-dad, puesto que dependen en gran medida de lapresencia y energía de promotores locales.

Existen también varias asociaciones regionales,como la Asociación Africana para la Evaluación(AfrEA), y en América Latina, Preval y la nueva aso-ciación regional denominada Red de Seguimiento,Evaluación y Sistematización en América Latina yel Caribe (ReLAC). En el plano mundial se cuentacon la Asociación Internacional de Evaluación delDesarrollo (IDEAS) y la Organización Interna-cional para la Cooperación en Evaluación, la cualestá conformada por los jefes de las principalesasociaciones regionales y nacionales de evalua-ción.4 Los donantes multilaterales y bilaterales, coninclusión del Banco Mundial, han aportado fon-dos y otros tipos de ayuda a muchas de estas aso-ciaciones de evaluación.

Estas asociaciones reflejan, en parte, el crecienteinterés en el SyE, así como el número cada vezmayor de personas que trabajan en este campo.Dichas comunidades de práctica tienen el po-tencial de influir en la calidad del trabajo de SyEy, por ende, facilitar los esfuerzos del gobierno parafortalecer sus sistemas de SyE. Algunas asocia-ciones nacionales, como la Red de Monitoreo yEvaluación de Nigeria (ReNSE, por sus siglas enfrancés), han conseguido la colaboración de aca-démicos, consultores, funcionarios públicos y re-presentantes de los donantes. Las principalesconferencias de asociaciones regionales y mun-diales de evaluación, como la AfrEA e IDEAS, tam-bién tienen los mismos propósitos de agruparestas comunidades. Este crecimiento tiene el po-tencial de difundir la toma de conciencia y el co-nocimiento del SyE entre los funcionarios públicosy así incrementar su demanda.

4 : T E N D E N C I A S C L AV E Q U E I N F L U Y E N E N L O S PA Í S E S

1 9

En la Parte II se presenta la experiencia de varios países que crearon

con éxito sistemas de SyE que funcionan bien y la experiencia de África.

Una pregunta que siempre se hacen los ministros y funcionarios es-

cépticos de los gobiernos es si en realidad existe algún país que haya creado

exitosamente un sistema nacional de SyE. La respuesta a esta pregunta es un

rotundo “sí”. Muchos países desarrollados y un pequeño pero creciente nú-

mero de países en desarrollo han tenido éxito en crear sistemas de SyE gu-

bernamentales con un buen desempeño. En el Capítulo 5 se define lo que deber

ser un sistema de SyE gubernamental “exitoso”, se proponen tres dimensio-

nes de éxito. En los capítulos 6, 7 y 8 se presentan las experiencias de tres de

países: Chile, Colombia y Australia, respectivamente. El caso especial de SyE

en África, donde existen un sinnúmero de severas limitaciones de capacidad,

se expone en el capítulo 9.

PARTE IIExperiencias de algunos países

2 3

Países con buenas prácticas– ¿Cómo se percibe el“éxito”?

Funcionarios de muchos países en desarrollo están interesados en las ex-periencias de los gobiernos que tienen sistemas SyE que funcionanbien. Dichos gobiernos han acumulado enseñanzas valiosas sobre cómo

poner en marcha y administrar exitosamente un sistema de SyE, qué se debehacer, cómo se debe hacer y lo que se debe evitar. Dichos gobiernos tambiénexhiben la eficacia en función de los costos del SyE.

Según se enunció en el capítulo 3, existen peligrosal intentar copiar sin criterio los modelos de otrospaíses. En América Latina, por ejemplo, muchospaíses ven el caso de Chile –que tiene un sistemade SyE muy sólido y disciplinado– y les gustaríaaplicarlo en sus propios países. Sin embargo,Chile posee una combinación de característicasrara y específica: un sistema de presupuesto al-tamente centralizado, un Ministerio de Haciendamuy capaz y extremadamente poderoso, minis-terios y dependencias que se sujetan muy decerca a las reglas y procedimientos establecidospor el MdH, un servicio civil disciplinado y una co-munidad académica sumamente hábil. Todoséstos constituyen factores de éxito para el sis-tema de SyE gubernamental de Chile. Pero Chilees único.

Con esto no queremos decir que la experienciade Chile, o la de otros países con sistemas exito-sos de SyE, no tengan importancia alguna paraotros países, aun para aquellos con administra-ciones públicas relativamente frágiles. El propioproceso de comparación de un país en particu-

lar con otro que sí tiene un sistema de SyE exitosoes esclarecedor, ya que ayuda a revelar las razo-nes que originaron ese éxito y aclara qué tan fácilo difícil sería reproducirlo.

El concepto de sistema exitoso de SyE también re-quiere alguna revisión. La definición aplicada a lolargo del presente libro es la siguiente:

La institucionalización exitosa del SyE su-pone la creación de un sistema de SyE sos-tenible y que funcione bien dentro de ungobierno, donde se utilice información delSyE de buena calidad y de manera intensiva.

A continuación se presentan las tres dimensionesde éxito:

1. Utilización de la información del SyE.Esta información es utilizada de una o másmaneras de las cuatro mencionadas en el ca-pítulo 3, es decir, para apoyar al gobierno enla formulación de políticas que considera la ela-boración del presupuesto por resultados o la

5

planeación nacional; para el desarrollo y aná-lisis de políticas y el desarrollo de programas;para la gestión de programas y proyectos; opara fines de rendición de cuentas. Obvia-mente, la utilización de información del SyEpuede ir de nula o insignificante a sustancial ointensiva. La utilización intensiva puede servista como un reflejo de la corriente domi-nante de la función del SyE en el gobierno. Lamayoría de evaluadores y oficinas de evaluaciónde los gobiernos y organizaciones de donan-tes sorprendentemente tienen poco conoci-miento de la medida en que los resultados desus evaluaciones son utilizados por otros.

2. Información del SyE de buena calidad.Existe una gran diferencia entre lo que cada go-bierno considera que lleva a cabo bajo el término“SyE”. Algunos se refieren a ello como un sistemade indicadores de desempeño –centrado enmetas de desarrollo nacional, metas de minis-terios, bajos niveles de producción ministerial,prestación de servicios y procesos. Otros se re-fieren a la realización de diversos tipos de eva-luación como informes rápidos, evaluaciones deimpacto rigurosas u otros tipos y métodos deevaluación. Todos éstos son parámetros conlos que se puede comparar el SyE para deter-minar si es de buena calidad o no.1 La mayoríade las oficinas de evaluación tiene algún tipo demecanismo de control de calidad; sin embargo,al parecer, muchas de ellas no llevan a cabo o

no encargan evaluaciones formales sobre la ca-lidad de su trabajo del SyE.

3. Sostenibilidad. Esto se refiere a la posibilidadde que el sistema de SyE sobreviva en un cam-bio de gobierno, de ministros en el gobiernoo de altos funcionarios. Siempre que la utili-zación de la información de SyE esté firme-mente arraigada –es decir, que sea parte de lacorriente dominante– a los procesos princi-pales del gobierno como el ciclo de presu-puesto, se puede decir que está insti-tucionalizada y, por ende, es probable que seasostenible en el tiempo. Por el contrario, si elSyE tiene solamente unos cuantos adherentes,o se utiliza poco, o si recibe gran parte de susfondos de los donantes más que del mismo go-bierno, entonces su sostenibilidad será menosprobable.

En los capítulos siguientes se presentarán tresestudios de casos de países que tienen buenasprácticas en sus sistemas de SyE gubernamenta-les: Chile, Colombia y Australia. Estarán a dispo-sición informes completos de sus sistemas deSyE (Rojas y otros, 2005; Mackay y otros, 2007;Mackay, 2004). Ninguno de los tres debe ser con-siderado como un sistema de SyE “perfecto” te-niendo en cuenta las tres dimensiones de éxitoantes expuestas. Cada caso tiene sus propias for-talezas y desafíos, como será evidente en las si-guientes exposiciones.

2 4

I I : E X P E R I E N C I AS D E A L G U N O S PA Í S E S

2 5

Chile

El gobierno de Chile ha desarrollado progresivamente su sistema de SyEa lo largo de varios años, pero el mayor desarrollo se logró a partir delaño 1994. El sistema fue ampliamente diseñado, implementado y ad-

ministrado por el poderoso Ministerio de Hacienda (MdH) con el objetivo prin-cipal de mejorar la calidad del gasto público.

El desarrollo del sistema también fue influido porpresiones fiscales y la necesidad de restringir elgasto del gobierno en general. Otra influenciafue el cambio de panorama de las reformas del sec-tor público. En este contexto, el sistema se ha de-sarrollado de manera apropiada y oportuna.

Principales componentes del sistema de SyEEl sistema tiene seis componentes principales.El primero y más antiguo es el análisis de costobeneficio ex ante de todos los proyectos de in-versión. Esto se introdujo por primera vez en1974. El trabajo lo desarrolla el Ministerio de Pla-nificación. Todos los demás componentes del sis-tema de SyE gubernamental se basan en elMinisterio de Hacienda. Según se señaló en el ca-pítulo 5, Chile tiene un poderoso y capaz MdH quedesempeña un papel dominante en el procesopresupuestario anual y en el sistema de SyE, y essignificativamente más poderoso que los otros mi-nisterios o dependencias.

El segundo componente del sistema de SyE deChile se conforma con los indicadores de de-

sempeño, los cuales fueron lanzados por primeravez en 1994 (véase el recuadro 6.1). El MdH ac-tualmente recopila alrededor de 1.550 indicado-res de desempeño para todos los sectores.

El tercer componente se introdujo en 1996: losbalances de gestión integral. Éstos se preparananualmente por los ministerios y las dependen-cias e informan sobre sus objetivos, gastos y de-sempeño.

El cuarto componente son las evaluaciones deprogramas del gobierno, iniciadas en 1996. Ellas si-guen un formato normalizado y comprenden aná-lisis rápidos que incluyen un análisis de marcológico de un programa, una revisión de datos se-cundarios y un análisis de datos existentes. Elquinto componente está conformado por las eva-luaciones de impacto rigurosas. Éstas se introdu-jeron en el año 2001 y se encargan de la recopilaciónde datos primarios y sus análisis, basándose por logeneral en técnicas estadísticas sofisticadas.

El sexto componente del SyE, y más reciente-mente introducido, es el de la evaluación com-

6

prehensiva del gasto (2002). Estos informes ana-lizan todos los programas dentro de un área fun-cional en particular y abordan temas como laineficiencia y duplicidad de programas.

Una característica encomiable del sistema de Chilees su “enfoque progresivo” hacia el SyE. Recopilaregularmente información del desempeño paratodos los programas y actividades, la cual tambiénutiliza en sus propias evaluaciones. Las evalua-ciones de los programas del gobierno se llevan acabo selectivamente, en especial para los pro-gramas más nuevos. En la medida que avanza el

programa, se van realizando más evaluacionesde impacto exhaustivas, sobre todo cuando se des-conoce el impacto o cuando el programa consti-tuye una prioridad para el gobierno.

Presupuesto por resultadosUna serie de características del sistema de SyE deChile son importantes para su operación, ellas de-terminan cuánta información de SyE producidapor el sistema es realmente utilizada. Una carac-terística es la estrecha relación entre el sistema yel ciclo de presupuesto anual. El peligro con cual-quier sistema de SyE, sea éste para todo el go-

2 6


Recuadro 6.1 Sistema de SyE gubernamental de Chile

Los seis principales componentes del sistema de SyE son:

Análisis de costo-beneficio ex ante es un requisito para todoslos proyectos del gobierno (desde 1974). Este componente es ad-ministrado por medio del ministerio de planificación y es del únicoque no se encarga el MdH.

Indicadores de desempeño son recopilados para todos los pro-gramas del gobierno. Fueron introducidos por primera vez en 1994en forma experimental. El número de indicadores de desempeñose ha incrementado rápidamente en estos últimos años, pa-sando de 275 en 2001, a cerca de 1.550 en la actualidad, de loscuales 25% se relacionan con el proceso, 57% con los produc-tos del gobierno (bienes y servicios producidos) y 18% con losefectos directos. Cada ministerio y dependencia proporciona in-formación al MdH y existen cerca de 11 indicadores por entidad,las que deben contar con sistemas de gestión de la informaciónpara producirla. El MdH realiza verificaciones de datos y audi-torías, e incluye la información de desempeño en los proyectosde presupuesto que prepara anualmente.

Balance de gestión integral (1996). Cada ministerio y depen-dencia prepara uno de estos balances cada año, con base enlos lineamientos del MdH. Estos informes pretenden ser el prin-cipal documento de información para el público en generalsobre los gastos, la utilización de fondos y el resultado; por esolos balances dependen en gran medida de la información del de-sempeño que las entidades deben producir y de las evaluacio-nes que encarga el MdH. Además, los informes describen elprogreso de la entidad en cumplir con sus compromisos insti-

tucionales formales con el MdH, lo cual comprende acciones es-pecíficas que la entidad prometió implementar para mejorar sudesempeño (discutido en el texto principal). El MdH y el minis-terio de la presidencia revisan los borradores de los informes ylas entidades hacen las correcciones necesarias. Las versionesfinales de los informes se envían al Congreso.

Evaluación de programas gubernamentales (1996). Hasta ahora(es decir, hasta fines de 2006) se han realizado alrededor de 185informes rápidos. Estas evaluaciones comprenden la aclara-ción y aprobación (entre el MdH y el ministerio o dependenciacuyo programa está en evaluación) de los objetivos detalladosdel programa. Se realiza un análisis del marco lógico y un es-tudio documental del desempeño del programa con base en lainformación del desempeño disponible. Su costo promedio es de$11.000 y generalmente toma de cuatro a seis meses completarla.

Evaluación de impacto rigurosa (2001). Estas evaluaciones con-llevan una recopilación de datos primarios, un análisis de datosmás elaborado y, con frecuencia, el uso de grupos control.Hasta el momento se han completado 18, con un costo prome-dio de $88.000, y toman aproximadamente 18 meses en com-pletarse. Sin incluir los gastos en defensa y los pagos portransferencia de ingresos, más de 60% del gasto del gobiernoha sido evaluado hasta el momento.

Evaluación comprehensiva del gasto (2002). Estos informes eva-lúan todos los programas dentro de un área funcional en particularo un ministerio. Examinan los temas de ineficiencia y duplicidadde programas. Hasta el momento se han realizado ocho de estosestudios documentales, con un costo promedio de $48.000.

bierno o para un sector, es que sea gestionado poruna unidad autónoma o especialista que opere se-parada de las actividades principales del ministe-rio encargado. En Chile, los cinco componentesdel sistema de SyE que son responsabilidad delMdH son administrados por su propio departa-mento de control de gestión. Este departamentotrabaja conjuntamente con el director de presu-puesto, a quien le reporta –y que además tiene ca-tegoría ministerial y es miembro del gabinete– ytambién trabaja con las secciones de presupuestoque tienen la responsabilidad de velar por las fi-nanzas y el desempeño de todos los ministeriossectoriales y dependencias.

Los indicios del bajo desempeño de un programaen Chile sirven como un activador para garantizaruna investigación más a fondo de las causas me-diante una evaluación formal, sea ésta una eva-luación rápida o una evaluación de impacto máselaborada. La dirección de presupuesto del MdHdesempeña un papel importante en la identifica-ción de los programas gubernamentales que debenser evaluados. Al preparar esta agenda de evalua-ción, el MdH se esfuerza para anticipar las nece-sidades de información del próximo presupuesto.

La agenda se discute además con los ministeriosde la presidencia y de planificación –de hecho,estos tres ministerios centrales conforman un co-mité interministerial que supervisa todas las eva-luaciones– y con el Congreso, pero queda claroque el actor principal es el MdH. Los jefes de lasección de presupuesto del MdH también debenproporcionar comentarios detallados sobre los in-formes de evaluación relacionados con las enti-dades que ellos supervisan, y entonces lasevaluaciones se discuten con el director de pre-supuesto del MdH. Las decisiones referentes a lasasignaciones de presupuesto se pueden tomar enesta etapa.

Durante el proceso presupuestario, el director depresupuesto se reúne con el personal del depar-tamento de control administrativo y de las áreas depresupuesto, con el fin de analizar las propuestaspresupuestales de cada entidad y su desempeñogeneral. En estas reuniones se discuten los balan-ces de gestión integral que cada entidad debe pre-

sentar1 –donde se incluyen los objetivos de la en-tidad, la información financiera y los resultados, loshallazgos de las evaluaciones, y el progreso com-parado con las metas de desempeño2 que fueronestablecidas en los presupuestos anteriores.

Esta información del SyE constituye un importanteaporte a la toma de decisiones sobre el presu-puesto, pero es sólo un aporte entre muchosotros. Según se señaló en el capítulo 3, casi nuncaexiste una relación de fórmula directa entre elbuen o el mal desempeño de una entidad y la asig-nación de presupuestos. Por tanto, en algunoscasos, el mal desempeño de una entidad haráque los fondos del presupuesto sean reducidoso, peor aún, que se dé por concluido el pro-grama. Sin embargo, en otros casos, el mal de-sempeño de un programa considerado como unaprioridad del gobierno podría necesitar un in-cremento a corto plazo de los fondos de presu-puesto para poder corregir los problemasidentificados.

Mejora de la gestiónUna característica notable de Chile es la maneraen que el MdH utiliza la información del SyE paramejorar el desempeño de ministerios y depen-dencias, y lo hace de dos maneras. En primerlugar, los indicadores de desempeño proporcio-nan las referencias del desempeño del programay el MdH aprueba las metas de desempeño pre-supuestal de cada organización para el siguienteaño. El MdH da seguimiento del punto en que sealcanzan las metas. En 2003, por ejemplo, se al-canzaron cerca de tres cuartos de esas metas.3 Ensegundo lugar, cuando el MdH considera las re-comendaciones de las evaluaciones que ha en-cargado, las discute con las organizacionesevaluadas y formalmente aprueba los cambiosen los programas. En efecto, el MdH impone a lasorganizaciones estos acuerdos, conocidos comocompromisos formales. Es algo exclusivo para elMdH imponer sistemáticamente dichos cambiosadministrativos en los ministerios o dependencias.El MdH de Chile puede hacerlo gracias a su po-deroso papel dentro del gobierno.

El cuadro 6.1 muestra cómo el MdH utiliza las eva-luaciones encargadas. Estos usos incluyen

6 : C H I L E

2 7

pequeños cambios en la gestión de los programas(24% de los programas evaluados); cambios sus-tanciales (38%); rediseño sustancial del programao de la organización (25%); reubicación institu-cional del programa (5%) y terminación del pro-grama (8%).

Fortalezas y desafíos del sistema de SyEde ChileEl sistema de Chile se puede evaluar a partir delos tres criterios que determinan un sistema deSyE exitoso: alta utilización, SyE de buena calidady sostenibilidad. Según se explicó anteriormente,la información del SyE se utiliza intensivamenteen el análisis del presupuesto y en la toma de de-cisiones. También se emplea para imponer a losministerios y dependencias mejoras en sus pro-gramas. Por último, sirve para informar al Con-greso y a la sociedad civil sobre el desempeño delgobierno.

Sin embargo, lo que falta en esta lista es la utili-zación de la información del SyE por los mismosministerios y dependencias (excepto por los cam-bios en los programas que el MdH les impone).Una reciente evaluación del sistema de SyE deChile realizada por el Banco Mundial descubrióque había poca utilización de la información(Rojas y otros, 2005),4 y la principal causa de elloes el bajo nivel de sentido de propiedad o acep-tación de los hallazgos de las evaluaciones en-

cargadas por el MdH. Esta debilidad del sistemade SyE de Chile surge de su naturaleza centrali-zada asimilada por la fuerza.

Otra limitación del sistema centralizado de Chilees la aparente ausencia de incentivos que tienenlos ministerios y dependencias para realizar suspropias evaluaciones.

La evidencia disponible acerca de la calidad de lainformación del seguimiento y de las evaluacio-nes realizadas por los sistemas de SyE indica quela calidad es bastante adecuada y que la informa-ción del SyE es también muy confiable, pero nomás que eso. Aunque se realice la verificación delos datos y algunas auditorías, no existe un enfo-que sistemático para emprender auditorías delos datos de la información del desempeño.

El MdH encarga la realización de evaluaciones aacadémicos y consultores para asegurar su inde-pendencia. Las evaluaciones utilizan TdR norma-lizados para así lograr uniformidad en los temasevaluados y métodos utilizados; sin embargo, lafalta de información es algunas veces un obstáculopara la calidad de las evaluaciones y de los mé-todos de evaluación utilizados. Las evaluacionesse realizan dentro de plazos muy limitados, conel fin de que estén listas para usarlas en el análi-sis del presupuesto y la toma de decisiones delMdH. Éste también se asegura de que el costo de

2 8


Cuadro 6.1 Utilización de las evaluaciones del gobierno 2000 a 2005a

Fuente: Guzmán, 2007.

a. Los porcentajes se refieren a los programas evaluados.

Pequeño ajuste enel programa, porejemplo, procesos osistemas deinformaciónmejorados.

24

Mayor ajuste en losprocesos de gestión,por ejemplo, cambio decriterios de objetivo onuevos sistemas deinformación.

38

Rediseño sustancial delprograma o de laestructuraorganizacional.

25

Reubicacióninstitucional delprograma.

5

Terminacióndelprograma.

8

Efecto sobre elprograma

Porcentaje deprogramasafectados

las evaluaciones se mantenga tan bajo como seaposible. Por ejemplo, lo corto del plazo y los pro-blemas de costos muchas veces hacen imposiblela recopilación de datos primarios necesarios paraconducir evaluaciones de impacto rigurosas.5

La sostenibilidad probable del sistema de SyE deChile es alta. Un grupo de directores de presu-puesto del MdH ha trabajado para desarrollarprogresivamente el sistema de SyE como parte in-tegral del proceso presupuestario, y el SyE ahoraestá arraigado como una función principal delMdH. Dado el papel preeminente del MdH, no pa-rece haber tendencias o presiones que reduzcanla prioridad que le otorga al SyE. Una debilidad,ya mencionada, es el poco sentido de propiedadque tienen los ministerios sectoriales y las de-pendencias acerca del SyE. Esto constituye, enparte, una pérdida de oportunidades para el go-bierno de utilizar más intensivamente la infor-mación del SyE; y para lograr una cultura del

desempeño más fuerte dentro de estas entidadesdel sector.

La sostenibilidad de los sistemas de SyE se basaen el continuo esfuerzo y habilidad del MdH paraque el sistema sea manejado centralmente. Si elgobierno decide reducir el poder central del MdH,la fuerza y utilización de los sistemas de SyE delMdH serían cuestionadas.

Una lista más detallada de las fortalezas y desafíosdel sistema de Chile se presenta en el cuadro 6.2.

Conclusiones El gobierno de Chile tuvo éxito al crear un sistemacuya información de seguimiento y hallazgos deevaluación se utilizan extensamente, en particu-lar durante el proceso presupuestario; además hallegado a realizar con éxito mejoras en ministeriossectoriales y dependencias. El sistema de SyE in-cluye lo que en la práctica sería una “fábrica de eva-

6 : C H I L E

2 9

Fortalezas Desafíos

Cuadro 6.2 Fortalezas y desafíos del sistema de SyE de Chile

• Existe disparidad en la calidad de las evaluacionesrealizadas, tal vez debido al costo y las limitacionesde tiempo que establece el MdH.

• Probablemente Chile no esté gastando suficientedinero en evaluaciones.

• Los ministerios sectoriales utilizan muy poco loshallazgos de las evaluaciones debido al poco sentidode propiedad de éstos.

• Ausencia aparente de incentivos en los ministerios ydependencias para que puedan llevar a cabo suspropias evaluaciones.

• Enfoque “progresivo” del SyE.• Las evaluaciones se llevan a cabo en forma externa

dentro de un proceso totalmente transparente,además otros ministerios y el Congreso lasconsideran muy confiables.

• Toda la información del SyE es de conocimientopúblico y se envía al Congreso.

• El sistema de SyE está ligado a las necesidades deinformación del MdH, especialmente para efectosdel proceso presupuestario. El presupuesto utilizagran cantidad de información del SyE.

• La información de desempeño se utiliza paraestablecer las metas de desempeño para ministeriosy dependencias, las cuales son ampliamentelogradas.

• El MdH utiliza los hallazgos de la evaluación paraimponer cambios en la gestión de los ministerios ydependencias.

• El MdH da seguimiento de cerca al uso que se le daa sus hallazgos de evaluación.

luaciones” para la planeación, la realización, laadministración, los informes y el uso de las eva-luaciones. Este enfoque mantiene los costos delas evaluaciones en un nivel bajo y, por tanto,también el costo total del sistema de evaluación:el Ministerio de Hacienda gasta anualmente untotal de alrededor de $0,75 millones en sistemasde SyE,6 lo cual representa una suma modestacomparada con el presupuesto total del gobiernoque asciende a $20 mil millones.

Esta alta utilización de información del SyE es ex-traordinaria, y sólo esto hace que el sistema de SyEde Chile sea el más poderoso de América Latinay uno de los más poderosos del mundo. Chile hademostrado que un sistema de SyE para todo elgobierno puede desarrollarse y operarse a uncosto relativamente bajo. Muchos otros gobiernosde la región buscan emular al sistema de SyE deChile, aunque varios de los factores de éxito deChile parecen ser exclusivos –como el poderosopapel del MdH y la naturaleza obediente de los mi-nisterios sectoriales y dependencias.

El sistema de SyE de Chile parece ser muy eficazen función de los costos: el MdH utiliza amplia-mente la información de SyE generada y lo hacea un costo relativamente bajo. Un tema que el go-bierno debe considerar es si está gastando sufi-ciente dinero en su sistema de SyE. Evaluacionesmuy elaboradas y de amplio alcance pueden cos-tar mucho más de lo que Chile ha gastado en susevaluaciones en el pasado.

En México, por ejemplo, una serie de evaluacionesde impacto rigurosas del programa de transferen-cia monetaria condicionada, Progresa, costó variosmillones de dólares en la década de 1990 –com-

parado con el gasto total del gobierno en el pro-grama que fue de $780 millones en 1999. Por tanto,estas evaluaciones representaron sólo una pe-queña fracción del gasto total del gobierno en elprograma. Estas evaluaciones han tenido una graninfluencia para persuadir a los gobiernos siguien-tes no sólo a conservar el programa, sino a exten-derlo significativamente. En 2005 el gobiernogastaba alrededor de $6 mil millones anuales en elprograma (con el nuevo nombre de Oportunida-des), cubriendo 21 millones de beneficiarios ocerca de una quinta parte de la población mexicana.

Una pregunta que el gobierno de Chile deberíaconsiderar es si alguna vez gastaría una gran sumade dinero en la evaluación de alguno de sus pro-gramas, aun si el programa fuese una de sus prin-cipales prioridades. El hecho de no gastaradecuadamente en evaluaciones limitará la pro-fundidad y confiabilidad de los hallazgos de eva-luación, y quizás ésta haya sido la causa de losproblemas en la calidad de algunas de las eva-luaciones encargadas por el MdH.

Finalmente, el bajo nivel de utilización de los ha-llazgos de los sistemas de evaluación por minis-terios sectoriales y dependencias constituye unaoportunidad inexplorada para el gobierno. Unaforma para que el MdH logre un mayor compro-miso y responsabilidad sobre los hallazgos de lasevaluaciones y fomentar el desarrollo de una cul-tura del desempeño en el servicio civil como untodo, sería buscar un enfoque menos centrali-zado, más colegiado, para planificar y supervisarlas evaluaciones realizadas. Una base más ampliade apoyo para el SyE dentro del gobierno tambiénincrementaría las posibilidades de sostenibilidaddel sistema de SyE de Chile.

3 0


3 1

Colombia

En 1991, el Gobierno de Colombia decidió crear un sistema de SyE, elcual inicialmente se basaría en el enfoque de evaluación del BancoMundial. Posteriormente, en ese mismo año, se introdujo un requisito

constitucional para evaluaciones, entonces el Banco y otros donantes rápi-damente llegaron con una amplia gama de apoyo técnico y financiero. El go-bierno promulgó además una serie de leyes, decretos y regulaciones pararespaldar el sistema de SyE.

Durante sus primeros años, el principal énfasis delsistema se puso en la información acerca del se-guimiento más que en la evaluación. El sistema su-frió muchos altibajos y en el año 2000, Colombiaconsideró incluso la posibilidad de abolirlo –de-bido a la percepción de dificultades con su ges-tión y también por las dudas acerca de surelevancia en la agenda de la reforma del sectorpúblico del gobierno.

Un cambio sustancial de fortuna ocurrió con laelección de un presidente reformista en 2002. Elpresidente estuvo consternado al darse cuenta deque los grandes aumentos en el gasto público enáreas como educación y el cuidado de la salud noconcordaban con los correspondientes incre-mentos de los resultados (productos y efectos di-rectos) de estas áreas. Al mismo tiempo, estabamuy comprometido con una nueva cultura deadministración pública basada en la rendición decuentas sociales –o control social. El presidentecomprometió al gobierno a rejuvenecer el sis-

tema de SyE y a esto le siguió una nueva inyec-ción de ayuda de los donantes. Estos pasos re-forzaron rápidamente el sistema.

Principales componentes del sistema de SyEExisten dos componentes principales del sistema–conocido como SINERGIA (Sistema Nacional deEvaluación de Resultados de la Gestión Pública)–y otros que han sido o están siendo probados enla actualidad. El componente más visible o más uti-lizado es el subsistema para dar seguimiento delprogreso de las 320 metas presidenciales y las dedesarrollo del país (según se especifican en elplan nacional de desarrollo).

El subsistema denominado Sistema de Progra-mación y Gestión por Objetivos y Resultados(SIGOB) registra las metas, sus estrategias, la re-ferencia y metas de desempeño y los montos queel gobierno gastó en ellos. Los gerentes de metastambién deben proporcionar explicaciones de-

7

talladas cuando las metas no se concretan. Todaesta información, incluidos los detalles de contactode cada gerente de meta, se encuentra disponi-ble al público en el portal del gobierno(http://www.sigob.gov.co/ini). El presidente utilizaampliamente la información del SIGOB para pro-pósitos de control político y social.1

El segundo componente principal de SINERGIAconsta de una serie de evaluaciones (véase el re-cuadro 7.1). A fines de 2006, se estaban reali-zando o se habían completado recientemente 15evaluaciones; otras 22 estaban planeadas para loscinco años siguientes. El costo total de estas eva-luaciones es de $11,1 millones. A diferencia deChile, no se realizan evaluaciones normalizadas.Chile ha normalizado sus TdR, el enfoque de eva-luación y límites de costo para cada tipo de eva-luación que el MdH encarga. Los tres principalestipos de evaluación en Colombia son las de im-pacto rigurosas, las “institucionales” y las de “ges-tión” –estas dos últimas se centran en temas degestión y proceso. La más costosa ($2 millones)es la evaluación de impacto rigurosa de un pro-grama de transferencia monetaria condicionada.

Estas evaluaciones son ejercicios de colaboraciónque comprometen al departamento de planea-ción, al ministerio sectorial o la dependencia res-ponsable del programa que se evalúa y a losdonantes. La mayor parte de los fondos para estasevaluaciones proviene de los préstamos de do-nantes. La mayoría de los programas que se eva-lúan son administrados por el ministerio de laprotección social, el instituto de bienestar fami-liar o el ministerio de educación.

Un cuarto tipo de evaluación está en prueba ac-tualmente –las evaluaciones rápidas de aquellosprogramas gubernamentales que son de alta prio-ridad o que se cree que tienen problemas de de-sempeño. Las pruebas están siendo realizadas porel ministerio de hacienda y el departamento de pla-neación.2 La intención es que las evaluaciones rápidasse incorporen eventualmente en el análisis del pre-supuesto básico y en la toma de decisiones de lasdos entidades. (En Colombia, el presupuesto estádividido: el ministerio de hacienda es responsablede los gastos recurrentes; y el director de planeaciónes responsable de las inversiones, incluidos los gas-tos en educación y las transferencias monetarias).

3 2


Recuadro 7.1 Sistema de SyE gubernamental de Colombia

Los principales componentes del sistema de SyE son lossiguientes:Existen cerca de 500 indicadores de resultados relacionados

con las 320 metas presidenciales, y por cada indicador, el SIGOBregistra el objetivo, las estrategias para lograrlo, los resultados dereferencia, las metas anuales, el desempeño real comparado conesas metas y cantidades de dinero que el gobierno gastó. Así elSIGOB incluye gran número de indicadores sobre el desempeñodel gobierno. La información se divide por regiones, incluidas lasciudades principales.

Además, cuando una meta no se alcanza, el gerente de metasdebe preparar una explicación de por qué no se cumplió el obje-tivo. Estos informes de excepción se incluyen en la base de datosdel SIGOB, que a su vez se hace público en tiempo real. El portaltambién promueve la rendición de cuentas mediante la identifi-cación del gerente de metas o su ministro, su cargo formal y sudirección de correo electrónico. Es responsabilidad de los minis-terios y de las dependencias el proporcionar la información delSIGOB al gerente del sistema –el Departamento Nacional de Pla-

neación (DNP)– quien realiza la verificación de datos. Sin embargo,no hay un sistema formal de auditoría de los datos y algunas in-quietudes se han presentado acerca de que los ministerios estu-vieran distorsionando los datos que proporcionan.

Alrededor de 15 evaluaciones de impacto rigurosas, institu-cionales y de gestión están en proceso y otras 22 están planificadas.Su costo varía entre $15.000 y $2 millones, pero la mayoría cuestaentre $50.000 y $200.000.

Estas evaluaciones se encargaron a académicos o consulto-res, con supervisión del departamento de planeación en colabo-ración estrecha con la dependencia evaluadora y los donantesque la financian. Las evaluaciones rápidas se están poniendo aprueba con el fin de incorporarlas en la labor de presupuesto yplaneación del ministerio de hacienda y del departamento deplaneación. Las metodologías de la evaluación rápida se basanen el enfoque de Chile y en el de clasificación del sistema PARTestadounidense (véanse los recuadros 6.1 y 3.2). Las pruebasque se llevan a cabo en la actualidad podrían costar entre $15.000y $25.000 cada una.

El sistema de SyE tiene otros componentes, peroson más débiles y están mucho menos institu-cionalizados. Uno de ellos consiste en un es-fuerzo para trabajar en forma conjunta con lasociedad civil –creando un consorcio entre di-versas ONG y los medios de comunicación– conel fin de analizar el desempeño del gobierno.Otro componente es el apoyo a dos municipiosque están realizando seguimiento del desem-peño y presupuesto por resultados.

Un componente final es la preparación de los in-formes de presupuesto por resultados al Con-greso. Éstos han sido preparados por eldepartamento de planeación como un anexo a losdocumentos convencionales de presupuesto. Ellospresentan el gasto del gobierno sobre una baseprogramática y divulgan la información del SyE dis-ponible sobre el desempeño de estos programas.Según se observa en el cuadro 3.1, tal informaciónde desempeño es una forma de presupuesto porresultados, aunque es la forma más vulnerable. EnColombia es particularmente vulnerable debido aque el Congreso desempeña un papel igualmentedébil en el proceso presupuestario, tiene poco so-porte técnico para que los congresistas puedancomprender fácilmente la información de de-sempeño y los hallazgos de evaluación, y la dis-cusión del Congreso sobre el presupuesto anualtiende a centrarse en temas políticos de naturalezamás limitada (véase el anexo B).

Rendición de cuentas — Control políticoy socialUna característica única de Colombia ha sido elfuerte compromiso del Presidente Uribe de uti-lizar la información del SyE para mejorar el con-trol político del poder Ejecutivo y para apoyar elcontrol social. La base de datos del SIGOB está ins-talada en su computadora personal y él utilizaesta información en sus reuniones de control degestión mensuales con cada ministro y el DNP. Du-rante estas reuniones, se evalúa el progreso decada meta presidencial, y los ministros deben darlas razones por las cuales no se alcanzan las metasde desempeño. También se llega a acuerdos sobrelos indicadores de desempeño y las acciones paralograr las metas. El presidente utiliza esta infor-mación del SIGOB en sus reuniones semanales

con los diferentes municipios del país y tambiénen su mensaje a la nación anual por televisión, enel cual él y sus ministros analizan el desempeñodel gobierno y responden las preguntas de los ciu-dadanos acerca de estos temas.

Este compromiso presidencial fuerte de utilizarla información del SyE para dar seguimiento ypresentar el desempeño del gobierno parecerser único en América Latina –y quizás en el mundo.Esto sirve para enviar señales poderosas a cada mi-nistro y servidor público. Sin embargo, al parecerestas prácticas de SyE no se han llegado a adop-tar completamente en los ministerios y los go-biernos subnacionales. Varios ministerios ydependencias del sector social, así como dos mu-nicipios están trabajando actualmente en reforzarsus sistemas de SyE con la ayuda del DNP ydonantes.

Uso de las evaluaciones para apoyar latoma de decisiones del gobiernoA inicios de 2007 sólo se habían completado tresevaluaciones, por eso fue limitada la oportunidadde utilizar los resultados de las evaluaciones yapoyar la toma de decisiones del gobierno sobreel presupuesto nacional y la planeación nacio-nal. Sin embargo, hay un ejemplo notable de unaevaluación influyente (véase el recuadro 7.2).

Fortalezas y desafíos del sistema de SyEde ColombiaEl sistema de Colombia también puede evaluarsecon base en los tres criterios de un sistema de SyEexitoso: gran utilización, buena calidad de SyE ysostenibilidad. La base de la evidencia para talevaluación en Colombia no es tan robusta comolo es en Chile; sin embargo, se puede llegar a al-gunas conclusiones. El uso que le da el presi-dente al componente de seguimiento (SIGOB) delsistema de SyE para el control social y político, esdecir, para rendición de cuentas, es bastanteconsiderable.

La calidad de los datos de seguimiento es confusa,y algunos funcionarios públicos y algunos miem-bros influyentes de la sociedad civil temen que lainformación no sea del todo confiable y que algunainformación proporcionada por los ministerios

7 : C O L O M B I A

3 3

sectoriales y dependencias podría estar siendo ma-nipulada para beneficio propio. Sin embargo, lasostenibilidad de este componente del segui-miento parece tener buenas expectativas, aundespués de un cambio de gobierno y un nuevopresidente, debido a la utilidad de tales datospara el DNP y la oficina del presidente en su su-pervisión del desempeño del gobierno.

El otro componente principal del sistema de SyEde Colombia es el programa ambicioso de eva-luaciones de impacto rigurosas, institucionales yde gestión. Sólo unas cuantas evaluaciones sehan completado, pero una de ellas –Familias enAcción, uno de los programas más importantesdel gobierno– ha tenido gran influencia y puedeconsiderarse que ha sido muy eficaz en funcióndel costo. Esto es significativo ya que incluso unasola evaluación de alto nivel que influye en las de-cisiones del gobierno también puede influir en laaceptación más extensa del SyE al demostrar suvalor.

La calidad de las evaluaciones de Colombia no hansido formalmente revisadas pero existe buenasensación en relación con su calidad y confiabili-dad: Colombia ha contratado los servicios de aca-démicos eminentes, incluidos evaluadores detalla internacional, además ha contado con elapoyo significativo de evaluadores del BancoMundial y otros donantes. Sin embargo, la soste-

nibilidad del programa de evaluación no está to-talmente garantizada.

En el corto plazo –es decir, en los próximos cincoaños– la agenda de evaluaciones será cubiertacon un nuevo préstamo del Banco Mundial; unacaracterística de esta agenda es la reducción delnivel de apoyo financiero de los donantes paraestas evaluaciones, con el claro propósito de queel gobierno pueda aprovechar al máximo el usode sus propios fondos de presupuesto para pagarpor las evaluaciones.3 Esto podría suceder si el go-bierno considera que las evaluaciones realizadashan valido la pena; lo cual, a su vez, hace recaersobre el departamento de planeación la respon-sabilidad de garantizar que las evaluaciones seanampliamente utilizadas.

Comparación con el sistema de SyE de Chile Existen otros temas que vale la pena mencionar,particularmente si el sistema de SyE de Colombiase compara con el de Chile. El sistema de Chilees administrado por la dirección de presupuestoasegurando gran interacción entre el SyE y la ges-tión presupuestaria. Pero en Colombia, el sistemade SyE ha sido básicamente administrado comouna actividad independiente que casi por coinci-dencia se encuentra ubicada dentro del departa-mento de planeación. Hasta el momento, elsistema de SyE no ha sido integrado ni a la laborde planeación ni a las responsabilidades de pre-

3 4


Recuadro 7.2 Una evaluación influyente en Colombia

F amilias en Acción es un programa de transferencia moneta-ria condicionada que ofrece un ingreso a familias pobres, las

cuales se comprometen a que sus hijos reciban cuidado de saludpreventivo, se matriculen en la escuela y asistan a clases. El pro-grama fue creado en 1999 en respuesta a la crisis económica.

Se encargó a consultores externos realizar una evaluaciónde impacto rigurosa del programa, con la supervisión del depar-tamento de planeación. Esta evaluación encontró que el programahabía alcanzado un impacto sorprendente en los niveles de nu-trición, educación y salud. Estos hallazgos persuadieron al gobiernodel Presidente Uribe, quien fue elegido en 2002, no sólo a mante-

ner el programa del gobierno anterior sino a duplicar su coberturade 500.000 a 1 millón de familias pobres. A fines de 2006, el gobiernodecidió incrementar aún más la cobertura del programa a 1,5 mi-llones de familias.

La evaluación de Familias en Acción ha costado $1,5 milloneshasta el momento. A pesar de ser un monto considerable, es re-lativamente pequeño si se le compara con el gasto total del go-bierno en este programa (alrededor de $100 millones al momentode la evaluación). Debido a su gran influencia en el gobierno, estaevaluación puede considerarse como altamente eficaz en funcióndel costo.

Fuente: Mackay y otros, 2007.

supuesto del DNP; tampoco ha habido colabora-ción con la labor de presupuesto del ministeriode hacienda.

Este escenario puede cambiar en cualquier mo-mento. Las evaluaciones rápidas que están enprueba involucran a las direcciones de SyE y de pre-supuesto en el departamento de planeación, asícomo al área de presupuesto del ministerio de ha-cienda. Si estas pruebas resultan exitosas –es decirque resulten eficaces en función del costo parafines de elaboración del presupuesto por resulta-dos– entonces hay grandes posibilidades para queel SyE sea parte esencial de las labores de presu-puesto de ambas entidades gubernamentales.

Algunos observadores han argumentado que unagran limitación en el uso de la información del SyEpara influir en la toma de decisiones del presu-puesto en Colombia surge de la falta de flexibili-dad en el presupuesto nacional. Esto incluye ungran número de gastos destinados que no se pue-den variar fácilmente. En consecuencia, entre 90%o 95% de los gastos del presupuesto de Colombiano pueden modificarse en el corto plazo. Se pue-den presentar muchos argumentos contrarios(véase el anexo B), pero quizás la observaciónmás contundente es el alto nivel de influencia dela evaluación del programa Familias en Acción deColombia, sobre las prioridades del gobierno y laasignación del presupuesto (Recuadro 7.2).

Un punto final de la comparación entre Colom-bia y Chile es el alto nivel de colaboración entrela dirección de SyE de Colombia en el departa-mento de planeación y los ministerios sectorialesy dependencias cuyos programas están en eva-luación. El DNP ha compartido su amplia expe-riencia para realizar evaluaciones y tambiénfinanciamiento con sus socios del sector, y pareceque no ha surgido ninguna relación antagónicaque algunas veces puede existir en otros países,donde el ministerio de hacienda tiene una funciónactiva en la agenda de evaluación. Este enfoquede colaboración entre el ministerio central y lasentidades sectoriales podría cambiar si Colombiaadopta, o cuando adopte, una forma más activade presupuesto por resultados.

Sin embargo, para que el presupuesto por re-sultados funcione bien, será necesario contarcon la estrecha colaboración entre la direcciónde SyE dentro del DNP, su dirección de presu-puesto y la dirección de presupuesto del minis-terio de hacienda. Una forma de procurar unaestrecha colaboración entre estos ministerioscentrales con entidades sectoriales sería incluirlosa todos en el comité de gobierno de alto nivelque tiene la responsabilidad formal de supervi-sar al SINERGIA. El gobierno planea moverseen esta dirección.

Un resumen de las fortalezas y los desafíos del sis-tema SyE de Colombia se presentan en el cuadro7.1. El diagnóstico del Banco Mundial acerca delsistema de Colombia se encuentra en el anexo B,más adelante.

ConclusionesEl gobierno de Colombia ha tenido éxito en crearun subsistema de seguimiento del desempeño delgobierno relativo a las 320 metas presidencialesy a otras metas de desarrollo del país. Cabe resaltarque el presidente utiliza este subsistema con in-tensidad en su supervisión directa del desem-peño ministerial y en sus informes a la sociedadcivil.

El gobierno también se ha embarcado en unaagenda de evaluación ambiciosa; los hallazgos delas evaluaciones ya han tenido alguna influenciasignificativa en las decisiones del gobierno y enla asignación de presupuestos.

Una debilidad en el sistema de Colombia es quela información del SyE todavía no es utilizada sis-temáticamente para la parte principal de la pla-neación y el presupuesto de los dos ministeriosresponsables del presupuesto nacional. Existeuna gran posibilidad de que el SyE llegue a for-mar parte del análisis de presupuesto y la tomade decisiones, pero hasta que esto suceda van ahaber límites en la utilización de la informaciónde seguimiento y los hallazgos de evaluación.Dicha utilización podría incrementar considera-blemente las probabilidades de sostenibilidad delsistema de SyE central.

7 : C O L O M B I A

3 5

Varios ministerios y dependencias han realizadoel SyE para sus propios fines, para apoyar su pla-neación, análisis y gestión de programas; sin em-bargo, estas entidades son la excepción. Con laayuda del Banco Mundial, el gobierno está ahoraexaminando opciones para exigir el uso de SyE enmayor escala en todos los ministerios, depen-dencias y gobiernos subnacionales.

Resulta justo concluir que el sistema de SyE deColombia es menos desarrollado y maduro queel de Chile. El sistema chileno se desarrolló pro-gresivamente durante más de una década; y a

pesar de que el sistema de Colombia existió dealguna manera desde inicios de los años 1990,sólo a partir de 2002 que comenzó a madurar. Elsistema de SyE de Colombia cuesta en la actua-lidad alrededor de $2 millones al año, o casi tresveces lo que cuesta el sistema de Chile ($0,75 mi-llones al año).4 La fuente de esta diferencia decosto está en el énfasis particular que se da a lasevaluaciones de impacto principales en el sis-tema de Colombia. Los sistemas de ambos paísespueden mejorar, pero ambos –y especialmenteel de Chile– pueden ser considerados eficaces enfunción del costo.

3 6



Cuadro 7.1 Fortalezas y desafíos del sistema de SyE de Colombia

• Las direcciones de presupuesto y planeación delDepartamento Nacional de Planeación y elministerio de hacienda utilizan muy poco lainformación del SyE.

• Preocupaciones acerca de la credibilidad de losdatos de seguimiento que ofrecen los ministeriossectoriales y las dependencias.

• Excesiva dependencia sobre el financiamiento de losdonantes para la agenda de evaluación.

• Muy alto nivel de utilización del subsistema deseguimiento por el presidente y su despacho.

• Información de desempeño utilizada para establecermetas de desempeño para los ministros, susministerios y dependencias. Informe público acercadel logro de las metas de desempeño, y cuando nose logran, los gerentes tienen que dar explicacionespúblicas de lo sucedido.

• Las evaluaciones se llevan a cabo en forma externaen un proceso transparente, otros ministerios y elCongreso las consideran muy verosímiles.

• Las evaluaciones se planean y se llevan a cabodentro de un enfoque de colaboración, en las queparticipan el departamento de planeación y losministerios y dependencias sectoriales.

• Toda la información del SyE se hace pública y seremite al Congreso.

3 7

Australia

Australia eligió un gobierno reformista en 1983. Este gobierno enfrentóuna situación macroeconómica muy difícil y como respuesta a ello, de-cidió reducir progresivamente el gasto total del gobierno, de 30% del

PBI en 1984 a 23% en 1989, una reducción muy significativa según los pará-metros internacionales.

Al mismo tiempo, el gobierno concentró muchomás sus gastos en los grupos menos favorecidosde la sociedad. Tenía interés en obtener un mayorvalor por el dinero que gastaba, y teniendo encuenta esta meta, introdujo una serie de reformasinnovadoras en el sector público, especialmenteen áreas de gestión financiera y reforma presu-puestal. Estas reformas ubicaron a Australia alfrente de los países de la OCDE en términos degestión del sector público.1

Las reformas ofrecían una mayor autonomía a losjefes de los departamentos sectoriales para ad-ministrar sus partidas presupuestales –con la fi-losofía de dejar que los administradoresadministren. Si bien al principio se esperaba quelas reformas incentivaran a los departamentos aadministrar y medir su desempeño, esta expec-tativa no se cumplió. Con el apoyo de otros de-partamentos centrales, el poderoso Departamentode Finanzas (DdF) desarrolló entre tanto una es-trategia de evaluación para todo el gobierno. Estaestrategia recibió el total respaldo del gabinete pormedio de una decisión formal. La estrategia con-

tinuó con la filosofía de hacer que los adminis-tradores administren.

Principales componentes del sistema deSyE2

El sistema de SyE de Australia comprendía am-pliamente una estrategia formal de evaluacionesy se basó en una revisión de diagnóstico realizadaen 1988 sobre las prácticas de evaluación en losdepartamentos y en el nivel general de la activi-dad de evaluación del gobierno. La estrategia ensí fue desarrollada progresivamente durante va-rios años (1987–1991) y tenía tres objetivos prin-cipales: incentivar a los administradores deprogramas a usar la evaluación para mejorar el de-sempeño de sus programas; asistir al gabineteen la toma de decisiones y prioridades, particu-larmente en el proceso presupuestario anual,donde diversas propuestas son defendidas porcada uno de los ministerios; y fortalecer la ren-dición de cuentas en un ambiente deteriorado,proporcionando evidencia formal de la supervi-sión de los administradores de programa y de laadministración de los recursos del programa.3

8

El eje de la estrategia fue la planeación de la eva-luación. Esto se realizó mediante el Plan de Eva-luación de Portafolio formal (PEP), que debía serpresentado anualmente al ministro para su fi-nanciamiento (véase el recuadro 8.1). Los PEPtenían una cobertura de tres años e indicabanqué programas o subprogramas serían evalua-dos, qué aspectos se evaluarían y cuándo. Un re-quisito formal fue que cada programa debía serevaluado cada 3 a 5 años. Las evaluaciones PEP fue-ron clasificadas como evaluaciones importantes.Los ministerios también debían iniciar otras eva-luaciones, de menor envergadura, sólo para efec-tos de gestión interna. A mediados de la décadade 1990, cerca de 160 evaluaciones PEP se lleva-ron a cabo simultáneamente.

Los temas principales de los PEP fueron la elecciónde los programas que debían ser evaluados y lascuestiones específicas que cada evaluación debíaabarcar; por ello, los TdR para cada evaluaciónresultaron cruciales. Estos temas se decidieronpor medio de negociaciones entre los departa-mentos sectoriales y las secciones de presupuestodel departamento de finanzas. Para los departa-mentos menos poderosos prevalecerían las prio-ridades financieras. Para los más poderosos, el

equilibro de fuerzas fue más uniforme. Los con-flictos no resueltos referentes a las prioridadesde evaluación eran remitidos a niveles ministerialeso de gabinete si no se podía llegar a un acuerdo.

Los departamentos sectoriales fueron responsa-bles no sólo de la planeación de la evaluación, sinode la conducción de las evaluaciones de sus pro-gramas. Algunos de los departamentos más gran-des, como el de trabajo, tuvieron una sección deevaluaciones con 20–25 personas responsables dela planeación de la evaluación, de brindar aseso-ría en metodología de evaluación, de participar encomités directivos de evaluación y de realizar lasevaluaciones importantes.

Otros departamentos tuvieron sólo unidades pe-queñas de evaluación como parte de una sec-ción de planeación o coordinación, y delegaronla función de evaluación a las áreas del programasectorial. Ellos, a su vez, serían responsables dela alta gestión del departamento para la calidad yrigor de la evaluación (en especial para evalua-ciones de menor envergadura, a las cuales fre-cuentemente les correspondían estudios rápidos).Varias evaluaciones se encargaron a consultoresindividuales o a firmas consultoras.

3 8


Recuadro 8.1 Sistema de SyE gubernamental de Australia

Los principales componentes del sistema de SyE sonlos siguientes:

PPllaanneeaacciióónn ddee eevvaalluuaacciióónn ffoorrmmaall mediante los PEP, queofrecían una lista de los programas del gobierno que elministerio debía evaluar y los temas que debían abor-darse en cada evaluación. Estos PEP eran preparadosen forma anual, rotativamente durante un período de tresaños. Sólo se incluían evaluaciones importantes, esdecir, evaluaciones de programas considerados estra-tégicamente importantes para el gobierno: programascon presupuestos grandes; los que tenían una impor-tancia política particular, programas problemáticos; yprogramas experimentales. Las evaluaciones eran re-alizadas por el ministerio sectorial, generalmente conalguna participación del ministerio de hacienda.

SSoolliicciittuudd ppaarraa qquuee ccaaddaa pprrooggrraammaa sseeaa eevvaalluuaaddoo por lomenos una vez cada tres a cinco años. En la práctica,ello significó que algunos aspectos de cada programa(como los subprogramas particulares) fuesen evalua-dos; la mayoría de las evaluaciones no tenían por ob-jeto tratar completamente todos los aspectos deldesempeño del programa. Además, era necesario quetodas las evaluaciones realizadas se publicaran, conexcepción de las que fuesen confidenciales por cues-tiones de seguridad nacional o relaciones industriales.

RReevviissiioonneess ddee llooss oobbjjeettiivvooss ddee ccaaddaa pprrooggrraammaa mmiinniiss--tteerriiaall ee iinnffoorrmmee ddee ddeesseemmppeeññoo.. Estas revisiones se lle-varon a cabo conjuntamente por cada ministerio y eldepartamento de finanzas, durante un período de tresaños y en forma rotativa.

Siempre que fue posible, las propias secciones depresupuesto del DdF también se involucraronen la conducción de evaluaciones individuales. Ge-neralmente esto suponía la participación de loscomités directivos interdepartamentales para lasevaluaciones más importantes; estos comités in-cluirían también otros ministerios sectoriales yotros departamentos centrales poderosos comola tesorería, la oficina del primer ministro y el ga-binete. Esta extensa participación permitiría a losfuncionarios de presupuesto: 1) tratar de influiren la conducta de las evaluaciones para asegurarque los problemas fuesen plenamente investiga-dos de manera imparcial, y 2) realizar comenta-rios acerca de los informes preliminares deevaluación.

Una característica del sistema SyE de Australia esla utilización de una definición amplia de evalua-ción. Ésta fue definida como una forma de in-vestigación disciplinada: incluyó evaluacionesrápidas, estudios de política formales, evaluacio-nes de impacto rigurosas y auditorías de desem-peño conducidas por la oficina nacional deauditoría. El costo de estas evaluaciones varióconsiderablemente: una muestra de evaluacio-nes analizada por el departamento de finanzascostó en promedio de $43.000 a $430.000 (cifrasde 1993).4

La estrategia de evaluación se consolidó en 1991en respuesta a los resultados de la auditoría de de-sempeño que arrojaron un nivel muy variado enel compromiso de los departamentos con las eva-luaciones. El informe de la oficina de auditoría cri-ticó a algunos departamentos por no elegir bienlos programas por evaluar y por no concentraselo suficiente en la efectividad de los programas delgobierno. En respuesta a ello, el DdF creó una uni-dad de evaluación especializada responsable porofrecer asesoría, apoyo, capacitación y estímuloa otros departamentos, así como a las áreas de pre-supuesto del DdF. Esta unidad también dio se-guimiento a la planeación de las evaluaciones y alnúmero de evaluaciones realizadas; el jefe deldepartamento de finanzas utilizó esta informaciónpara presionar informalmente a los departamen-tos sectoriales en la mejora de sus actividades deevaluación.

El sistema de SyE de Australia esencialmente pusomayor énfasis en la evaluación, la cual se consi-deró como proveedora de información necesariadetallada y confiable sobre la eficiencia y eficaciade los programas del gobierno. La información dedesempeño se consideró igualmente importante,pero como un tema que los departamentos sec-toriales debían administrar. Sin embargo, hacia me-diados de la década de 1990, el departamento definanzas se preocupó por la calidad de esta in-formación y encargó revisiones de los informesanuales de los ministerios y de su documentaciónde presupuestos (lo cual se tabula en el Parla-mento).

En 1995, las deficiencias de estos informes lleva-ron al departamento de finanzas a encargar unaserie de estudios detallados de los objetivos delprograma de cada departamento, así como de lainformación de desempeño de ellos. Estos estu-dios se realizaron en forma conjunta entre el DdFy el departamento sectorial, y se debieron im-plementar las recomendaciones para las mejoras.

Presupuesto por resultadosSi bien el sistema de SyE de Australia tenía tres ob-jetivos establecidos, desde la perspectiva del de-partamento de finanzas –el arquitecto primario ysupervisor del sistema de SyE– el objetivo al quele dedicó más atención fue al apoyo en la tomade decisiones del gabinete durante el procesopresupuestario. El DdF tuvo un papel altamenteinfluyente en el proceso de presupuesto de Aus-tralia. Preparó análisis de políticas de todas las nue-vas propuestas de gastos de los ministeriossectoriales, y estos análisis acompañaban las pro-puestas de gastos que se enviaban a los ministrosdel gabinete para su consideración colectiva altomar decisiones acerca del presupuesto. Así, elDdF ofrecía un análisis de política independienteque típicamente constituía una opinión contrariaa la del ministerio que realizaba el gasto. La laborde las secciones de presupuesto del DdF ade-más incluyó la preparación de las “opciones deahorro”: propuestas de políticas para cortar oabolir programas existentes del gobierno.5

El proceso presupuestario supuso un “mercado deideas”. En esta situación intrínsecamente adversa,

8 : AU S T R A L I A

3 9

el contar con hallazgos de evaluaciones acerca deldesempeño de los programas constituyó un medioimportante de asegurar una base de evidenciasconfiables para las decisiones del presupuesto. Lasevaluaciones tuvieron el potencial de ofrecer unaventaja competitiva para los que confiaron en ellas.Por ello fue importante para las secciones de pre-supuesto del DdF el continuar formando parte dela planeación de evaluación de los ministerios y dela conducción de las evaluaciones de mayor en-vergadura. Esto hizo que los funcionarios de pre-supuesto del DdF estuviesen familiarizados con lacalidad y con cualquier limitación de las evalua-ciones, y completamente conscientes de los re-sultados y recomendaciones de ellas, así comocapacitados para utilizarlas en su trabajo de análi-sis de política. El compromiso de estos funciona-rios en las evaluaciones también incrementó susconocimientos de los objetivos del programa y delas realidades de su medio de operaciones –en-tendimiento muy importante para su trabajo.

Vale la pena resaltar que los ministerios de ha-cienda no siempre son partidarios de las reformasdiseñadas para consolidar la cantidad de infor-mación disponible sobre el desempeño del go-bierno. Antes de las reformas, el DdF de Australiatuvo mucha injerencia en el escrutinio detalladode las actividades de gastos de los departamen-tos. El peligro radica en que este enfoque tradi-cional sobre el gasto puede significar que se prestamuy poca atención a los resultados de tal gasto;y los poderosos ministerios de hacienda puedenincluso actuar como controladores de la reforma.El DdF, al ser responsable de supervisar la eva-luación, garantizó una influencia directa sobrelas unidades divisionales dentro del DdF que su-pervisaban a los departamentos sectoriales.

Sin embargo, el hecho de lograr el cambio culturalnecesario dentro del DdF fue un proceso lentoque tardó varios años y que requirió la participa-ción de mucho personal. La gran atención que elDdF le dio a temas de la optimización de recur-sos (en lugar de concentrarse en los temas degasto), se reflejó en la naturaleza y calidad de laasesoría en política que el DdF dio al gabinete;dicha asesoría confió mucho más en los resulta-dos disponibles.

La característica más importante del sistema deSyE de Australia es el gran uso de los hallazgos delas evaluaciones para sustentar la toma de deci-siones del gabinete sobre el presupuesto. El DdFrealizó encuestas anuales a su personal de pre-supuesto para indagar la influencia de las eva-luaciones en cada nueva propuesta política delos ministerios sectoriales y de las opciones deahorro propuestas por el DdF (u otro ministro sec-torial, si es que querían financiar nuevas políticas).6

En 1994–1995, alrededor de $ 1.750 millones(77%) de las nuevas propuestas de política re-sultaron haber tenido influencia de los hallazgosde una evaluación, y en la mayoría de los casos lainfluencia fue considerada como directa. La cifracorrespondiente a la opción de ahorro fue de$380 millones (65% del total).

Los hallazgos de las evaluaciones influyeron no so-lamente las propuestas de política al gabinete,sino también en las decisiones de éste. Los fun-cionarios de presupuesto del DdF también fue-ron encuestados acerca de qué tanto la evaluaciónhabía influido en las decisiones del gabinete res-pecto de los presupuestos de 1993–1994 y1994–1995. La evidencia es variada, pero indicaque la evaluación tuvo un papel importante. En1994–1995, influyó en la decisión del gabineteen un 68% de los $2.846 millones de las pro-puestas consideradas (nuevas propuestas de po-líticas y opciones de ahorro).

Sin embargo, la proporción correspondiente parael presupuesto de 1993–1994 fue sólo de 19% delas propuestas. Un motivo importante para estadiferencia fue la revisión sustancial del mercadolaboral, industria, políticas regionales y aboríge-nes en el presupuesto de 1994–1995 –el principalestudio de política sobre el cual se basaron estasdecisiones estuvo influido mayormente por elnúmero de evaluaciones encargadas específica-mente para ayudar a guiar la revisión de la polí-tica.

Sólo algunos programas se dieron por finalizadoscomo resultado de una evaluación; debido al én-fasis en el proceso presupuestario por cartera(que se define como un departamento sectorialy una dependencia adscrita) con presupuestos eti-

4 0


quetados; es decir, de su propia cartera; cual-quier terminación de un programa daría como re-sultado una reasignación de gastos dentro de lamisma cartera. Hubo otras instancias en las quelos programas se recortaron significativamentecomo parte de una priorización principal, porejemplo, en las áreas del mercado laboral y la se-guridad social, estos recortes reflejaron el deseode maximizar la optimización de recursos debidoa las prioridades de políticas del gobierno (Re-cuadro 8.2).

Fortalezas y desafíos del sistema de SyEde Australia

FortalezasAlgunos comentaristas observaron que la “eva-luación del programa (en Australia) se aplicó másextensa y sistemáticamente que en cualquier otropaís” (Kim y otros, 2006). La característica so-bresaliente del sistema de SyE de Australia fue la

gran utilización de los hallazgos de la evaluaciónen el proceso presupuestario, como un aporteclave en la asesoría de una política de alta calidad(Uhr y Mackay, 1996) y para la toma de decisio-nes sobre el presupuesto del gabinete (Cuadro8.1). Según se muestra en la discusión del capí-tulo 5 sobre el presupuesto por resultados, la in-fluencia de los hallazgos de la evaluación sobre lasdecisiones del gobierno fue típicamente indirecta–variando desde una influencia importante enun cierto número de casos a muy poca o nin-guna en otros. Esto es básicamente lo más que sepuede esperar de un sistema de SyE guberna-mental total en términos de utilización potencialde la información del SyE que produce el sistema.

El auditor general de Australia dijo: “En mi opinión,el éxito de la evaluación en el nivel del gobiernofederal... se debió en gran medida a su integracióncompleta a los procesos presupuestarios. Cuandohabía un compromiso de recursos, se necesitó


4 1

Recuadro 8.2 Evaluaciones influyentes en Australia

En el presupuesto de 1996–1997, el nuevo gobierno decidió re-ducir y repriorizar sus gastos. Se dio especial énfasis al mer-

cado laboral y a sus programas, lo que representó un gastoanual de $2,9 mil millones. El ministro de trabajo determinó quela meta en general de la política del gobierno sería la de ofre-cer asistencia a los desempleados por largo tiempo y a los queestuvieran en riesgo de convertirse en desempleados. Esta metase adoptó por objetivos de igualdad y eficiencia, por ejemplo, al-canzar un mejor balance entre la oferta y la demanda de trabajo.Al mismo tiempo, el ministro quiso obtener una optimización delos recursos con los programas del mercado laboral dentro delcontexto de un presupuesto muy limitado.

Los hallazgos de las evaluaciones australianas e internacionalesse tomaron muy en cuenta para guiar las políticas por seguir. Elministro resaltó la relativa eficacia en función de los costos de losdiferentes programas del mercado laboral. Se estimó una medidaclave calculando el costo neto del gobierno para cada colocaciónde trabajo adicional de los diversos programas –medido por la pro-babilidad incrementada de una persona a quien se le ayuda aconseguir un trabajo después de seis meses de haber partici-pado en un programa de mercado laboral. (La base del estudio fue

una comparación con un grupo de individuos que no participaronen ningún programa).

Los resultados de las evaluaciones mostraron que el programaJobStart, que ofrecía subsidios para los sueldos, tuvo un costo netode $3.700 por cada colocación adicional, mientras que el pro-grama JobSkills, que era un programa de creación de empleos di-rectos, tuvo un costo neto de $57.800. El ministro señaló que “Elgobierno estaría... concentrando sus esfuerzos en aquellos pro-gramas que hubieran demostrado ser más eficaces en función delcosto para asegurar un efecto directo en empleos reales”. Comoresultado de esto, el programa JobStart se mantuvo y el programaJobSkills fue sustancialmente reducido y dirigido más específi-camente hacia un grupo de personas que buscaban empleo y seencontraban en condiciones de desventaja.

Los ahorros totales del gobierno, gracias a la reducción y re-priorización de los programas del mercado laboral, alcanzaron$1,14 mil millones en un lapso de dos años. Asimismo, el gabineteencargó una serie de evaluaciones importantes de sus nuevosprogramas de mercado laboral y de los nuevos arreglos para unacompetencia total entre las agencias de empleo públicas yprivadas.

Fuente: Mackay, 1998a.

alguna forma de evaluación para justificar casi todaslas propuestas de presupuesto” (Barrett, 2001).

Otra fortaleza del sistema de SyE fue el alto nivelde uso que le dieron los ministerios sectoriales ylas dependencias a la información del SyE. Una au-ditoría de desempeño llevada a cabo por la Ofi-cina Nacional de Auditoría de Australia (ANAO) en1997 concluyó que los ministerios sectoriales es-taban haciendo un uso considerable de sus ha-llazgos de evaluación para ayudar a mejorar laeficiencia operacional. En menor grado, estabanusando también estos hallazgos para guiar suspropias decisiones de distribución recursos y enel diseño de mejoras en la calidad del servicio (Aus-tralian National Audit Office, 1997).

Este alto nivel de utilización de los ministerios sec-toriales reflejó otra fortaleza del sistema de SyEaustraliano: la evaluación fue esencialmente un es-fuerzo de colaboración que incluyó al DdF, otrosministerios centrales y ministerios sectoriales. Apesar de que la responsabilidad de la evaluaciónfue casi enteramente de los ministerios sectoria-les, la participación de los ministerios centrales enla planeación y supervisión de las evaluaciones PEPmás importantes ayudó a alcanzar un vasto nivelde compromiso para con las evaluaciones mismasy sus hallazgos.

Este enfoque, por ejemplo, es contrario al deChile donde los ministerios sectoriales general-mente tienen poco o casi nada de compromisoscon las evaluaciones que encarga el ministerio de

hacienda. El enfoque australiano también garan-tizó que el conocimiento y entendimiento amplioque tienen los ministerios sectoriales acerca de lospropios programas fueron usados intensamenteen las evaluaciones; un peligro con un sistema deevaluación que se basa en evaluaciones conduci-das externamente y en forma independiente esque puede no llegar a confiar en la propia expe-riencia de este programa.

DesafíosLa desventaja del enfoque de mayor colabora-ción de Australia fue la disparidad en la calidad delas evaluaciones realizadas por los departamentossectoriales. La auditoría de desempeño de laANAO analizó una muestra de informes de eva-luación y concluyó que más de un tercio tuvodesafíos metodológicos de una u otra naturaleza.

Una de las razones de ello fue que muchas de lasáreas de los programas de los departamentos sec-toriales, responsables de conducir o encargar las eva-luaciones, no tenían las habilidades suficientes paraasegurar una buena calidad de las evaluacionesque se realizaban. El DdF proporcionó entrena-miento básico en métodos de evaluación y puso adisposición manuales sobre evaluación de progra-mas y análisis de costo-beneficio. Pero la ANAO in-formó que 20% de los departamentos sectorialesestuvieron preocupados por la falta de capacitacióndisponible en técnicas avanzadas de evaluación.

En retrospectiva, una opción para atender el temade calidad de evaluaciones hubiese sido que el

4 2



Cuadro 8.1 Fortalezas y desafíos del sistema de SyE de Australia

• Disparidad en la calidad de las evaluaciones.• Insuficiente disponibilidad de entrenamiento en

evaluación avanzada. • Insuficiente atención a la información de desempeño

regular.• Carga administrativa para los departamentos.

• Gran uso de los hallazgos de las evaluaciones parael análisis de presupuestos, asesoría de políticas ypara la toma de decisiones del gabinete en cuanto alpresupuesto.

• Ministerios y dependencias sectoriales utilizanmucho los hallazgos de las evaluaciones.

• Evaluaciones llevadas a cabo para colaborar con eldepartamento de finanzas, otros departamentoscentrales y sectoriales.

Fuente: Mackay, 1998a, 2004.

DdF ordenara la creación de unidades de eva-luación centrales y de proporciones considerablespara cada departamento. Otra opción hubiesesido centralizar toda la evaluación en el DdF, y paraello se hubiera necesitado crear una oficina de eva-luación muy grande, lo que a su vez hubiera sidocontraproducente para la naturaleza austera demuchas reformas del sector público.

Vale la pena notar otros dos desafíos del sistemade SyE de Australia. En primer lugar, está el pocoénfasis que se dio a la recopilación y uso regularde la información de los resultados. El DdF ex-plícitamente alertó a los ministerios acerca de laimportancia de desarrollar objetivos sólidos paralos programas, así como contar con buena infor-mación de resultados –por lo menos para facili-tar la conducción de las evaluaciones. No fuehasta 1993, seis años después del inicio de la es-trategia de evaluación, que el DdF encargó la re-alización de revisiones extensivas sobre la calidadde los informes anuales de los ministerios y la do-cumentación del presupuesto.

Después de estas revisiones, que fueron crucialespara la calidad de los objetivos del programa y lainformación de los resultados, el DdF ordenó unaserie de revisiones de los objetivos de programase información de resultados de todos los minis-terios y dependencias. Requirió asimismo que seimplementaran planes de acción para tratar los pro-blemas identificados. Una enseñanza de esta ex-periencia es que los sistemas de SyE necesitanrevisiones y ajustes continuos; es también nece-sario el DdF y evaluar un sistema de SyE, así comocualquier otro tipo de reforma del sector público.

Por último, otra debilidad del sistema de SyE queidentificaron algunas secretarías ministeriales fueque los requerimientos formales para la planea-ción y el reporte de evaluaciones resultaban muyonerosos. Algunos departamentos crearon pro-cesos internos complejos para la planeación de laevaluación y terminaron preparando PEP de 120páginas, aun cuando los lineamientos del DdFno requerían tal complejidad y en lugar de ello re-comendaban PEP de menor envergadura como si-nónimo de buena práctica.

El sistema de evaluación — Epílogo7

La elección de un gobierno conservador en 1996determinó la reducción considerable del serviciocivil; la substancial debilitación de los procesos deasesoría de política y de la función del DdF, es-pecialmente en el ciclo de presupuesto y el des-mantelamiento de muchos de los controlescentrales y requisitos que quedaban. Al mismotiempo, se dio un mayor nivel de autonomía a losjefes de los departamentos sectoriales –el regresoa la filosofía de dejar que los administradoresadministren.

Si bien los departamentos sectoriales todavíatienen que informar públicamente al Parlamentoacerca de su desempeño; en la actualidad, elDdF no aplica controles centrales ni paráme-tros de calidad para el SyE. Como parte de estoscambios, la estrategia de evaluación formal dehace una década y, por ende, del sistema de SyEgubernamental se desmanteló. El auditor gene-ral australiano calificó estas reformas como unaliberalización de la evaluación. Mientras toda-vía existan algunos departamentos sectorialesque se pueden considerar como “islas” de bue-nas prácticas del SyE,8 en términos de su con-ducta, calidad y uso del SyE, parecen ser laexcepción en lugar de la regla.9 Las auditorías dedesempeño de la ANAO han ilustrado la mala ca-lidad de la información de desempeño que mu-chos de los ministerios ofrecen ahora alParlamento.

A pesar de que el DdF todavía da asesoría rela-cionada con los presupuestos de los departa-mentos, no cuenta con información sistemáticay confiable del seguimiento, y tampoco con ha-llazgos de las evaluaciones en los cuales apoyaresta asesoría. La OCDE manifestó lo siguiente:

La desregulación del servicio público y laadopción de una postura alejada de las de-pendencias centrales dio a Australia li-bertad de gestión pero en la actualidad seconsidera que ha privado al Departa-mento de Finanzas de la información ne-cesaria para que asesore adecuadamenteal Ministro (OCDE, 2002).


4 3

4 5

El caso especial de África

La experiencia de los países africanos es importante para los países po-bres de otras regiones, especialmente para los que preparan estrategiasde reducción de pobreza. África ofrece enseñanzas acerca de cómo de-

sarrollar las capacidades del SyE progresivamente, sobre todo cuando existela posibilidad de una gran ayuda de donantes. Estas enseñanzas son impor-tantes también para los países de ingresos medios, aquellos que todavía nose han comprometido a mejorar integralmente sus sistemas de SyE. En dichospaíses, sería apropiado un enfoque más prudente en los cambios progresivos,sobre todo si existe la posibilidad de demostrar que el SyE es una actividaddel gobierno eficaz en función de los costos.

Es ampliamente aceptado que la situación de ex-trema pobreza por la que atraviesa la mayoría delos países africanos demuestra con claridad laprioridad para un apoyo intensivo para el desa-rrollo. Más de 30 países africanos han preparadoun Documento de Estrategia para la Reducción dela Pobreza (PRSP) que puede ser provisional o de-finitivo y que constituye un requisito para recibirayuda para disminuir la deuda según la iniciativade los países pobres altamente endeudados.1 LosPRSP establecen metas de desarrollo y deben in-formar acerca de los resultados. En la práctica, estoha significado enfocarse en la medida en que unpaís ha logrado alcanzar los Objetivos de Desa-rrollo del Milenio (ODM).

Esto otorga importancia para tener estadísticas na-cionales adecuadas, lo que a su vez lleva a que losdonantes ofrezcan mayor apoyo para el desarro-

llo de la capacidad estadística en la forma de asis-tencia para los censos de población y encuestasde hogares. En especial mediante sus oficinas deestadística nacionales, los países tienen mucho in-terés en aceptar este apoyo. Por lo general, losPRSP presentan sus sistemas de seguimiento na-cional (es decir, estadístico) como un sinónimodel SyE, y la necesidad de dar prioridad al SyE seha convertido en un mantra que es ampliamenteaceptado tanto por gobiernos como donantes. Sinembargo, en muchos casos, los sistemas de se-guimiento nacional se diseñan principalmentepara cumplir con los requerimientos de infor-mación de los donantes (GEI, 2004b).

Por otra parte, los PRSP terminan enfocándose enel monto del presupuesto y en otros recursosgastados en prioridades nacionales y en progre-sos nacionales de acuerdo con los ODM. Estos dos

9

temas son en realidad importantes, pero lo quefalta en este enfoque es lo que Booth y Lucas(2001a, 2001b) han definido como “nivel inter-medio ausente”: información de desempeñosobre los pasos dados en la cadena de resultados,que abarcan las actividades de los gobiernos, pro-ductos y servicios ofrecidos y sus efectos directos;así como una evidencia profunda de evaluaciónque relacione las acciones del gobierno con losresultados concretos.

Las estadísticas sobre los montos gastados y sobrelos niveles de pobreza son muy importantes, perodesafortunadamente ninguno de ellos puedemedir el desempeño del gobierno en términos deresultados de sus gastos –productos, efectos di-rectos e impactos del propio gobierno. Los ODMy otras medidas de pobreza ofrecen un criterio bá-sico de medida del desempeño del país, pero norevelan las contribuciones del gobierno en com-paración con la de los donantes, el sector privadoy los grupos de la sociedad civil como las ONG.

La mayoría de los países africanos es demasiadopobre para conducir evaluaciones y revisiones;pero se apoya en los donantes para esos efectos.Una dificultad es la gran carga que deben sopor-tar los países para poder cumplir con los requeri-mientos de los donantes, en términos de misionesde inspección, provisión de información de de-sempeño, disparidad en los criterios y métodos deevaluación de los donantes, entre otros (GEI,2003a). La falta de armonización entre los donan-tes ha impuesto una gran carga en el suministro deinformación a los países que dependen de asis-tencia. Sin embargo, la cooperación y armonizaciónde los donantes se puede dar por medio de enfo-ques sectoriales. Por ejemplo, en Tanzania, existeun grupo de trabajo en el sector salud, formado porel gobierno y los donantes, que no solamente ana-liza el desempeño y las políticas del sector sino quetambién revisa los sistemas de SyE e identifica lasprioridades del fomento de la capacidad del SyE.Este grupo de trabajo sectorial también se encargade realizar evaluaciones o investigaciones en de-terminados temas (Scout, 2001).

El movimiento hacia un mayor uso de préstamosprogramáticos a los países ofrece otra forma de

mitigar el problema de armonización, debido aque reduce el alcance del SyE para proyectos es-pecíficos y así también el alcance del SyE de do-nantes divididos. Por ejemplo en Uganda, el BancoMundial y otros donantes ofrecieron al gobiernoasistencia programática en el presupuesto. Dichaasistencia se está volviendo muy popular en lospaíses africanos así como en otros países con ali-vio de deuda.

Enseñanzas de Uganda2

Algunos gobiernos africanos, como el de Uganday Tanzania, comprenden perfectamente la im-portancia de contar con información de desem-peño confiable e integral. Ellos utilizan inten-sivamente esta información para preparar sus pla-nes nacionales y para determinar sus priorida-des en el presupuesto (véanse, por ejemplo,Government of Tanzania, 2001; Ssentongo, 2004;Government of Uganda, 2004, 2006). Una carac-terística notable de ambos países es que sus pla-nes nacionales –en Uganda se conoce como Plande Acción para la Erradicación de la Pobreza(PEAP)– preceden a la iniciativa PRSP. Esta expe-riencia hizo más fácil para los dos países prepa-rar sus PRSP; ciertamente, sólo tuvieron quepreparar las versiones resumidas de sus planes na-cionales para cumplir con el requerimiento delPRSP.

Uganda ha tenido una serie de iniciativas y siste-mas de SyE, por ejemplo, fue el primer país endonde se llevaron a cabo las encuestas de segui-miento del gasto público (PETS) (Recuadro 9.1).Sin embargo, diagnósticos sobre los planes del SyEde Uganda en 2001 (véase el cuadro 9.1) y en 2003revelaron un gran número de sistemas de segui-miento descoordinados y desorganizados en losniveles sectorial y subsectorial –por lo menos 16sistemas diferentes (Hauge, 2003). Además, unainvestigación detallada de tres sectores (salud,educación, agua y sanidad) reveló que existía unacarga considerable en la recopilación de datosen los niveles de distrito e instalaciones.

Los sistemas de información de gestión para esostres sectores recopilaron datos de cerca de 1.000indicadores de desempeño, con casi 300.000 en-tradas de datos anuales por cada uno de los 110

4 6


distritos de Uganda. Estos indicadores se centra-ron ampliamente en los gastos, actividades y el es-tado físico de las instalaciones, como escuelas yestablecimientos de salud.

Sin embargo, las mediciones de la satisfacciónde clientes y de los efectos directos, como el es-tado de salud y los resultados del aprendizaje, nofueron consideradas. Lamentablemente, la calidadde los datos era muy dudosa y, por lo general, erapobre. Como resultado de ello, los ministerios ydependencias sectoriales dependían en alto gradode las visitas de inspección en vez de los indica-dores de desempeño autogenerados. Hauge yotros (2002) estimaron que sólo en el sector saludlas inspecciones en plaza costaron un equiva-

lente a 1.400 años de trabajo del personal por año,y consumían frecuentemente el tiempo del per-sonal médico calificado.

Los resultados del diagnóstico referidos a la mul-tiplicidad de los sistemas de SyE y a los indicadoresde desempeño –y a la gran carga impuesta al per-sonal de primera línea– causaron gran conster-nación dentro el gobierno e hicieron que se crearaun Sistema Nacional Integrado de SyE (NIMES)con el auspicio de la Oficina del Primer Ministro.El objetivo del NIMES es crear un sistema de SyEque aglutine a los muchos que existen, los coor-dine y armonice, y se fortalezcan las capacidadesdel gobierno para conducir y utilizar SyE. (Go-verment of Uganda, 2004, 2006).

9 : E L C A S O E S P E C I A L D E Á F R I C A

4 7

Recuadro 9.1 Una evaluación influyente en Uganda

Aprincipios de la década de 1990, Uganda, a diferencia de mu-chos otros países en desarrollo, estaba preocupado por el

pobre desempeño de los servicios públicos como la educacióny la salud. Se creía que la causa principal de ello era la “fuga”de fondos que no llegaba a las dependencias de primera línea.Con el apoyo del Banco Mundial, se desarrolló y aplicó la me-todología PETS en el sector de educación primaria en 1996. Supropósito era medir la proporción de fondos provistos por el go-bierno central que llegaban a las escuelas primarias y la mag-nitud de las fugas, así como recomendar maneras de reducirlas.

Las PETS analizaron la programación del flujo de presupuestoa lo largo de varios niveles del gobierno y compararon las asig-naciones de presupuesto con el gasto real en las escuelas pri-marias. Debido a que no había cuentas públicas adecuadas enrelación con el gasto real, se llevaron a cabo estudios en 250 es-cuelas primarias públicas en 19 distritos y se crearon datos bidi-mensionales del gasto y productos entre 1991 y 1995. El estudioreveló que, entre 1991 y 1995, sólo 13% de los fondos asignados(no salariales) llegaron a las escuelas. El 87% restante desapare-ció o fue usado por funcionarios del distrito para otros fines. Cercade 20% de los fondos destinados a pagar los sueldos de los pro-fesores fue a parar a “trabajadores fantasmas” que simplementeno existían o que no trabajaban como profesores.

Los resultados de los estudios atrajeron la atención de losmedios de comunicación y el gobierno decidió que la informaciónsobre los montos de los fondos asignados y recibidos en cada es-

cuela debía ser ampliamente difundida a través de los diarios y es-taciones radiales locales y públicamente exhibida en cada escuela.Esto ayudó a asegurar que los padres de familia tomaran concienciade la situación financiera que enfrentaba la escuela de sus hijos;y también a proporcionar la información que ellos necesitaban parahacer responsables a los profesores y directores de las escuelaspor la falta de profesores capacitados o del inadecuado abaste-cimiento de libros. Estos pasos también demostraron a los go-biernos locales que el gobierno central había reasumido su funciónde supervisión.

Dos PETS de seguimiento demostraron que el flujo de fondosno salariales que llegaban a las escuelas primarias había mejo-rado de 13% en 1991–1995 a entre 80% y 90% en 1999–2000. Esteejemplo demuestra que los datos cuantitativos de los servicios pú-blicos son una herramienta poderosa para hacer escuchar la“voz” de la sociedad civil. Si bien se puede hacer caso omiso alas quejas individuales, es difícil ignorar la retroalimentación delpúblico respaldada por datos comparativos sistemáticos la cualpuede encender la mecha para una acción pública.

Las primeras PETS costaron $60.000 y se ha estimado quehan ayudado a incrementar el monto de los fondos que llegabana las escuelas primarias en más de $ 18,5 millones al año. Esto in-dica que las PETS son instrumentos de evaluación altamente efi-caces en función del costo. En la actualidad, el gobierno deUganda conduce PETS rutinariamente para cada sector de ser-vicios básicos.

Fuente: Bamberger, Mackay y Ooi, 2004, 2005.

4 8


Cu

adro

9.1

El S

yE d

e U

gan

da

— R

esu

men

dia

gn

óst

ico

de

los

tem

as e

stra

tég

ico

s, d

esaf

íos

y ac

cio

nes

po

sib

les

Tem

ases

trat

égic

osde

l SyE

1. C

oord

inac

ión

yar

mon

izac

ión

2. D

esar

rollo

de

obje

tivos

, met

as e

indi

cado

res

dede

sem

peño

3. In

cent

ivos

que

cont

ribu

yen

aob

tene

r los

resu

ltado

s

4. D

evol

ució

n de

laau

tono

mía

de

gest

ión

5. F

unci

ón d

e la

soci

edad

civ

il pa

raex

igir

trans

pare

ncia

yre

ndic

ión

de c

uent

as

6. P

rinc

ipio

s de

las

asoc

iaci

ones

que

part

icip

an d

el P

EAP

7. C

apac

itaci

ón e

nel

SyE

Elem

ento

spo

sitiv

os e

nU

gand

a

Des

afío

sen

cont

rado

s

•Bo

rrado

r la

estra

tegi

a pa

ra e

lse

guim

ient

o de

lapo

brez

a.

•Gr

upos

de

traba

jose

ctor

iale

s co

mo

nexo

de

lapl

anifi

caci

ón y

pres

upue

stac

ión.

•

Esfu

erzo

s pa

raar

mon

izar l

osin

form

es d

epr

ogre

so d

e lo

spr

oyec

tos.

•De

stin

ar 5

% d

e lo

sfo

ndos

de

acci

ónco

ntra

la p

obre

zapa

ra s

egui

mie

nto

yre

ndic

ión

decu

enta

s.

•Fo

rmat

os d

epl

anifi

caci

ón e

info

rmes

sepa

rado

s pa

radi

fere

ntes

fuen

tes

de fi

nanc

iam

ient

o.•

Enfo

que

de p

olíti

cas,

pres

upue

stos

ypl

anes

de

traba

jose

ctor

iale

s odi

strit

ales

com

oej

ercic

ios

sepa

rado

s.

•PA

EP/P

RSP

com

om

arco

gen

eral

de

las

prio

ridad

espa

ra la

erra

dica

ción

de

lapo

brez

a.•

Capa

cita

ción

prue

ba e

n ge

stió

nor

ient

ada

a lo

sre

sulta

dos.

•”A

nális

is d

ein

dica

dore

s” c

omo

parte

del

cic

lopr

esup

uest

ario

.

•In

cons

iste

ncia

en

lacl

arid

ad d

e la

sm

etas

sec

toria

les.

•La

s m

etas

del

PEAP

cor

resp

onde

na

las

activ

idad

esm

inis

teria

les

más

que

a lo

s ef

ecto

sdi

rect

os d

eer

radi

caci

ón d

e la

pobr

eza.

•Re

cono

cim

ient

o de

la e

ficac

ia e

n la

pres

taci

ón d

ese

rvic

ios

com

oim

pera

tivo

de la

gest

ión

públ

ica.

•N

SDS

2000

.

•Ev

alua

ción

del

dese

mpe

ño e

nfu

nció

n de

l gas

to y

la a

ctiv

idad

buro

crát

ica.

•Es

casa

rela

ción

entre

la a

sign

ació

nde

recu

rsos

y e

lde

sem

peño

.•

Reco

mpe

nsas

apar

ejad

as a

l bue

ntra

bajo

bur

ocrá

tico.

•Re

spon

sabi

lidad

desc

entra

lizad

apa

ra la

pre

stac

ión

de s

ervi

cios

.•

Intro

ducc

ión

del

pres

upue

sto

orie

ntad

o al

prod

ucto

.•

Plan

es d

e di

strit

oin

tegr

ales

.•

Desa

rrollo

de

las

capa

cida

des

del

prog

ram

a de

desa

rrollo

de

gobi

erno

s lo

cale

s.

•En

gen

eral

,ca

paci

dade

s de

gest

ión

débi

les

enel

niv

el lo

cal.

•La

s pro

porc

ione

s de

gast

o es

tabl

ecid

asen

el r

égim

en d

esu

bven

cione

sco

ndici

onad

asco

nced

en a

los

gere

ntes

una

esc

asa

flexib

ilidad

de

adap

tació

n a

las

nece

sidad

es lo

cale

s.

•N

atur

alez

aco

nsul

tiva

del

proc

eso

del P

EAP.

•Tr

ansp

aren

cia

del

proc

eso

pres

upue

star

io.

•Pr

áctic

a de

com

unic

acio

nes

públ

icas

.•

Impo

rtant

eca

paci

dad

de la

sON

G.•

Diál

ogo

entre

el

gobi

erno

y la

soci

edad

civ

il en

el

nive

l cen

tral.

•N

eces

idad

de

mej

orar

las

cons

ulta

s a

las

parte

s in

tere

sada

spa

ra e

stab

lece

r las

prio

ridad

es.

•Un

terc

io d

e la

asist

encia

ofic

ial

para

el d

esar

rollo

corre

spon

de a

laas

isten

cia té

cnica

fuer

a de

lpr

esup

uest

o de

lgo

bier

no y

de la

spr

áctic

as d

e Sy

E.

•Bo

rrado

r de

los

prin

cipi

os d

eas

ocia

ción

del

CDF

. •

Tend

enci

a al

apo

yopr

esup

uest

ario

.•

Prog

ram

ació

n de

reun

ione

s de

lgr

upo

cons

ultiv

oco

mo

parte

del

cicl

opr

esup

uest

ario

.

•Un

terc

io d

e la

asis

tenc

ia o

ficia

lpa

ra e

l des

arro

lloco

rresp

onde

a la

asis

tenc

ia té

cnic

afu

era

del

pres

upue

sto

del

gobi

erno

y d

el S

yE.

•Si

guen

act

ivos

cas

i30

0 pr

oyec

tos

inde

pend

ient

es.

•To

ma

de c

onci

enci

aac

erca

de

laim

porta

ncia

del

SyE

.•

Disp

onib

ilida

d de

inve

stig

ador

eslo

cale

s, y

tradi

cion

esac

adém

icas

y d

eca

paci

taci

ónlo

cale

s.

•De

bilid

ad d

eha

bilid

ades

de

gest

ión

en e

l niv

elde

gob

iern

oslo

cale

s.

Real

izar

seg

uim

ient

o y

ofre

cer r

etro

alim

enta

ción

sob

re e

l pro

gres

o en

el a

livio

de

la p

obre

za

9 : E L C A S O E S P E C I A L D E Á F R I C A

4 9

Acc

ione

spo

sibl

espa

raen

cara

r los

desa

fíos

•Al

inea

mie

nto

yco

ordi

naci

ón d

edi

fere

ntes

inic

iativ

as d

ege

stió

n de

resu

ltado

s.•

Un te

rcio

de

laay

uda

ofic

ial p

ara

el d

esar

rollo

corre

spon

de a

asis

tenc

ia té

cnic

afu

era

del

pres

upue

sto

del

gobi

erno

.

•Id

entif

icac

ión

dem

inis

terio

s o

depe

nden

cias

prom

otor

es d

e Sy

E.•

Esta

blec

imie

nto

dear

regl

os b

ásic

os d

eSy

E (c

omo

unm

arco

form

al d

eSy

E), a

rmon

izaci

ónde

term

inol

ogía

,fo

rmul

ario

s pa

rapr

esen

taci

ón d

ein

form

es y

perio

dici

dad.

•Co

ordi

naci

ónm

ejor

ada

entre

los

orga

nism

os d

ein

spec

ción

yau

dito

ría.

•Po

cas

met

as s

ede

finen

con

mar

cos

tem

pora

les,

pun

tos

de re

fere

ncia

inic

ial y

obj

etiv

osm

ensu

rabl

es.

•Po

ca v

incu

laci

ónen

tre la

s m

etas

sect

oria

les

y la

sdi

strit

ales

.

•In

trodu

cció

n de

los

obje

tivos

y m

etas

del P

EAP

med

iant

epl

anifi

caci

ón,

pres

upue

stac

ión

ypl

anifi

caci

ón d

eltra

bajo

en

los

nive

les

sect

oria

l,de

dis

trito

y d

ede

pend

enci

as.

•En

foca

r el m

arco

de g

asto

s a

larg

opl

azo

en la

defin

ició

n de

los

obje

tivos

y m

etas

del P

EAP

am

edia

no p

lazo

.

•In

cons

iste

ncia

en

la a

plic

ació

n de

sanc

ione

s po

r mal

dese

mpe

ño.

•Co

rrupc

ión

con

gran

impu

nida

d.

•In

trodu

cció

n de

lal

canc

e y

efec

tos

dire

ctos

com

ocr

iterio

de

reco

mpe

nsa

deéx

ito y

des

empe

ño.

•Us

o de

la N

SDS

para

med

ir la

sm

ejor

as e

n la

satis

facc

ión

del

clie

nte.

•In

trodu

cció

n de

lco

ncep

to d

eef

icac

ia e

n la

ley

finan

cier

a.•

Intro

ducc

ión

dees

tatu

tos

dese

rvic

io a

l clie

nte.

•Ca

ntid

ad y

jera

rquí

a de

los

carg

osde

term

inad

asde

sde

laad

min

istra

ción

cent

ral.

•Pe

rmite

may

orau

tono

mía

loca

lso

bre

elre

clut

amie

nto

depe

rson

al, s

alar

ios

yga

stos

no

rem

uner

ativ

os.

•En

com

pens

ació

n,ga

rant

izar u

nasu

perv

isió

n lo

cal

más

fuer

te.

•In

trodu

cció

n de

prác

ticas

de

SyE

parti

cipa

tivas

com

ofu

nció

n cl

ave

de la

gest

ión.

•Di

álog

o en

tre e

lGd

U y

las

ONG

enel

niv

el c

entra

l no

se re

fleja

en

los

nive

les

loca

les.

•Ex

tend

er la

prác

tica

de la

trans

pare

ncia

desd

e la

asig

naci

ón a

laej

ecuc

ión.

•Ta

rjeta

s de

info

rme

del c

lient

e co

mo

com

plem

ento

de

las

NSD

S.•

Hace

r ele

gibl

es a

las

ONG

para

dar

segu

imie

nto

de lo

sfo

ndos

de

acci

ónco

ntra

la p

obre

za y

los

fond

os d

ere

ndic

ión

decu

enta

s.•

Intro

ducc

ión

dees

tatu

tos

dese

rvic

io a

l clie

nte.

•Ve

inte

revi

sion

esan

uale

s se

para

das

de p

rogr

amas

.•

Los

dona

ntes

loca

les

no p

uede

nap

arta

rse

de la

sdi

rect

rices

de

SyE

corp

orat

ivas

.

•Ap

rove

char

laay

uda

de lo

sdo

nant

es a

l MDI

yal

PEA

P pa

raau

men

tar l

asi

nerg

ia e

ntre

plan

ifica

ción

,in

form

ació

n y

revi

sión

.•

Uso

de la

mat

riz d

epo

lític

as e

n la

oper

ació

n de

apo

yoen

la re

ducc

ión

dela

pob

reza

com

o un

mec

anis

mo

conj

unto

de

plan

ifica

ión

yre

visi

ón.

•Pr

obab

lein

crem

ento

en

lade

man

da d

ege

stió

n y

cond

ucci

ón d

e Sy

Ere

laci

onad

os c

on la

inte

rrela

ción

ent

rela

pre

stac

ión

dese

rvic

ios

y lo

sef

ecto

s di

rect

os d

ere

ducc

ión

de la

pobr

eza.

•Fo

rtale

cim

ient

o de

la c

apac

idad

loca

lpa

ra b

rinda

rca

paci

taci

ón e

nev

alua

ción

, por

ejem

plo,

par

aca

paci

tado

res

enin

stitu

cion

esna

cion

ales

.•

Coor

dina

r el u

so d

elo

s fo

ndos

espe

cífic

os p

ara

elSy

E de

l fon

do d

eac

ción

con

tra la

pobr

eza,

del

prog

ram

a de

desa

rrollo

de

gobi

erno

s lo

cale

s y

del P

rogr

ama

deGe

stió

n Ec

onóm

ica

y Fi

nanc

iera

II.

•Es

tabl

ecer

una

asoc

iaci

ónna

cion

al d

eev

alua

ción

.

Fuen

te: H

auge

200

1.

Not

a: C

DF =

Mar

co in

tegr

al d

e de

sarro

llo; G

dU =

Gob

iern

o de

Uga

nda;

ON

G =

Orga

niza

ción

no

gube

rnam

enta

l; N

SDS

= En

cues

ta n

acio

nal s

obre

pre

stac

ión

de se

rvic

ios;

PEA

P =

Plan

de

acci

ón p

ara

la e

rradi

caci

ón d

e la

pob

reza

; PRS

P =

Docu

men

to

de e

stra

tegi

a pa

ra la

redu

cció

n de

la p

obre

za.

Se han creado varios grupos de trabajo que se en-cargan del NIMES y tratan los siguientes temas: elSyE en gobiernos locales, investigación de política,evaluación, datos estadísticos nacionales, sistemasde información de gestión sectorial y datos es-paciales; organizaciones de la sociedad civil y elSyE e información financiera. Por lo menos cua-tro donantes brindan financiamiento al NIMES,contribuyendo con $ 7,4 millones durante un pe-ríodo de tres años, además de los propios fondosdel gobierno.

El NIMES está reduciendo el gran número de indi-cadores de desempeño, especialmente los secto-riales, con un mayor enfoque en productos, efectosdirectos e impactos, así como en la definición demetas. El Banco Mundial y otros siete donantesestán preparando una estrategia conjunta para ofre-cer apoyo a Uganda,3 con base en los objetivos ymetas del plan nacional (PEAP), además ellos de-penden en alto grado de la propia información deseguimiento del gobierno para evaluar su propio de-sempeño. Sin embargo, los donantes todavía rea-lizan sus propias evaluaciones por separado.

Además del NIMES, el gobierno también se ha em-barcado en un proceso para mejorar su desem-peño y rendición de cuentas. Esto incluye eldesarrollo de la gestión orientada a los resultadosen las dependencias de servicio público y ello serelaciona con el proceso de presupuesto y con elde evaluación del desempeño del personal. Losesfuerzos del gobierno incluyen acciones desti-nadas a fortalecer tanto el compromiso políticode alto nivel como el del servicio civil, y la de-manda de una mejor orientación del desempeño.4

Algunas conclusionesUganda y otros países africanos ya cuentan con sis-temas de SyE. Ellos también reciben el apoyo de do-nantes para la implementación de sus capacidadesestadísticas y tienen acceso a las evaluaciones de losdonantes. El reto que estos países enfrentan no esdesarrollar nuevos sistemas, sino racionalizar y me-jorar los que ya tienen. Existen problemas con la ca-lidad de los datos y con la falta de armonización delos requerimientos de los donantes en relacióncon el SyE –una situación de demasiados datos,pero no suficiente información. Llevando estos pro-

blemas al lado de la oferta, lo cierto es que en la ma-yoría de los demás países hay muy poca demandadel gobierno por información del SyE.

A pesar de que no sería realista esperar que la ma-yoría de los países africanos pudieran crear sis-temas de SyE integrales y confiables, existe unaserie de elementos importantes que ellos po-drían integrar de forma factible. A continuaciónse presenta una lista que, países africanos y otrosque estén preparando un PSRP, podrían selec-cionar, así tengan o no el apoyo de donantes. Lasventajas, costos y limitaciones de algunos de estosinstrumentos del SyE se analizan con mayor de-talle en Monitoring and Evaluation: Some Tools,Methods and Approaches (GEI, 2004b):

• Sistemas de gestión de información financierapara un mejor rastreo financiero del gasto delgobierno;

• Encuestas de rastreo del gasto público paraidentificar “fugas” y detectar los efectos de lacorrupción;

• Encuestas sobre prestación de servicios de lasatisfacción y percepción del cliente acerca dela calidad de los servicios del gobierno;

• Evaluaciones rápidas —por ejemplo, de pro-yectos o programas “problema”;

• Recopilación estadística nacional y sectorial—especialmente relacionada con las prioridadesnacionales como los ODM; y

• Datos administrativos de los ministeriossectoriales.

La única salvedad que tiene esta lista es que, en al-gunos sentidos, menos es más. Un peligro que sedebe evitar es la tendencia a la complejidad exce-siva en cualquier sistema de SyE que se esté cre-ando. Por tanto, es importante dar seguimientodetallado de cuánto se usa cada tipo de informa-ción del SyE. Cuando se utiliza poco, es necesarioidentificar las razones, por ejemplo, poca toma deconciencia de su existencia, bajo nivel de demanda,datos de baja calidad considerados como pococonfiables, o falta de personal que sea capaz de ana-lizar y actuar sobre la información. Esto ayuda aidentificar los pasos necesarios para mejorar laoferta o para incrementar la demanda de infor-mación del SyE.

5 0


Muchos países desarrollados y en desarrollo han acumulado ex-

periencia muy importante en la creación de sistemas de SyE. La

consistencia de estas enseñanzas en diversos países y regiones

no es de sorprender; ellas también reflejan la experiencia internacional en otros

tipos de creación de capacidad en el sector público (Capítulo 10). El tema de

utilización de la información del SyE es básico para el desempeño y sosteni-

bilidad de un sistema de seguimiento y evaluación. La utilización depende de

la naturaleza y de la fuerza de la demanda de información del SyE –en otras

palabras, de los incentivos para el uso del SyE. Los países que tienen poca de-

manda de SyE, o carecen de ella, pueden ser considerados como países que

enfrentan una barrera insuperable ante sus esfuerzos para crear sistemas de

SyE, pero esta perspectiva es demasiado pesimista. Existen formas de incre-

mentar la demanda mediante el fortalecimiento de incentivos, lo cual será ex-

puesto en el capítulo 11, que se enfoca en premios, castigos y sermones para

asegurar que la información del SyE sea utilizada.

PARTE IIIEnseñanzas

5 3

Creación de sistemas deSyE gubernamentales —Enseñanzas de laexperiencia

La creciente cantidad de publicaciones disponible acerca de la experien-cia en el fortalecimiento de los sistemas de SyE gubernamentales sugiereque existe un amplio consenso entre los expertos sobre una serie de en-

señanzas clave (Recuadro 10.1) (Banco Africano de Desarrollo y Banco Mun-dial, 1998, 2000; Banco de Desarrollo de Sudáfrica, 2004; Boyle, 2005; CAD, 2006;Compton, Baizerman y Stockdill, 2002; Mackay, 1998d, 2004; May y otros,2006; OCDE, 1997a, 1997b, 1998a, 2004; PNUD, 2000; Schiavo-Campo, 2005).

La primera enseñanza, y la más importante, es queuna demanda intensiva de SyE por parte delgobierno es un prerrequisito para su insti-tucionalización exitosa. Es decir, un sistema deSyE debe producir información de seguimiento yhallazgos de evaluación que sean considerados va-liosos por las partes clave interesadas, que sean uti-lizados para mejorar el desempeño del gobierno,y que respondan a una demanda suficiente de lafunción del SyE para garantizar su financiamientoy sostenibilidad en un futuro previsible.

Los esfuerzos para crear un sistema de SyE nodarán resultados a menos que exista una demandaverdadera, o que se pueda crear intencionalmente,asegurando sobre todo que estén presentes in-centivos poderosos para conducir y utilizar el SyE.No es suficiente emitir un decreto que indique queel SyE es importante y que debe realizarse, tal vez

eso sólo quedaría en el papel y no llegaría a pro-ducir información de seguimiento y evaluacionesde buena calidad. Tales esfuerzos, realizados den-tro de un cumplimiento de arriba hacia abajo,pueden llevar fácilmente a un cumplimiento ru-tinario o, más aún, a una activa oposición, a menosque sean acompañados de otras acciones.

Lograr una demanda significativa de SyE no esfácil. Un obstáculo para lograr esta demanda esla falta de conocimiento de lo que el SyE real-mente abarca, en particular cuando se necesitacaptar la aceptación de las partes interesadas,como los ministros de gobierno o los ministeriosde hacienda, antes de realizar esfuerzos sustan-tivos para crear y financiar una función de SyE.Por eso muchas veces, se plantea el dilema delhuevo y la gallina: no hay demanda del SyE porparte del gobierno debido al poco conocimiento

10

sobre el SyE y lo que éste puede ofrecer; falta co-nocimiento debido a la poca experiencia al res-pecto; y falta experiencia por la debilidad de lademanda.

La respuesta a este acertijo es tratar de lograruna mayor toma de conciencia sobre el SyE –susdiversos instrumentos, métodos y técnicas– y susposibles usos. La demanda se puede aumentar unavez que las partes clave interesadas de un go-bierno comienzan a entender mejor el SyE,cuando conocen ejemplos de sistemas de segui-miento e informes de evaluación eficaces en fun-ción de los costos, y cuando saben que otrosgobiernos han establecido sistemas de SyE que va-loran muy positivamente. También puede resul-tar convincente resaltar la acumulación deevidencia sobre la alta rentabilidad de las inver-siones en SyE (Bamberger, Mackay y Ooi, 2004).

Visualizar el lado de la oferta también es impor-tante –ofrecer entrenamiento, manuales y pro-cedimientos, e identificación de buenos con-sultores de SyE, etcétera. Tener experiencia en SyE

es ciertamente necesario si se llega a producir in-formación de SyE confiable. Aquellos que ven elSyE en términos tecnocráticos, como una activi-dad técnica independiente, tienden a centrarsesólo en estos temas.

Pero el lado de la oferta en la producción de in-formación de SyE es menos importante que el dela demanda. Si la demanda de SyE es intensiva, en-tonces mejorar la oferta como respuesta a ellopuede ser relativamente directo, pero hacer locontrario no funciona. Es crucial que exista unademanda por parte de los gobiernos para la uti-lización de la información del SyE y para el per-manente financiamiento de las actividades deSyE. Por tanto, es necesario asegurarse de captara las partes clave interesadas, como ministros delgobierno o ministerios de hacienda, si se tiene quehacer un esfuerzo mayor para crear, fortalecer ofinanciar las funciones del SyE. Depender cons-tantemente del financiamiento o actividades delSyE de los donantes no resulta sostenible.

Los incentivos son una parte importante de lademanda. Se necesitan incentivos convincentespara que el SyE se aplique bien, y en particular paraque la información resultante del seguimiento y loshallazgos de las evaluaciones se utilicen en la prác-tica; en otras palabras, los incentivos convincentesson necesarios para la función de SyE se institucio-nalice exitosamente (véase el recuadro 10.2 sobrela experiencia de Irlanda, como ejemplo). Esta ob-servación concuerda con las numerosas publica-ciones acerca del logro de reformas institucionales,en particular en el contexto de la administración delsector público y la buena gobernabilidad (para unaextensa revisión bibliográfíca, véanse Banco Mundial,1997a; OCDE, 2004, 2005).

El simple hecho de tener a disposición la informa-ción resultante del SyE no garantiza que se utilicerealmente, ya sea por los administradores de pro-gramas en su trabajo cotidiano, por los funcionariosde presupuesto responsables de asesorar sobre lasopciones de gastos, o por el Congreso o Parlamentoresponsable de supervisar la rendición de cuentas.Esto resalta los peligros de una visión tecnocrática,la cual considera al SyE como un conjunto de ins-trumentos con méritos intrínsecos; y la falacia de que

5 4

I I I : E N S E Ñ A N Z AS

Recuadro 10.1 Elementos para el éxitode un sistema de SyE de un país

• Significativa demanda del gobierno.• Función importante para los incentivos.• Diagnóstico del SyE existente, como primer

paso.• Cometido fundamental de un promotor

influyente.• Conducido en forma central por un ministerio

competente.• Evitar la complejidad excesiva del sistema.• Sistemas de datos ministeriales confiables.• La medida del éxito es la utilización.• Capacitación en SyE y en la utilización del SyE.• Limitaciones por dependencia en las leyes, de-

cretos y regulaciones gubernamentales.• Acuerdos estructurales que garanticen la objeti-

vidad y calidad del SyE.• Esfuerzo a largo plazo que requiere tenacidad.• Desarrollo de manera no lineal y menos

predecible.• Evaluación periódica del propio sistema de SyE.

sólo por el hecho de poner a disposición la infor-mación del SyE, su utilización queda garantizada.

Ningún gobierno crea un sistema de SyE por susvalores intrínsecos, sino que lo hacen porque (1)estos sistemas apoyan directamente sus activida-des básicas, como el proceso presupuestario; la pla-neación nacional; el formulación de políticas ydesarrollo de programas; y la gestión de los mi-nisterios, organismos, programas y actividades;o, (2) ofrecen información que apoya las relacio-nes de rendición de cuentas. De esta manera, lossistemas de SyE están frecuentemente vinculadoscon las reformas del sector público como el pre-supuesto por resultados (PBB), la formulación depolíticas basada en evidencia, la gestión basada enlos resultados y otros; estas iniciativas compartenuna serie de elementos (Véase el capítulo 3).

Cuando se crea o fortalece un sistema de SyE gu-bernamental, es de gran ayuda comenzar pordiagnosticar qué funciones del SyE ya existen,sus fortalezas y desafíos –desde la perspectiva de lademanda como la de la oferta. El grado de utiliza-ción real (a diferencia del esperado) de la infor-mación del SyE debe ser claro, así como las formasespecíficas en las que se usa. Dichos diagnósticosson de por sí una forma de evaluación, y son útilesno sólo por la información y visión que ofrecen, sinoporque pueden convertirse en un medio para quelas partes interesadas en el gobierno, la sociedad civily la comunidad de donantes tomen conciencia dela importancia del SyE y de la necesidad de crearun nuevo sistema o de fortalecer los ya existentes.

Otra dimensión de la demanda, y otro factor deéxito, es contar con un promotor influyente –un

10 : C R E AC I Ó N D E S I ST E M AS D E S y E G U B E R N A M E N TA L E S — E N S E Ñ A N Z AS D E L A E X P E R I E N C I A

5 5

Recuadro 10.2 Enseñanzas de Irlanda

Irlanda desarrolló su sistema de evaluación gubernamentalen respuesta a los requerimientos formales para ingresar a

la Unión Europea. Desde su ingreso, el sistema de Irlanda hasido reforzado por razones internas relacionadas con el deseodel gobierno de aumentar el valor de su dinero en todas lasáreas del gasto público. Esto se ha visto reflejado en la Ini-ciativa de revisión de gastos del gobierno (ERI, por sus siglasen inglés).

Irlanda ofrece a los países en desarrollo gran cantidad de en-señanzas acerca de los factores de éxito así como de los impedi-mentos para desarrollar un sistema de SyE. Una enseñanza esque las fuertes presiones externas relacionadas con la disponibi-lidad de recursos importantes pueden ser un catalizador clavepara iniciar un sistema de SyE. (Una analogía para los países po-bres sería la necesidad de preparar estrategias de reducción depobreza con sistemas de SyE afines, en el contexto de alivio de ladeuda según la Iniciativa para los países pobres muy endeudados).Una vez creado, el sistema de SyE puede utilizarse para otros finesnacionales. De hecho, la demanda del país y los incentivos para uti-lizar la información del SyE son muy importantes para la institu-cionalización y sostenibilidad del sistema. El caso de Irlanda, unavez más, subraya la dificultad para asegurar una relación directaentre la información de SyE y la toma de decisiones presupuesta-rias y otros procesos de asignación de recursos. Sería necesariocontar con procedimientos y prácticas formales para establecerrelaciones directas.

Otra enseñanza es el mérito que tienen las revisiones periódi-cas del progreso del desarrollo del sistema y, por tanto, poder re-orientarlo –algunas veces, de forma sustancial. Irlandacontinuamente está llevando a cabo pruebas a fin de mejorar susistema de evaluación.

Irlanda cuenta con un pequeño grupo de evaluadores, y estoha sido una limitación para el sistema, pero ha servido para queel país llegue a descubrir rápidamente cuáles son los requeri-mientos del sistema. El pequeño grupo de evaluadores subrayó laimportancia de utilizar este recurso con prudencia ya que tiene im-plicaciones tanto en la demanda como en la oferta.

Por el lado de la demanda, es importante que no se trate de de-sarrollar un sistema demasiado complejo o exigente. En lugar deello, es mejor concentrarse en las actividades del SyE más efica-ces en función de los costos. Estas actividades se determinan deacuerdo con los posibles usos de la información del SyE produ-cida. En relación con la oferta, sería ventajoso trabajar en la ex-pansión de las capacidades limitadas en forma planificada –porejemplo, mediante la capacitación con objetivos específicos, el de-sarrollo del currículo, el desarrollo de habilidades en el trabajo, co-misiones, asistencia interconectada, revisión regular de la calidadde SyE, o contratos periódicos con empresas consultoras. Cuandohay confianza en los funcionarios públicos que realizan las eva-luaciones, es muy importante garantizar que ellos tengan suficientecapacitación y que cuenten con parámetros adecuados y otro tipode apoyos para que lleven a cabo su labor con eficiencia.

Fuente: Boyle, 2005.

ministro o funcionario de alta posición, con au-toridad suficiente para promover la instituciona-lización del SyE, convencer a sus colegas acercade su prioridad, y destinar recursos considerablespara la creación de un sistema de SyE para todoel gobierno. Un promotor necesita tener un buenconocimiento del SyE, en términos de instru-mentos y métodos, y valorizar su utilidad poten-cial para el gobierno –de uno o más de los cuatrousos principales de la información de SyE (deta-llados en el capítulo 3).

Los promotores gubernamentales han desem-peñado una función importante en la creación dealgunos de los sistemas de SyE gubernamentalesmás exitosos, por ejemplo, los de Chile, Colom-bia y Australia (para el análisis respectivo de cadauno de ellos, véase May y otros, 2006; GEI, 2003b[Capítulo 11]; Mackay, 2004). No obstante, aun-que los promotores influyentes constituyen unfactor de éxito; ellos, por sí solos, no garantizanel éxito. Existen ejemplos, como el caso de Egipto,donde el apoyo que un grupo de ministros clavedio al SyE fue en gran parte frustrado por el es-cepticismo de funcionarios de cargos intermedios(GEI, 2004a; Schiavo-Campo, 2005).

La creación de un sistema de SyE para la adminis-tración pública –ya sea que esté enfocado única-mente en un sistema de indicadores de desempeñocomo si abarca varios tipos de evaluación y revisión–requiere un gran esfuerzo. Esto implica reclutar ycapacitar personal para conducir o administrar elSyE y utilizar sus resultados; crear la infraestructuraburocrática para decidir qué programas guberna-mentales deben evaluarse y qué temas deben in-cluirse en cada evaluación; crear sistemas de datosy procedimientos para recopilar, compartir y dara conocer la información del SyE.

También se requiere una supervisión activa delsistema de SyE por parte de funcionarios dealto nivel –quienes generalmente son personasmuy ocupadas. Igual que otros sistemas, enáreas de gestión financiera o adquisiciones, im-plica un esfuerzo sostenido de largo tiempopara conseguir que un sistema de SyE funcioneeficientemente. La OCDE llegó a la siguienteconclusión:

Se necesita tiempo para desarrollar unsistema de medición del desempeño e in-tegrarlo al sistema de administración. Nin-gún país miembro de la OCDE consideraque sea tarea fácil desarrollar un sistemade medición de resultados. Por el contra-rio, se considera un esfuerzo agotador,que necesita seguimiento y control cons-tantes (OCDE, 1997a, p. 19).

Por tanto, otra característica de los sistemas de SyEgubernamentales exitosos es la administracióndel proceso a cargo de un ministerio com-petente que pueda diseñar, desarrollar y gestio-nar el sistema de SyE. En muchos paísesdesarrollados y de ingresos medios o altos (porejemplo Australia, Canadá, Chile y Estados Unidosde América) ha sido el ministerio de hacienda.Ciertamente, es de gran ayuda que la dirección ins-titucional del sistema de SyE esté cercana al go-bierno central (por ejemplo, la oficina delpresidente) o al proceso presupuestario (Bedi yotros, 2006). La necesidad de tener claro las fun-ciones y responsabilidades de las partes clave in-teresadas también se aprecia en la experiencia deAmérica Latina (Recuadro 10.3).

En algunos países, los ministerios sectoriales com-petentes han establecido sistemas sólidos de SyE.Quizás el ejemplo más notable sea el de México,donde la Secretaría de Desarrollo Social (SEDE-SOL), un ministerio respetado y competente, ad-ministra un sistema de SyE que hace hincapié enlas evaluaciones de calidad como en las de im-pacto. El ministerio también está trabajando parafortalecer su sistema de indicadores de desem-peño para un mejor apoyo de las evaluaciones queconduce (Hernández, 2006).

El origen del esfuerzo de este ministerio sectorialfue una ley promulgada por el Congreso que or-denaba la evaluación de los programas sociales. ElCongreso tenía la preocupación de que el poder Eje-cutivo pudiera utilizar los programas sociales a cam-bio de comprar votos, por lo que solicitó evidenciasólida del desempeño de los programas antes deaceptar financiarlos. Esta ley estuvo influida, por lomenos parcialmente, por una serie de rigurosasevaluaciones de impacto del programa Progresa.

5 6


A pesar de que éstas son algunas de las evalua-ciones de impacto más caras que se hayan reali-zado, con un costo de millones de dólares, sucalidad ha sido también ampliamente recono-cida, así como su enorme impacto en el gobierno.Se les consideró instrumentos para persuadir algobierno a conservar el programa Progresa y a ex-pandirlo significativamente convirtiéndolo en elprograma Oportunidades –en 2005. El gobiernoha gastado cerca de 6 mil millones de dólares eneste programa, que tiene unos 21 millones debeneficiarios o cerca de un quinto de la poblaciónmexicana.

Estas evaluaciones, a pesar de que son caras, sepueden considerar muy rentables. Los gobiernosde otros países encuentran que los ejemplos deevaluaciones altamente influyentes han sido muypersuasivos en relación con la utilidad potencial

de la evaluación y con los méritos de instalar unbuen sistema de SyE.

Según se observó en el capítulo 3, el éxito del SyEen SEDESOL ayudó a persuadir al poderoso mi-nisterio de hacienda y a la contraloría a unirse alConsejo Nacional de Evaluación para crear unsistema de SyE para todo el gobierno. Esto indicael poderoso efecto de demostración que una de-pendencia sectorial exitosa puede tener.

Un punto por tomar en cuenta: es muy poco pro-bable que un ministerio que decida crear un sis-tema de SyE fuerte tenga que comenzar de cero.Aun en los países más pobres de África, por lo ge-neral, existe una gama de indicadores de desem-peño disponibles, y siempre habrá una serie deevaluaciones realizadas por donantes. El pro-blema radica en la mala calidad o la cobertura par-


5 7

Recuadro 10.3 Experiencias de América Latina con sistemas de SyE

Una conferencia regional del Banco Mundial y el Banco In-teramericano de Desarrollo (BID), que se llevó a cabo en

junio de 2005, estuvo centrada en la experiencia de cinco paí-ses latinoamericanos líderes o prometedores: Brasil, Chile, Co-lombia, México y Perú. Varios de estos países han logrado éxitosconsiderables en la creación de sistemas de SyE y su institu-cionalización.

Las experiencias de los países demuestran que no existe un“destino” único para un país, en términos de lo que debería serun sistema de SyE con buen desempeño. Algunos países otorganmás importancia a un sistema de indicadores de desempeño y otrosse centran en llevar a cabo evaluaciones (revisiones de progra-mas o rigurosas evaluaciones del impacto). A pesar de que lamayoría de los países ha creado un enfoque global para todo elgobierno conducido por los ministerios de hacienda o de planea-ción, algunos de ellos están más enfocados en los sistemas de SyEsectoriales. Una característica clave de la mayoría de los siste-mas de la región es que reflejan los esfuerzos para instituciona-lizar el SyE realizados por el país más que por los donantes.

La experiencia compartida de estos países ha dado como re-sultado una sabiduría colectiva acerca del desarrollo de sistemasde SyE sólidos:• Existe la necesidad de definir claramente las funciones y res-

ponsabilidades de los principales actores involucrados –los

ministerios de planeación y de hacienda, la oficina del pre-sidente, los ministerios sectoriales y el Congreso. Asimismo,es fundamental crear los estímulos correctos para incenti-var a las partes interesadas a asumir una mayor actuaciónen el SyE.

• Fortalecer los sistemas de SyE no es el único ni el principaltema relacionado con la oferta que requiera un “ajuste téc-nico”. Para que un sistema de SyE sea exitoso y sostenible,la información y los resultados del SyE tienen que ser utili-zados intensivamente por las partes interesadas, como losministerios sectoriales y, dependiendo de cómo el sistemahaya sido concebido, por la sociedad civil.

• Los ministerios y los funcionarios más conservadores pue-den resistirse ante los esfuerzos por implementar los siste-mas de SyE y utilizar el SyE como un instrumento de gestióny presupuesto. Es esencial contar con un alto nivel de com-promiso y apoyo constante por parte de los promotores in-fluyentes y de los funcionarios de alto nivel en todos losniveles ministeriales.

• Existe un debate implícito acerca de cómo priorizar las eva-luaciones –enfocarse en los programas-problema, proyectos-piloto, programas de grandes gastos o de gran visibilidad, oen investigación sistemática para responder a los asuntos deefectividad del programa.

Fuente: May y otros, 2006.

cial de la información de desempeño y su consi-derable subutilización.

Un error común es la complejidad exce-siva de un sistema de SyE. Esto se hace másrápidamente evidente con la cantidad de los in-dicadores de desempeño –por ejemplo, el sistemade SyE de Colombia, SINERGIA, hasta el año2002 había acumulado 940 indicadores de de-sempeño; cifra que era muy difícil de manejar ensu rendición de cuentas de la información, porlo que redujo este número a unos 500 (Castro,2006a, 2006b; Mackay y otros, 2007; anexo B deeste libro). En comparación, el sistema de SyE deChile incluye 1.550 indicadores de desempeño.Éste es un número muy grande, pero el muyhábil ministerio de hacienda es capaz de usar lainformación de forma efectiva. Sería lo mejorconsiderar el caso de Chile como una excepciónque comprueba la regla general, de que menoses mejor.

El número adecuado de indicadores de desem-peño también depende del número de programasy servicios gubernamentales y del tipo de indica-dor de desempeño. Los indicadores se puedencentrar en varias partes de la “cadena de resulta-dos” de un programa (definidas en el anexo E):insumos, actividades, productos, efectos directose impactos. Los funcionarios de alto nivel tiendena utilizar indicadores estratégicos de alto nivelcomo productos y efectos directos. Por el con-trario, los administradores de línea y su personaltienden a centrarse en un mayor número de in-dicadores operacionales dirigidos a procesos yservicios.

La producción regular de este tipo de informaciónde desempeño detallada es sólo el primer paso.Los funcionarios de alto nivel y los administra-dores, por lo general, no tienen tiempo para exa-minar minuciosamente los datos en bruto, por loque sería de gran ayuda en su trabajo que analis-tas competentes pudieran revisar los datos y ofre-cerles resúmenes y análisis.

Frecuentemente –o quizás típicamente– los sis-temas de datos de un ministerio son descoordi-nados, por eso un solo ministerio puede tener

varios sistemas, cada uno con sus propias defini-ciones de datos, fuentes, periodicidad de reco-pilación y mecanismos de garantía de calidad (sies que tiene alguno). La SEDESOL de México,por ejemplo, en 2004 tenía ocho sistemas inde-pendientes de información de gestión (BancoMundial, 2004). En Uganda, un problema es el nú-mero de sistemas de SyE descoordinados –cercade unos 16 sistemas sectoriales y subsectorialesindependientes– que ahora el gobierno está tra-tando de coordinar mediante una nueva estrate-gia nacional integrada de SyE (Hauge, 2003;Government of Uganda, 2006).

Un problema de los países africanos, y quizás tam-bién en algunas otras regiones, es que a pesar deque los ministerios sectoriales recopilan gran di-versidad de información de desempeño, la calidadde los datos generalmente no es buena. En parte,esto se debe a que la responsabilidad de la reco-pilación de datos recae sobre funcionarios que tie-nen demasiada carga de trabajo en sus oficinas,quienes deben proporcionar la información a otrosfuncionarios de oficinas distritales y de la capital,pero que rara vez, si no es que nunca, reciben al-guna retroalimentación sobre la manera en que losdatos se utilizan en realidad, si es que se utilizan.

Esto conlleva a otro dilema del tipo “el huevo o lagallina”: los datos no son de buena calidad de-bido, en parte, a que no se utilizan, y éstos no seutilizan, en parte, porque no son de buena calidad.En dichos países hay demasiados datos pero no su-ficiente información. Por tanto, otra enseñanzapara la institucionalización de los sistemas de SyEgubernamentales es la necesidad de crear sis-temas de datos ministeriales confiables –paraayudar a proveer datos en bruto en los que el sis-tema de SyE pueda confiar.1 Puede resultar útil enesta situación, una auditoría de los sistemas de in-formación y un diagnóstico de la capacidad de in-formación, lo cual brindaría el punto de inicio parauna necesaria racionalización en la recopilaciónde datos o mejoras en su calidad. Además, daría alos datos la credibilidad necesaria para utilizarlos.

La verificación y credibilidad de los datos es, enparte, un tema técnico de precisión, procedi-mientos y control de calidad. Relacionado con

5 8


este tema de calidad técnica está la necesidad deque los datos sean potencialmente útiles –paraque la información esté disponible en el mo-mento oportuno, sea fácil de entender, consis-tente en el tiempo, etcétera. También se debeconsiderar el tema de honestidad y objetividad;a medida que la información de desempeño setorna importante –especialmente cuando se usapara fines de rendición de cuentas– surgirán in-centivos para falsificar los datos.2 Esto es clara-mente una preocupación y requiere medidasespecíficas para verificar los datos por medio deuna auditoría independiente, por ejemplo. Laverificación también puede implicar la acredita-ción de los procesos de verificación de datos deuna dependencia. Desde luego, los esfuerzospara falsificar datos también pueden interpre-tarse como una señal de éxito de que el sistemade SyE está comenzando a tener impacto –queestá teniendo un tremendo efecto.

Los datos financieros sobre los gastos del pro-grama comprenden un tipo fundamental de in-formación; su calidad y disponibilidad deben estargarantizadas. Esta información es proporcionadapor los sistemas de información de gestión fi-nanciera. Buenos presupuestos por resultados,gestión de programas y rendiciones de cuentas delgobierno requieren que la información sobre cos-tos y resultados de los programas gubernamen-tales estén relacionados. Irónicamente, muchasevaluaciones no llegan a analizar los costos de losprogramas evaluados, por lo que se hace muchomás difícil medir la eficacia en función de los cos-tos del programa.

El objetivo de los sistemas de SyE gubernamen-tales no es, simplemente, producir una gran can-tidad de información sobre el desempeño ni ungran número de evaluaciones de alta calidad; estoreflejaría la existencia de un enfoque del sistemade SyE basado en la oferta. En lugar de ello, el ob-jetivo es lograr la utilización intensiva de cual-quier información del SyE disponible paragarantizar que el sistema de SyE sea eficaz enfunción de los costos –utilización en apoyo de lasfunciones gubernamentales básicas, como se ma-nifestó anteriormente. La utilización es el cri-terio de éxito de un sistema de SyE; y

viceversa, sería difícil convencer a un ministeriode hacienda escéptico de que continúe finan-ciando un sistema de SyE cuyos productos no seutilizan. Dichos sistemas merecerían ser consi-derados como inútiles.

Para que un sistema de SyE funcione bien, es ne-cesario contar con funcionarios o consultoresbien capacitados y que tengan mucha experien-cia en SyE. Debido a ello, la mayoría de los pla-nes de creación de capacidad ponen gran énfasisen ofrecer capacitación acerca de los ins-trumentos, métodos, alcances y conceptosde SyE. Aquellos gobiernos que encargan a otrosla realización de sus evaluaciones necesitan ase-gurarse de que sus funcionarios posean las habi-lidades y la experiencia necesarias para supervisary administrar las evaluaciones –ello requiere unconjunto de capacidades mucho más amplias queel simple hecho de contar con la habilidad dellevar a cabo una evaluación. Asimismo, necesitancomprender las fortalezas y las limitaciones –la re-lativa eficacia en función de los costos– de los di-versos tipos de SyE.

Una capacitación preliminar en SyE tambiénpuede crear conciencia sobre la información delSyE y, por consiguiente, de su demanda. La ca-pacitación también debería extenderse hacia la uti-lización de la información del SyE. Los analistasde presupuesto y los administradores de pro-gramas deben ser capaces de interpretar los datosdel seguimiento y comprender las tendencias,definiciones de datos, interrupciones en las seriesde datos en el tiempo, etcétera. Asimismo, tam-bién necesitan ser consumidores de evaluacionesexigentes, es decir, deben ser capaces de reco-nocer cuándo una metodología de evaluacióntiene imperfecciones y cuándo sus resultados noson confiables. Finalmente, los parlamentarios ysus colaboradores deben ser capaces de entenderla información del SyE.

Otra enseñanza tiene que ver con las limitacio-nes que surgen cuando un país depende deuna ley, decreto o decisión del gabinete, u otropronunciamiento de alto nivel que sirva para crearun sistema de SyE. En América Latina y en los pa-íses francófonos –aquellos con sistemas jurídicos


5 9

napoleónicos– existe la tradición de depender dedichos instrumentos jurídicos para crear y legitimarsistemas de SyE.3 Por eso, países como Colombiatienen una serie de leyes y decretos que ordenanla evaluación, los cuales fueron incluso consagra-dos en la Constitución de 1991. Aun así, con el trans-currir de los años, la fortuna del sistema deevaluación gubernamental sufrió muchos altibajos,y sólo después de un cambio de gobierno, en2002, el sistema comenzó a desempeñarse confuerza (Castro, 2006a, 2006b; Mackay y otros, 2007).

No se trata de mencionar aquí que una ley o de-creto que regulen el SyE sean irrelevantes; por elcontrario, éstos pueden ser un vehículo útil parala legitimización del SyE, en particular en aquellospaíses donde la presencia de estos instrumentoslegales es necesaria para que cualquier reforma delgobierno sea valorizada y tomada en serio.4 Perouna ley o decreto, por sí solos, no garantizan quese realicen los grandes esfuerzos que son reque-ridos para establecer un sistema de SyE.

Los mecanismos estructurales de un sis-tema de SyE son importantes desde variasperspectivas. Una de ellas es la necesidad de ga-rantizar la objetividad, credibilidad y rigor de la in-formación del SyE que el sistema produce. Por ellado de los datos, algunos gobiernos (Chile, porejemplo) dependen de comités de auditoría ex-terna para llevar a cabo esta función; en tanto queotros dependen de las oficinas nacionales de au-ditoría (por ejemplo, Canadá) (Mayne y Wilkins,2005), y otros dependen principalmente de las de-pendencias de auditoría interna de los ministerios(por ejemplo, Australia). Algunos gobiernos de-penden de un ministerio central que verifiquelos datos provenientes de los ministerios secto-riales (por ejemplo, Colombia) y otros que no tie-nen una estrategia de auditoría (por ejemplo,Argentina) (Zaltsman, 2996a).

Por el lado de la evaluación, los temas de objeti-vidad y credibilidad son especialmente impor-tantes. Según se señala en el recuadro 3.1, Chile(y la mayoría de países de América Latina) seocupa de esto contratando organismos externos,como instituciones académicas y firmas consul-toras, para que realicen las evaluaciones; además,

las evaluaciones son encargadas y administradaspor el Ministerio de Hacienda, más que por los mi-nisterios sectoriales, y el proceso de oferta de li-citaciones y contrataciones para llevar a cabo lasevaluaciones es completamente transparente.5

El inconveniente de este enfoque es que los mi-nisterios sectoriales utilizan poco estas evaluacio-nes; las encargadas por el Ministerio de Haciendano llegan a identificarse con sus hallazgos. No obs-tante, eso puede no representar un problemagrande en Chile, donde el poderoso Ministerio deHacienda es capaz de utilizar los resultados de lasevaluaciones no sólo para apoyar la toma de deci-siones presupuestarias, sino también para imponera los ministerios sectoriales cambios en la admi-nistración y en los programas (Rojas y otros, 2005).Este sistema centralizado es único.

La mayoría de los gobiernos de la OCDE dependede los ministerios sectoriales para que ellos mis-mos lleven a cabo sus propias evaluaciones (Cu-rristine, 2005), a pesar de que se cuestiona laconfiabilidad de las autoevaluaciones. En Esta-dos Unidos de América, la OMB (ministerio de ha-cienda) califica el desempeño de los programasgubernamentales como programas sin informa-ción del SyE acerca de su desempeño o como pro-gramas con información del SyE no confiable(véase el recuadro 3.1).

Los países que han establecido un sistema gu-bernamental de SyE se han dado cuenta de querepresenta un esfuerzo a largo plazo y re-quiere paciencia y tenacidad (OCDE, 1997a;Mackay, 1998b; Lahey, 2005; May y otros, 2006).Toma tiempo crear o fortalecer los sistemas dedatos; capacitar o contratar personal calificado; pla-nificar, organizar y realizar evaluaciones; crearsistemas de intercambio de información de SyEentre los ministerios relevantes; y capacitar alpersonal para que pueda utilizar la informacióndel SyE en su trabajo diario, ya sea en operacio-nes programáticas o análisis de políticas y la ase-soría. Australia y Chile fueron capaces de crearsistemas de evaluación eficientes (en términos decalidad, número y uso de las evaluaciones) encuatro o cinco años; en el caso de Colombia, seha necesitado más de una década.

6 0


Sin embargo, no se pretende afirmar que un en-foque lento y mesurado sea el más apropiadopara crear un sistema de SyE. Los promotores gu-bernamentales eventualmente partirán, y la ven-tana de oportunidades –de hecho, la prioridadque un gobierno otorga a cualquier tipo de re-forma del sector público– se puede cerrar tan fá-cilmente como se abrió. Esto sugiere que seanecesario un enfoque de trabajo centrado, de-cidido e intenso para crear varios componentesdel sistema de SyE, y que los gobiernos los ins-titucionalicen tan pronto como sea posible.

Al parecer, la mayoría de los países con sis-temas de SyE eficientes no los han desa-rrollado de manera lineal –es decir, comenzarcon una idea clara de lo que será el sistema cuandohaya madurado totalmente, y luego avanzandoprogresivamente para convertir en realidad estavisión. Por el contrario, cuando se examina la ex-periencia de países como Australia (Mackay, 2004),Canadá (Lahey, 2005), Chile (Zaltsman, 2006a;véase también el capítulo 7), Colombia (Mackayy otros, 2007), Irlanda (Boyle, 2005) y Estados Uni-dos de América (Joyce, 2004; Lahey, 2005), es evi-dente que los sistemas de SyE de estos países sehan desarrollado paso a paso, de manera cre-ciente, con algunos intentos fallidos y callejonessin salida a lo largo del proceso.

Al parece, esto sería causado, en parte, por losdiferentes plazos necesarios para crear funcio-nes del SyE específicas –un sistema de indica-dores de desempeño relativo a la conducción derevisiones del programa o de rigurosas evalua-ciones del impacto. Podría deberse también auna serie de correcciones que se hacen a mitaddel camino a medida que se evidenciae el pro-greso, o la falta de éste, en determinadas ini-ciativas de SyE. También debe considerarse lagran influencia de factores externos, como uncambio de gobierno, que pueden, no solamentealterar la dirección de un sistema de SyE sinoconvertirlo en uno significativamente fuerte–como lo llegó a ser en Colombia después de2002 y en Estados Unidos de América despuésde 2000. Un cambio de gobierno también puededar lugar a una reducción sustancial o incluso,al abandono de un sistema de SyE –como su-

cedió en Australia después de 1997 (Capítulo 8)y en Estados Unidos de América después de1980 (GAO, 1987).

Al parecer, existe una asimetría preocupante conlos sistemas de SyE gubernamentales: son lentospara establecerse, pero pueden caer muy rápi-damente. Para aquellos gobiernos que han aban-donado en gran parte sus sistemas de SyE, estoparecería reflejar una preferencia ideológica porun “gobierno pequeño”, en lugar de una decisiónconsiderada sobre la eficacia en función de los cos-tos del sistema de SyE; de esta manera, los efec-tos negativos en el sistema de SyE parecen sersimplemente daños colaterales.

La frecuencia de las correcciones a mitad del ca-mino, mientras se están creando sistemas de SyE,indica otra enseñanza de la experiencia: la im-portancia de evaluar en forma regular un sis-tema de SyE, con el objetivo de detectar lo quefunciona o no funciona, y el porqué. Es valiosoidentificar la naturaleza de los problemas encon-trados e indicar los posibles cambios de dirección.Dichas evaluaciones brindan la oportunidad de re-visar ambos miembros de la ecuación, los aspec-tos de la demanda como de la oferta y aclarar lautilización real a diferencia de la prevista en la in-formación del SyE, así como las formas particu-lares en que se está usando.

La prudente administración por parte del Minis-terio de Hacienda de Chile de su propio sistemade SyE se ejemplifica en la revisión que encargóal Banco Mundial de los dos principales compo-nentes de evaluación del sistema (Rojas y otros,2005). Encargó esta revisión, en parte, para darapoyo a la administración en curso y mejorar elsistema de SyE, así como también para aplicarsea sí mismo los parámetros de rendición de cuen-tas del desempeño, que aplica en los ministeriossectoriales y en los programas que administra–como parte del proceso, el Ministerio de Ha-cienda ha informado sobre los resultados de lasevaluaciones del Banco Mundial al Congreso deChile. Existe un gran número de guías de diag-nóstico disponibles para apoyar dichas evalua-ciones de los sistemas de SyE gubernamentales(véase el capítulo 12).6


6 1

6 3

Incentivos para el SyE —Cómo crear demanda

Los esfuerzos para fortalecer sistemas de SyE gubernamentales son ge-neralmente vistos como arreglos técnicos –que implican mejores siste-mas de datos, la conducción de evaluaciones de buena calidad, etcétera.

Estos temas de oferta son importantes de hecho pero no son suficientes parafortalecer los sistemas.

En el capítulo 10 se expuso que para lograr unainstitucionalización exitosa de un sistema de SyE–es decir, la creación de un sistema de SyE quefuncione bien y que sea sostenible dentro de ungobierno, y donde la información de buena cali-dad que genere se utilice intensivamente– con-siderar el aspecto de la demanda es sumamenteimportante. La demanda se concentra en la prio-ridad de utilizar la información de seguimientoy los hallazgos de las evaluaciones para apoyar lasactividades básicas del gobierno. Algunos de losusos implica asistir en las decisiones de asignaciónde recursos dentro del proceso presupuestario;ayudar a los ministerios en su formulación depolíticas y labor analítica; ayudar a la administra-ción en curso y en la prestación de servicios porparte del gobierno; y respaldar relaciones de ren-dición de cuentas.

Sin embargo, alcanzar una demanda grande den-tro de un país es otro asunto. Contar con ejem-plos de otros países –como Chile, Colombia yvarios miembros de la OCDE– que han hecho elesfuerzo necesario para crear un sistema de SyEque funcione bien puede influir grandemente en

crear interés en el SyE e incrementar su demanda.Además, mostrar la eficacia en función de los cos-tos de las evaluaciones individuales realizadas enotros países también puede persuadir a los quetoman las decisiones, acerca de los méritos delSyE.

Algunos países, como Egipto, han logrado que losministros clave del gobierno tengan un buen co-nocimiento de los beneficios potenciales del SyE.Sin embargo, los esfuerzos para institucionalizarel SyE en este país se han visto bastante frustra-dos debido a funcionarios de nivel medio, quie-nes no creyeron en esta visión de un sistema deSyE.

Esto ilustra un punto clave que es la necesidad degarantizar que haya incentivos suficientemente po-derosos dentro de un gobierno para llevar a caboel SyE, y a un buen nivel de calidad, y que se uti-lice la información del SyE de manera intensiva.En otras palabras, se necesitan grandes incentivospara que la función del SyE se institucionaliceexitosamente. Esto también resalta la importan-cia de entender los incentivos que tienen los mi-

11

nisterios y los empleados públicos para conducir,o no, el SyE.

Un ambiente en el sector público donde es difí-cil que los funcionarios se desempeñen con pa-rámetros altos y de manera consistente resultaadverso para el SyE. Los funcionarios no hacenmás que concentrarse en tareas cotidianas de ad-ministración definidas en forma muy limitada y noestán dispuestos a que se les impute la respon-sabilidad de su desempeño si no tienen alguna ga-rantía de los recursos con los que cuentan, o sino tienen un control sustancial sobre los pro-ductos de sus actividades. En estas circunstancias,es comprensible que los administradores perci-ban el SyE como algo irrelevante, como algo po-tencialmente (y probablemente) injusto paraellos, y como una amenaza en vez de una ayuda.

La naturaleza de los incentivos para el SyE de-pende de cómo un país prevé la utilización de lainformación del SyE. Si se pretende que el usoprincipal del SyE sea asistir a los funcionarios entodos los ministerios sectoriales y dependencias–la función de aprendizaje del SyE– entonces re-sulta importante que exista una amplia cultura delservicio público. Pero si el SyE se conduce prin-cipalmente con fines de rendición de cuentas,entonces las partes interesadas clave, cuya de-manda de SyE sería primordial, serían unos cuan-tos: la oficina del presidente o primer ministro,el Congreso o Parlamento, los ministerios de ha-cienda y de planeación y la auditoría general.

Si lo que se busca es que el SyE sea un instrumentopara el presupuesto por resultados, entonces elministerio de hacienda y tal vez algunos otros mi-nisterios centrales serían las partes clave interesa-das. Los ministerios sectoriales también seríanpartes interesadas en un sistema de presupuesto porresultados de amplia base (como en el caso deAustralia, véase el capítulo 8) pero tendrían una fun-ción mucho menos importante dentro de un sis-tema de presupuesto más centralizado (como enel caso de Chile, véase el capítulo 6). Por último, sise pretende que el SyE sea un instrumento para apo-yar la formulación y análisis de políticas basados enla evidencia, entonces es mucho más factible queinvolucre la participación de todos los ministerios.

En forma clara se observa que cada una de estaspretensiones de uso del SyE involucra en ciertamanera a diferentes grupos de partes interesadasy, en consecuencia, de incentivos para llevar ade-lante el sistema. Según se señaló anteriormente,existe la tendencia de concebir los sistemas de SyEgubernamental de una manera ambiciosa, queenglobe todos los usos posibles de la informacióndel SyE (véase por ejemplo, el caso de Colombiaen el anexo B). Este enfoque involucraría a todaslas partes interesadas y por tanto a un grupo deincentivos más complejos que podrían resultarpoco realistas.

Como se verá en el capítulo 12, es importante queel tema de los incentivos sea investigado cuandose conduzca un diagnóstico del sistema de SyE na-cional o ministerial; éste es también un temaclave cuando se prepara un plan de acción parafortalecer un sistema de SyE. Como ya se ha se-ñalado, la importancia de entender los incentivoses resaltada en las publicaciones acerca de cómolograr otros tipos de reformas de gobernabilidad(Banco Mundial, 1997b, capítulo 9).

El cuadro 11.1 presenta tres tipos de incentivos:premios, castigos y consejos.1 Muchos de estos in-centivos se han utilizado para ayudar a institu-cionalizar el SyE en gobiernos de paísesdesarrollados y en desarrollo. Los premios ofre-cen un aliento positivo y recompensas por llevara cabo el SyE y utilizar sus resultados. Éstos pue-den ser, por ejemplo, el reconocimiento públicoo incentivos financieros a los ministerios que lle-van a cabo el SyE.

Los castigos comprenden reprimendas o penali-dades a los ministerios o a los empleados públi-cos que no se comprometan con el desempeñoy el SyE –por ejemplo, penalidades financieras alos ministerios que no cumplan con implemen-tar las recomendaciones de evaluación previa-mente acordadas. Por último, los consejosincluyen declaraciones de alto nivel de aprobacióny apoyo en relación con la importancia del SyE.También implican los esfuerzos dirigidos paradespertar el interés en el SyE y la explicación delo que los funcionarios del gobierno pueden en-contrar de provecho.

6 4


11 : I N C E N T I VO S PA R A E L S y E — C Ó M O C R E A R D E M A N DA

6 5

Cu

adro

11.

1 In

cen

tivo

s p

ara

el S

yE. P

rem

ios,

cas

tig

os

y co

nse

jos

Prem

ios

Cast

igos

Cons

ejos

•Di

plom

as o

pre

mio

s –r

econ

ocim

ient

os d

e al

to n

ivel

por

las

buen

as o

las

mej

ores

prá

ctic

as d

e ev

alua

ción

o d

e la

ges

tión

por r

esul

tado

s.•

Enfo

que

cole

giad

o de

SyE

ent

re lo

s m

inis

terio

s cl

ave

–ayu

daa

evita

r una

situ

ació

n en

la q

ue u

n m

inis

terio

riva

l con

trole

lain

form

ació

n de

l SyE

.•

Ince

ntiv

os d

e pr

esup

uest

o pa

ra p

rogr

amas

de

alto

des

empe

ño–p

or ej

empl

o, el

fond

o par

a las

licita

cione

s de C

hile

(Adv

erte

ncia

:la

rela

ción

des

eabl

e en

tre e

l des

empe

ño y

el fi

nanc

iam

ient

o a

men

udo

no e

s cl

ara.

Por

eje

mpl

o, a

lgun

as v

eces

es

nece

sario

dest

inar

fon

dos

adic

iona

les

a un

pro

gram

a qu

e no

fun

cion

abi

en p

ara

arre

glar

lo –

véas

e en

la P

arte

VI,

la p

regu

nta

15).

•La

pro

visi

ón d

e in

cent

ivos

rela

cion

ados

con

el p

resu

pues

to d

elo

s m

inis

terio

s o

depe

nden

cias

par

a m

ejor

ar e

l des

empe

ño(p

rem

iar l

a inf

orm

ació

n del

SyE

para

dem

ostra

r des

empe

ño) –

por

ejem

plo,

el m

inis

terio

de

haci

enda

est

ipul

a m

ayor

seg

urid

adde

fina

ncia

mie

nto,

env

ía e

stim

ados

por

med

io d

e un

mar

co d

ega

stos

a m

edia

no p

lazo

, acu

erdo

s de

recu

rsos

, pre

supu

esto

de

carte

ra, p

resu

pues

to d

e pr

ogra

ma.

•M

ayor

aut

onom

ía d

e ge

stió

n pa

ra lo

s pr

ogra

mas

que

se

de-

sem

peñe

n bi

en.

•Re

sulta

dos

basa

dos

en p

rodu

ctos

o e

n ef

ecto

s di

rect

os h

ace

que

el B

anco

Mun

dial

(y o

tros

dona

ntes

) oto

rgue

n pr

ésta

mos

a lo

s gob

iern

os –

por e

jem

plo,

el p

rést

amo

del B

anco

en

apoy

oal

pro

gram

a Bo

lsa

Fam

ilia

de B

rasi

l.•

Reco

mpe

nsas

por

el c

umpl

imie

nto

de lo

s req

uisit

os d

el S

yE fo

r-m

ales

(y p

ara

los

SyE

de a

lta c

alid

ad).

•Fin

ancia

mie

nto a

dicio

nal a

los m

inist

erio

s par

a lle

var a

cabo

SyE

.•

Man

ejo

prud

ente

de

los h

alla

zgos

de

eval

uaci

ón –

por e

jem

plo,

prop

orci

onan

do re

súm

enes

eje

cutiv

os d

e fá

cil i

nter

pret

ació

n,di

rigid

os a

aud

ienc

ias

clav

e pu

ede

redu

cir l

a di

ficul

tad

de a

c-ce

so y

asi

mila

ción

de

los

resu

ltado

s.•

Orga

niza

ción

frecu

ente

de

reun

ione

s de

equi

po (a

dmin

istra

dore

sy p

erso

nal) d

el ti

po “¿

Cóm

o nos

va?”

para

acla

rar l

os ob

jetiv

os, r

e-vis

ar el

dese

mpe

ño de

l equ

ipo e

iden

tifica

r las f

orm

as de

mej

orar

lo.

•Pr

omul

gar l

eyes

, dec

reto

s o re

glam

ento

s que

impo

ngan

el S

yE.

•Te

ner r

equi

sito

s for

mal

es p

ara

la p

lane

ació

n, co

nduc

ción

e in

-fo

rme

del S

yE –

crea

r un

impu

lso

orga

niza

cion

al s

i los

min

is-

terio

s es

tán

oblig

ados

a c

rear

com

ités

y ot

ras

estru

ctur

asfo

rmal

es p

ara

SyE.

•Re

tene

r par

te d

e lo

s fon

dos d

e lo

s min

iste

rios o

dep

ende

ncia

ssi

no

lleva

n a

cabo

el S

yE.

•Al

canz

ar g

ran

trans

pare

ncia

ace

rca

del d

esem

peño

del

go-

bier

no y

de

los

adm

inis

trado

res

publ

ican

do re

gula

rmen

te in

-fo

rmac

ión

sobr

e lo

s obj

etiv

os, p

rodu

ctos

y ca

lidad

de

serv

icio

sde

todo

s lo

s pr

ogra

mas

. Com

para

cion

es d

e de

sem

peño

ent

rela

s jur

isdi

ccio

nes (

esta

dos,

pro

vinc

ias,

dis

trito

s, m

unic

ipal

ida-

des)

son

efec

tivas

en

parti

cula

r, par

a re

salta

r el b

uen

o m

al d

e-se

mpe

ño, d

esta

car a

los b

ueno

s act

ores

y po

ner e

n ev

iden

cia

a lo

s m

alos

.•

Resa

ltar l

a in

form

ació

n de

l SyE

des

favo

rabl

e en

los

info

rmes

al P

arla

men

to o

Con

gres

o y d

ifund

irla

ampl

iam

ente

. Est

o pu

ede

ser p

olíti

ca y

sum

amen

te d

elic

ado

para

el g

obie

rno.

•Es

tabl

ecer

met

as d

e de

sem

peño

des

afia

ntes

per

o re

alis

tas

(por

eje

mpl

o, c

ada

trim

estre

o c

ada

año)

que

cad

a m

inis

terio

,de

pend

enci

a y

adm

inis

trado

r de

prog

ram

a pu

eda

cum

plir.

•In

clui

r ind

icad

ores

de

dese

mpe

ño re

leva

ntes

(pro

duct

os, e

fec-

tos d

irect

os) e

n la

s eva

luac

ione

s anu

ales

de

dese

mpe

ño d

e lo

sad

min

istra

dore

s.•

Solic

itar

info

rmes

de

exce

pció

n de

des

empe

ño c

uand

o la

sm

etas

no

se a

lcan

zan

–req

uier

e qu

e ár

eas

del p

rogr

ama

ex-

pliq

uen

el m

al d

esem

peño

(Col

ombi

a).

•Re

salta

r pla

neac

ión

de e

valu

ació

n de

mal

a ca

lidad

, sis

tem

asde

info

rmac

ión,

indi

cado

res

de d

esem

peño

, téc

nica

s de

l SyE

,in

form

es d

el S

yE –

pone

r en

evid

enci

a de

sem

peño

s de

ficie

n-te

s (po

dría

n ha

cerlo

med

iant

e un

a in

stitu

ción

de

audi

toría

su-

prem

a, u

n m

inis

terio

cen

tral c

omo

el d

e ha

cien

da o

la o

ficin

ade

l pre

side

nte,

y ta

l vez

, aud

itoría

inte

rna)

.•

Pena

lizar

el i

ncum

plim

ient

o de

las

reco

men

daci

ones

de

eva-

luac

ión

acor

dada

s (C

hile

).

•De

clar

acio

nes d

e al

to n

ivel

dad

as p

or e

l pre

-si

dent

e, m

inis

tros,

dire

ctor

es d

e m

inis

terio

s,di

puta

dos,

etc

éter

a.•

Decla

racio

nes d

e la

visió

n de

l gob

iern

o ac

erca

de la

s re

form

as d

el s

ecto

r púb

lico,

la b

uena

gobe

rnab

ilida

d o

los

plan

es n

acio

nale

s, q

uede

stac

an lo

s m

érito

s de

l SyE

.•

Repe

tició

n fre

cuen

te d

e m

ensa

jes

de a

poyo

en la

s re

unio

nes

de m

inis

tros

de a

lto n

ivel

,je

fes d

e de

parta

men

to, y

per

sona

l en

gene

ral.

•Se

min

ario

s o ta

llere

s de

tom

a de

conc

ienc

iaco

n el

fin

de d

esm

itific

ar e

l SyE

, ofre

cer c

on-

fianz

a ac

erca

de

su p

osib

ilida

d de

real

izaci

óny

expl

icar

su

cont

enid

o a

los

parti

cipa

ntes

.•

Uso

de e

jem

plos

real

es d

el S

yE in

fluye

ntes

para

dem

ostra

r su

utili

dad

y su

efica

cia e

n fu

n-ci

ón d

e lo

s co

stos

.•

Expl

icar

a lo

s ad

min

istra

dore

s y

al p

erso

nal

cóm

o el

SyE

pue

de a

yuda

rlos

a of

rece

r me-

jore

s ser

vicio

s a su

s clie

ntes

, los

ciud

adan

os.

•Di

rigir

algu

nas

eval

uaci

ones

rápi

das

y ev

a-lu

acio

nes d

e im

pact

o co

n el

fin

de d

emos

trar

su u

tilid

ad.

•Co

nfer

enci

as y

sem

inar

ios s

obre

sist

emas

de

SyE

con

prác

tica

reco

men

dada

en

algu

nos

min

iste

rios e

n pa

rticu

lar,

en o

tros p

aíse

s, e

t-cé

tera

–de

mue

stra

n lo

que

los

sist

emas

de

SyE

pued

en p

rodu

cir.

•Re

d de

fun

cion

ario

s qu

e tra

baja

n en

SyE

–ayu

da a

mos

trar e

jem

plos

de

buen

a pr

áctic

ade

l SyE

en

min

iste

rios,

dem

uest

ra su

viab

ili-

dad

y ay

uda

a in

cent

ivar

los

pará

met

ros

deca

lidad

.

(Con

tinúa

en

la s

igui

ente

pág

ina)

6 6


Cu

adro

11.

1 In

cen

tivo

s p

ara

el S

yE. P

rem

ios,

cas

tig

os

y co

nse

jos

(con

tinua

ción

)

Carr

ots

Stic

ksSe

rmon

s

•Co

ntra

tos

por d

esem

peño

o p

agos

por

resu

ltado

s a

los

em-

plea

dos p

úblic

os –

es d

ecir,

reco

mpe

nsa

dire

cta

por d

esem

peño

.Po

r eje

mpl

o, lo

s nu

evos

em

plea

dos

públ

icos

de

alto

niv

el e

nCe

ará

(Bra

sil)

reci

ben

hast

a 40

% d

e su

rem

uner

ació

n en

form

ade

bon

o po

r des

empe

ño, q

ue se

bas

a en

el l

ogro

de

las m

etas

de lo

s in

dica

dore

s de

des

empe

ño.

•In

cent

ivos

par

a el

per

sona

l –us

o de

exp

erie

ncia

en

SyE

com

oun

crit

erio

par

a la

con

trata

ción

, pro

moc

ión

y ce

rtific

ació

n.•

Asis

tenc

ia a

l pro

gram

a de

con

ducc

ión

del S

yE –

por m

edio

de

la o

ficin

a de

ase

soría

, man

uale

s y o

tros m

ater

iale

s, ca

paci

ta-

ción

gra

tuita

, com

enta

rios

acer

ca d

e lo

s Td

R, in

form

es p

reli-

min

ares

de

eval

uació

n, e

ntre

otro

s. Es

to h

ace

que

sea

más

fácil

(redu

ce lo

s co

stos

) lle

var a

cab

o el

SyE

, y la

util

izaci

ón d

e lo

sre

sulta

dos.

•Ga

rant

izar q

ue lo

s pro

veed

ores

de

dato

s –po

r eje

mpl

o, e

n la

sde

pend

enci

as–

com

pren

dan

cóm

o se

usa

n lo

s da

tos

y la

im-

porta

ncia

de

ofre

cer d

atos

pre

ciso

s y

opor

tuno

s.•

Capa

citac

ión p

ara a

dmin

istra

dore

s y pe

rson

al de

l pro

gram

a, pa

raan

alist

as d

e pr

esup

uest

o, co

n el

fin

de e

xplic

arle

s qué

es e

l SyE

y có

mo

usar

lo p

ara

mej

orar

su

traba

jo.

•Id

entif

icació

n y r

ealce

de

ejem

plos

de

prác

ticas

reco

men

dabl

esde

pla

neac

ión

de la

eva

luac

ión,

de

técn

icas

del

SyE

, de

info

r-m

es d

e ev

alua

ción

–of

rece

r mod

elos

que

otro

s pue

den

copi

arfá

cilm

ente

(pue

den

dese

mpe

ñar e

ste

com

etid

o, u

na in

stitu

ción

supr

ema

de a

udito

ría, u

n m

inist

erio

cent

ral c

omo

el d

e ha

ciend

ao

la o

ficin

a de

l pre

side

nte,

y q

uizá

s, a

udito

ría in

tern

a).

•Re

troal

imen

taci

ón s

iste

mát

ica

de lo

s m

inis

tros

sobr

e la

cal

i-da

d de

la a

seso

ría d

e po

lític

as p

ara

cada

info

rme

envi

ado

a lo

sm

inis

tros.

Brin

dar e

logi

os y

des

taca

la a

seso

ría d

e bu

ena

ca-

lidad

–po

r eje

mpl

o, e

l min

iste

rio d

e tra

bajo

de

Aust

ralia

.•

Una

red

gube

rnam

enta

l de

func

iona

rios q

ue tr

abaj

an e

n Sy

E ay

u-da

ría a

dar

iden

tidad

y ap

oyo

a lo

s eva

luad

ores

(qui

enes

usu

al-

men

te se

sien

ten

aisl

ados

den

tro d

e ca

da m

inis

terio

o e

ntid

ad)

–por

eje

mpl

o, A

ustra

lia, C

anad

á y

Nig

eria

.•

Apoy

o fin

anci

ero

y as

iste

ncia

téc

nica

par

a el

SyE

gub

erna

-m

enta

l por

par

te d

e do

nant

es m

ultil

ater

ales

y b

ilate

rale

s.

•Ll

evar

a ca

bo re

unio

nes d

e m

unic

ipal

idad

es co

n el

pre

side

nte

y los

ciud

adan

os p

ara

exhi

bir e

l bue

n o

mal

des

empe

ño d

el g

o-bi

erno

(Col

ombi

a).

•In

volu

crar

a la

soc

ieda

d ci

vil e

n el

SyE

del

des

empe

ño g

uber

-na

men

tal –

da c

omo

resu

ltado

pre

sion

es p

ara

un m

ejor

de-

sem

peño

y re

ndic

ión

de c

uent

as (B

anga

lore

y B

ogot

á).

•Ut

iliza

r mec

anis

mos

de

rend

ició

n de

cuen

tas c

omo

las t

arje

tas

de in

form

e ciu

dada

no –

publ

icita

r el b

ajo

dese

mpe

ño d

e la

s de-

pend

enci

as g

uber

nam

enta

les.

•Pr

opor

cion

ar re

troal

imen

taci

ón m

inis

teria

l sob

re la

calid

ad d

elas

esor

amie

nto

en p

olíti

cas –

ofre

ce cr

ítica

s a la

ase

soría

de

baja

calid

ad (p

or e

jem

plo,

una

ase

soría

que

no

tiene

una

bue

na b

ase

de e

vide

ncia

s).

•In

stitu

ir co

ntra

tos p

or d

esem

peño

o p

agos

por

resu

ltado

s –pe

-na

lidad

es d

irect

as p

or re

sulta

dos

pobr

es.

•Ap

oyo

al S

yE g

uber

nam

enta

l med

iant

e pr

és-

tam

os q

ue lo

s do

nant

es m

ultil

ater

ales

y b

i-la

tera

les

ofre

cen

a lo

s go

bier

nos

–res

alta

ypr

omoc

iona

el S

yE.

Una de las enseñanzas que se debe considerar en la creación de un

sistema de SyE es la importancia de llevar a cabo un diagnóstico de

país (Capítulo 12). Esto ofrece un entendimiento sólido de los es-

fuerzos actuales del SyE, del ambiente de la administración pública y de las

oportunidades para fortalecer el SyE y utilizar su información en las funcio-

nes centrales del gobierno. Quizás igualmente importante es mencionar que

un diagnóstico ayuda a que las partes clave interesadas dentro del gobierno

y en la comunidad de donantes se enfoquen en las fortalezas y los desafíos

de los acuerdos vigentes del SyE gubernamental. Dicho diagnóstico también

puede garantizar que las partes interesadas compartan una conciencia sobre

estos temas. Un diagnóstico conduce de forma natural hacia un plan de ac-

ción que identifica las principales opciones para el fortalecimiento de un sis-

tema de SyE gubernamental (Capítulo 13).

PARTE IVCómo fortalecer un sistema

de SyE gubernamental

6 9

La importancia de un diagnóstico de país

Es evidente que cada país enfoca de manera diferente el SyE. Algunos pa-íses, como Brasil, por ejemplo, se concentran en todo el gobierno paraestablecer los objetivos de un programa y crear un sistema de indica-

dores de desempeño. Otros países, como Colombia, combinan esto con unaagenda de evaluaciones de impacto rigurosas.

Pero otros países, como Australia, Estados Unidosde América y el Reino Unido, ponen más énfasisen los instrumentos y métodos del SyE: indica-dores de desempeño, revisiones rápidas, evalua-ciones de impacto y auditorías de desempeño.Algunos países han tenido éxito al crear un sistemade SyE para todo el gobierno. Otros, comoUganda, utilizan una colección en gran parte dis-pareja y descoordinada, de 16 sistemas diferen-tes de seguimiento sectorial. La mayoría de lospaíses más pobres –a los cuales los donantes mul-tilaterales han solicitado que preparen estrate-gias de reducción de la pobreza– se concentranen la recopilación regular de indicadores de de-sempeño para medir el progreso en función delos ODM.

¿Por qué hacer un diagnóstico?Esta variedad de enfoques refleja que no sólo lospuntos de partida que enfrenta cada país son di-ferentes, sino que también lo son las metas de-seadas. No existe un único enfoque que sea elmejor para un sistema de SyE nacional o sectorial.1

En lugar de ello, el enfoque que utilice cada paísdependerá de los usos reales o potenciales de la

información que dicho sistema producirá. Segúnse señaló en el capítulo 3, esos usos comprendendesde la asesoría en las decisiones de asignaciónde recursos en el proceso presupuestario, elapoyo en la preparación del plan nacional y sec-torial, la ayuda en la administración en curso yprestación de servicios del gobierno, hasta el res-paldo de las relaciones de rendición de cuentas.

Para crear o fortalecer sistemas de SyE guberna-mentales, es sumamente importante adaptar es-fuerzos de acuerdo con las necesidades yprioridades de cada país. Es recomendable reali-zar diagnósticos de las actividades de SyE, ya quepueden servir como una guía en la identificaciónde oportunidades para la institucionalización delSyE. Un diagnóstico formal ayuda a identificar lasfortalezas y los desafíos actuales del país en tér-minos de conducción, calidad y uso del SyE; ade-más, un diagnóstico es invaluable cuando se tratade proporcionar una base para preparar un plande acción. Éste debe diseñarse de acuerdo con lautilización que se espera dar a la información delseguimiento y a los hallazgos de la evaluación. Undiagnóstico preliminar puede ayudar a obtener

12

una opinión sobre las probabilidades de éxito dedichos planes.

El diagnóstico puede ser realizado –o encargado–por el gobierno o los donantes, o mejor aún, enforma conjunta. El proceso para conducir un diag-nóstico da la oportunidad de hacer que las par-tes interesadas del gobierno –particularmentefuncionarios de alto nivel en ministerios clave– seconcentren en el tema de la institucionalizaciónde un sistema de SyE. Para la mayoría de paísesen desarrollo, o quizás para todos, ya podría exis-tir una serie de actividades y sistemas de SyE,pero la falta de coordinación y armonización entreellos es un reto común, lo que puede generar unaduplicación de esfuerzos representativa. Un diag-nóstico que revele dichos problemas puede con-vertirse en un estímulo para que el gobierno tratede resolverlos, y el hecho de que todos com-prendan la naturaleza de los problemas puedetambién fomentar un consenso sobre la forma desolucionarlos.

Dicho consenso es particularmente importantepara el SyE, ya que es una actividad que abarca yafecta a todos los ministerios y dependencias.Cualquier reforma integral del gobierno, como lacreación de un sistema de SyE nacional, requiereun gran esfuerzo y un alto nivel de coordinacióncentral, así como la activa cooperación de los mi-nisterios y las dependencias. Lograr una coordi-nación efectiva entre todos estos actores no escosa fácil, por eso, cualquier proceso, como la pre-paración de un diagnóstico del SyE, ofrece unaoportunidad para que las partes interesadas dia-loguen entre ellas sobre el SyE y alcancen unacuerdo sobre lo que deben hacer para mejorarel enfoque del gobierno.

Esto se ilustra con las experiencias de Uganda, Mé-xico y Australia. El hecho de que hubieran 16subsistemas de SyE en Uganda causó gran preo-cupación –incluso indignación– entre los fun-cionarios de alto nivel. Esa respuesta fue decisivae indujo a tomar la decisión de crear el NIMES paraenfrentar los problemas de armonización y de-mandas excesivas por parte de aquellos que pro-porcionaban información del seguimiento en losministerios y dependencias sectoriales y en las ins-

talaciones (véase el capítulo 9). También, el re-sultado de un diagnóstico rápido de las activida-des de SyE de la Secretaría de Desarrollo Socialde México (SEDESOL) reveló la existencia deocho sistemas de seguimiento descoordinadosdentro de una sola dependencia, lo que indujo aque la administración de alto nivel de esta secre-taría hiciera lo necesario para armonizar esos sis-temas (Banco Mundial, 2004c).

El proceso de conducción de un diagnóstico enAustralia, en 1987, sentó las bases para una es-trategia de evaluación del gobierno. A pesar de queeste proceso no condujo a un consenso entrelos ministerios sectoriales, los cuales, en granparte, se oponían a la introducción de una seriede requisitos obligatorios para llevar a cabo las eva-luaciones, proporcionó no solamente una base ob-jetiva y sólida para la estrategia de evaluación,sino que también concientizó a las partes intere-sadas acerca de la importancia del tema hasta lo-grar su aceptación de la estrategia, aunque sinmucha voluntad.

Un diagnóstico también proporciona un punto departida para medir el progreso del país en eltiempo. Crear y sostener la demanda y la ofertadel SyE representa un esfuerzo a largo plazo.Según se señaló en el capítulo 10, la mayoría depaíses no ha desarrollado su sistema de SyE enforma lineal o predecible, sino en forma oportu-nista, dependiendo de las oportunidades y con-tratiempos que surgían, y según como ibandescubriendo qué iniciativas funcionaban bien ono funcionaban.

En este contexto, es importante dar seguimientoy evaluar en forma periódica el sistema de SyE ensí –tal como se evaluaría con regularidad cual-quier otra área de reforma del sector público.Efectivamente, realizar esfuerzos constantes parafortalecer un sistema de SyE es una manera de quequienes se encargan de dichos esfuerzos den elejemplo. Algunos aspectos de un sistema de SyEvan de acuerdo con un seguimiento regular, comoel número de evaluaciones realizadas o la me-dida en que sus recomendaciones son imple-mentadas. Otros aspectos pueden requerir unaevaluación más profunda de vez en cuando, por

7 0

I V: C Ó M O F O RTA L E C E R U N S I ST E M A D E S y E G U B E R N A M E N TA L

ejemplo saber hasta qué punto se utiliza la infor-mación del SyE en la toma de decisiones del pre-supuesto o en la calidad de los datos delseguimiento.

Por tanto, un diagnóstico es un tipo de evaluaciónque puede identificar el grado de progreso al-canzado y así poder realizar cualquier correcciónnecesaria a mitad del camino. Es importante notarque las oficinas nacionales de auditoría han tenidouna función importante en la revisión de los re-sultados de los sistemas de SyE, por medio de au-ditorías de desempeño (Australian National AuditOffice, 1997; Mackay, 2004; Office of the Auditor-General of Canada, 2003; GAO, 2004), y en el im-pulso a sus ministerios para realizar las mejorasnecesarias –por ejemplo, en Australia, Canadá yEstados Unidos de América.

¿Qué temas debe abordar undiagnóstico?En el sentido más simple, un diagnóstico debe de-terminar lo que funciona y lo que no funciona –lasfortalezas y desafíos del sistema de SyE– y las ra-zones de ello.

Un diagnóstico de SyE debería determinar unaserie de temas clave (Recuadro 12.1). Estos temasson relevantes, ya sea en un enfoque del diag-nóstico nacional o de un ministerio o depen-dencia sectorial en particular, aunque con distintosmatices. Los temas incluyen lo siguiente:

• El origen del sistema de SyE existente (se su-pone que ya existe algún tipo de sistema, o sis-temas);

• La administración del sistema y las funcionesy responsabilidades de las partes claveinteresadas;

• El ambiente del sector público y la posibilidadde que haya incentivos para tomar con serie-dad el SyE;

• Las principales formas actuales de utilizar la in-formación del SyE, especialmente la funciónque tiene en el proceso presupuestario y su uti-lización por ministerios y dependenciassectoriales;

• Los tipos de SyE que se utilizan con mayorfrecuencia;

• Responsabilidades para recopilar informaciónde desempeño y conducir las evaluaciones;

• Alcance del apoyo de los donantes para el SyE,y

• Fortalezas y desafíos en general del sistema osistemas de SyE.

El propósito de un diagnóstico es mucho másque hacer un mero inventario. Se requiere uncriterio muy cuidadoso en relación con la pre-sencia o ausencia de factores de éxito para la cre-ación de un sistema de SyE, según se señaló enel capítulo 10. Por eso, es importante entender lafuerza de la demanda del gobierno por informa-ción del SyE y saber si existe un promotor influ-yente del gobierno a favor del SyE.

Por otro lado, es importante saber si existen ba-rreras para crear sistemas de SyE, como podría serla falta de demanda real y propiedad; la falta deuna cultura moderna de toma de decisiones ba-sada en evidencias y rendición de cuentas (en al-gunos países, esto se debe a cuestiones éticas ode corrupción); la falta de evaluación, contabili-dad o habilidades de auditoría; o la mala calidady credibilidad de información financiera o de re-sultados. Este conocimiento conlleva natural-mente a la preparación de un plan de acción parafortalecer los sistemas de SyE existentes o para de-sarrollar uno completamente nuevo (se analiza enel capítulo 13).

Aun cuando los temas precedentes son, en granparte, genéricos para todos los países, es necesarioadaptar el enfoque según la naturaleza del país.De esta manera, los países de ingreso medio o deingreso medio alto podrían tener una comunidadde evaluación fuerte, ubicada en universidades einstitutos de investigación. Sin embargo, la ofertade experiencia en evaluaciones sería muy limitadaen muchos de los países más pobres –por ejem-plo, los que preparan estrategias para reducciónde la pobreza (véase el capítulo 9). Además, lospaíses pobres son más propensos a enfocarse ensistemas de seguimiento de la pobreza en parti-cular y es probable que tengan muchas más difi-cultades para hacer frente a los múltiples ydesarmonizados requerimientos del SyE por partede los donantes. Generalmente, la presión que

12 : L A I M P O R TA N C I A D E U N D I AG N Ó S T I C O D E PA Í S

7 1

7 2


Recuadro 12.1 Temas clave para el diagnóstico de un sistema de SyE gubernamental

1. Origen del sistema de SyE existente –función de los defen-sores o promotores del SyE; situaciones clave que dieron prio-ridad a la información del SyE (por ejemplo, elección de ungobierno con ideas reformistas, crisis fiscal).

2. El ministerio o dependencia responsable de la administracióndel sistema de SyE y de las evaluaciones de planeación–Funciones y responsabilidades de los actores principalesdel sistema de SyE, por ejemplo, el ministerio de hacienda,el ministerio de planeación, la oficina del presidente, los mi-nisterios sectoriales, el Parlamento o Congreso; posible exis-tencia de varios sistemas descoordinados de sistemas de SyEen los niveles nacional y sectorial; importancia de los temasfederales, estatales y locales para el sistema de SyE.

3. El ámbito del sector público, ya sea que éste facilite o difi-culte a los administradores desempeñarse en niveles altosy ser responsables por su desempeño –incentivos para quelas partes interesadas tomen en serio el SyE y fortalezcan lademanda de información del SyE. ¿Pueden las reformas delsector público en marcha beneficiarse de un mayor énfasisen la medición del desempeño del gobierno? Reformas talescomo una estrategia para la reducción de la pobreza, pre-supuesto por resultados, fortalecimiento de las habilidadespara el análisis de políticas, creación de una cultura de de-sempeño entre los empleados públicos, mejoras en la pres-tación de servicios como normas de atención al cliente,descentralización gubernamental, mayor participación dela sociedad civil o una estrategia contra la corrupción.

4. Los principales aspectos de la administración del sector pú-blico que el sistema de SyE apoya por completo son: (i) tomade decisiones presupuestarias; (ii) planeación nacional osectorial; (iii) administración del programa, y (iv) relacionesde rendición de cuentas (al ministerio de hacienda, a la ofi-cina del presidente, al Parlamento, a los ministerios secto-riales, a la sociedad civil).

• La verdadera función de la información del SyE en las di-ferentes etapas del proceso presupuestario: como la ase-soría y la planeación de políticas, la toma de decisionesdel presupuesto, revisión e informe del desempeño; po-sible desconexión entre el trabajo del SyE de los minis-terios sectoriales y la utilización de dicha información enel proceso presupuestario; la existencia de alguna des-conexión entre el proceso presupuestario y la planeación

nacional; oportunidades para fortalecer la función delSyE en el presupuesto.

• El grado en que la información del SyE que encargan laspartes clave interesadas (por ejemplo el ministerio dehacienda) es utilizada por otros, como los ministeriossectoriales; si no es utilizada, las barreras para su empleo;cualquier evidencia sólida que se refiera al grado de uti-lización que le dan las diversas partes interesadas (porejemplo, una revisión o estudio de diagnóstico); ejemplosde evaluaciones significativas que hayan sido altamenteinfluyentes en el gobierno.

5. Tipos de instrumentos de SyE enfocados en el sistema de SyE:indicadores de desempeño comunes, revisiones o evalua-ciones rápidas, auditorías de desempeño, evaluaciones deimpacto rigurosas y profundas; tamaño y costo de cada unode estos tipos de SyE; forma en que se establecen las prio-ridades de evaluación –enfocadas en los programas pro-blema, programas experimentales, programas de grandesgastos o de alta visibilidad, o sobre una agenda de investi-gación sistemática para responder preguntas acerca de laeficacia del programa.

6. Quién es responsable de recopilar la información de de-sempeño y conducir las evaluaciones (por ejemplo, los pro-pios ministerios, los académicos o las firmas consultoras);cualquier problema con la calidad o confiabilidad de losdatos o con la calidad de las evaluaciones hechas; fortale-zas y desafíos de la oferta local de SyE; limitaciones clavede la capacidad y las prioridades de fortalecimiento de la ca-pacidad del gobierno.

7. Grado de apoyo de los donantes para el SyE en los últimosaños; proyectos de los donantes que financian el SyE entodos los niveles del gobierno, de sector o de dependencia–suministro de asistencia técnica, fortalecimiento de la ca-pacidad y fondos para llevar a cabo evaluaciones impor-tantes, como las evaluaciones de impacto rigurosas.

8. Conclusiones: fortalezas y desafíos del sistema de SyE en ge-neral; su sostenibilidad, en términos de vulnerabilidad a cam-bios en el gobierno, por ejemplo, qué tanto depende de losfondos del donante u otro tipo de apoyo; planes actuales paraun futuro fortalecimiento del sistema de SyE.

ejercen los donantes es el principal motor de losesfuerzos del gobierno para fortalecer los sistemasde SyE; puede ser que el sentido de pertenenciade los esfuerzos que realizan los países no sea su-ficiente. Un análisis más a profundo sobre temasde diagnóstico lo presenta Mackay en 1998b.2

Profundidad del diagnósticoUna pregunta que surge con frecuencia es cuántotiempo demoraría llevar a cabo un diagnóstico deSyE. Esta pregunta no tiene una respuesta simple,todo depende de los fines para los que se haceel diagnóstico, la variedad de temas en investi-gación y el tiempo y presupuesto disponibles.En algunos casos, una misión de una semana enun país es suficiente como punto de partida paratener un amplio conocimiento de los temas claveque enfrenta un gobierno interesado en fortale-cer sus funciones del SyE. Al otro extremo del es-pectro se encuentra una evaluación mucho másformal, detallada y profunda de un sistema deevaluación de un gobierno, como la que el go-bierno de Chile encargó al Banco Mundial (Rojasy otros, 2005). La evaluación de Chile tuvo unequipo de siete personas que trabajaron durantevarios meses. Se enviaron varias misiones a Chiley se entrevistó a gran número de funcionarios delgobierno, de ministerios centrales y sectoriales;además, se realizaron revisiones muy detalladasde la calidad y la utilización de la evaluación. Di-chos diagnósticos a profundidad pueden llegar acostar varios cientos de miles de dólares.

Otros temas deben ser investigados a profundidad,como la calidad y credibilidad de la informaciónde seguimiento y de los sistemas de informaciónsectoriales que proporcionan esta información.3

Otro posible tema sería la capacidad de las uni-versidades y otras organizaciones que ofrecen ca-pacitación en SyE; dicho entrenamiento es unelemento común de los planes de acción paraayudar en la institucionalización del SyE. Una guíade diagnóstico para evaluar organizaciones de en-trenamiento la proporciona Adrien (2003); undiagnóstico real para Ghana también se encuen-tra disponible en esta guía (Adrien, 2001).

Los diagnósticos del Banco conducidos para Co-lombia y Uganda se encuentran en un punto

medio entre los dos extremos, el de la misión deuna semana y el de una evaluación a fondo. Losdiagnósticos de esos países comprendieron variasmisiones para discutir con funcionarios de altonivel y representantes de la sociedad civil, revisardocumentos (por ejemplo, declaraciones sobre lapolítica del gobierno, documentos relacionadoscon proyectos importantes de donantes y cual-quier diagnóstico previo del país –del SyE, de re-formas del sector público o de temas deadministración del gasto público), y dar confe-rencias o seminarios formales sobre sistemas deSyE gubernamentales.

El diagnóstico de Colombia involucró a variosempleados del Banco que trabajaron muy decerca con sus contrapartes del gobierno durantela visita de varias misiones al país (Mackay y otros,2007); este diagnóstico se incluye en el anexo B.El anexo C presenta una serie de términos de re-ferencia ilustrativos para un posible diagnósticoa profundidad futuro del sistema de SyE deColombia.

Los diagnósticos de Uganda –en 2001, con un se-guimiento en 2003– los realizó un consultor delBanco durante el curso de varias misiones, con laestrecha colaboración y apoyo de las contrapartesdel gobierno (Hauge, 2001, 2003). El diagnósticode Uganda de 2001 se resume en el cuadro 9.1.

El alcance del diagnóstico de un sector sería máslimitado que el enfocado en el gobierno en con-junto, aunque muchos o la mayoría de los temascentrales serían los mismos. Un diagnóstico de unsector necesitaría centrarse, entre otras cosas, enla función de las actividades de SyE del sector quecontribuyen con los sistemas de SyE de todo elgobierno. De hecho, sería posible llevar a cabo undiagnóstico del sector como parte de un diag-nóstico nacional; ello ayudaría a entender lostemas de institucionalización del SyE en el nivelsectorial, o si el gobierno está considerando ex-perimentar nuevas iniciativas de SyE en ministe-rios sectoriales seleccionados.

Dependiendo de los temas que deben tratarse enun diagnóstico, también sería necesario armarun equipo de expertos con una amplia variedad

12 : L A I M P O R TA N C I A D E U N D I AG N Ó S T I C O D E PA Í S

7 3

de conocimientos. Un equipo podría estar con-formado por personas con experiencia en algu-nos o todos los siguientes aspectos: admi-nistración de sistemas de SyE gubernamentales,indicadores y sistemas de desempeño, sistemasestadísticos, evaluación, reformas en la adminis-tración del sector público y presupuesto porresultados.

Si también está previsto el proyecto de un donantepara apoyar el desarrollo de un sistema de SyE,entonces sería importante incluir en el equipo dediagnóstico algunos miembros de parte del do-nante con experiencia relevante. Sin lugar a dudas,es importante la participación de altos funciona-rios del gobierno en el diagnóstico –para apro-vechar sus conocimientos y opiniones acerca delsistema vigente de SyE y de la manera en quepuede fortalecerse, y para garantizar la aceptaciónde sus hallazgos en el diagnóstico, así como susrecomendaciones.

ConclusionesUn diagnóstico de los sistemas de SyE de un paíspuede ofrecer una comprensión sólida de susfortalezas y desafíos. Esto es muy importante parapoder desarrollar un plan de acción que sea adap-tado apropiadamente según la visión que se tengadel futuro del sistema de SyE, especialmente entérminos del uso que se desea dar a la informa-ción del seguimiento y a los hallazgos de la eva-luación, los cuales son específicos para cada país.Tal diagnóstico también podría ofrecer una líneade partida con la cual se puede evaluar el progresofuturo, y se podrían realizar modificaciones al sis-tema según surgieran nuevas oportunidades oaparecieran contratiempos y barreras.

El proceso de conducir un diagnóstico ofrece unmedio para que los funcionarios de alto nivel enlos ministerios clave, centrales o sectoriales, par-ticipen junto con los donantes en establecer los

fines, usos y diseño del sistema o sistemas deSyE del gobierno. Los diagnósticos pueden brin-dar sorprendentes resultados acerca de la multi-plicidad de sistemas descoordinados o duplicados.Tales resultados pueden ayudar a promover unconsenso sobre un plan de acción para fortalecerel sistema.

Sin embargo, no es fácil llegar a un consensosobre las funciones y responsabilidades dentro deun sistema de SyE para todo el gobierno. Los mi-nisterios y dependencias sectoriales pueden pre-ferir no estar sujetos a requerimientos formalesdel SyE, definidos de manera centralizada, o lospropios ministerios centrales pueden disputarseel control de un nuevo o rejuvenecido sistema deSyE.4 Un enfoque de mayor colaboración y demenor confrontación puede ayudar a reducirestas diferencias.

Un diagnóstico debe incluir un balance objetivoy opiniones prudentes sobre la presencia o au-sencia de varios factores de éxito para crear un sis-tema de SyE, como un promotor influyente ycomprometido con el SyE. Un diagnóstico rápidopuede ofrecer una perspectiva general sobre unaserie de temas clave, pero no se puede esperar quesea completo ni equilibrado. Un diagnóstico de-tallado y a fondo incluiría estudios más comple-tos en áreas específicas que se consideranimportantes para el país, como la calidad de lossistemas de información o una investigación de-tallada del alcance real del uso de la informacióndel SyE.

La mayoría de los diagnósticos no son muy rápi-dos ni demoran mucho en realizarse, ni tampocoson muy profundos; generalmente se ubican entreestos dos extremos. No obstante, un diagnósticosólido requiere mucho cuidado; es sumamente im-portante contar con la experiencia y buen criteriode aquellos que preparan el diagnóstico.

7 4


7 5

Preparación de planes de acción

Un tema central de este libro es que no existe un modelo consideradocomo el “mejor” para un sistema de SyE gubernamental o sectorial.Todos los países difieren considerablemente en el énfasis que cada uno

otorga a los propósitos de un sistema de SyE –por ejemplo, apoyar la tomade decisiones sobre el presupuesto o la administración de las actividades encurso o la rendición de cuentas.

Cada país es único en términos de sus actividades,funciones y sistemas de SyE, y en términos de sucultura y del ambiente de su sector público. Portanto, un plan para crear o fortalecer un sistemade SyE gubernamental debe adaptarse a las cir-cunstancias propias del país. Por ello resulta im-portante llevar a cabo un diagnóstico de lasfortalezas y desafíos del SyE de un país, como basepara desarrollar un plan de acción (Capítulo 12).

Visión del sistema a futuroLo ideal es que un diagnóstico conduzca a unaclara definición de lo que debería ser el sistemade SyE en el futuro. Las dimensiones del sistema–su diseño– deberían incluir especialmente los si-guientes elementos:

1. Cuál de los cuatro usos posibles de la infor-mación del SyE será el objetivo del sistema, re-conociendo las compensaciones entre ellos:apoyar la toma de decisiones presupuestariaso la planeación nacional; ayudar a los minis-terios en la formulación y análisis de políticasy en el desarrollo de programas; apoyar a los

ministerios y dependencias en el manejo de susactividades; y fortalecer las relaciones de ren-dición de cuentas (Capítulo 3).

2. Las funciones y responsabilidades formales delas partes clave interesadas del sistema de SyE–aquellos que deben generar la información delseguimiento y la evaluación y hacer uso deella. Es importante ubicar la responsabilidad dela administración o supervisión en un minis-terio poderoso, comité u otra entidad.

3. Determinar si se desarrollará un sistema paratodo el gobierno, que abarque a todos los mi-nisterios centrales, sectoriales y dependen-cias, o si el sistema se va a enfocar de forma máslimitada hacia sectores o dependencias indi-viduales. Algunos gobiernos desarrollan unsistema de SyE sólo para operaciones finan-ciadas por donantes en sus países.1

4. Los niveles del gobierno en los que el sistemade SyE será desarrollado: central, estatal, pro-vincial o local.

13

5. La variedad de instrumentos del SyE en que elsistema se concentrará: indicadores de de-sempeño, evaluaciones rápidas, evaluacionesde impacto rigurosas, etcétera. Es posible crearun sistema de seguimiento de desempeñoconfiable sin conducir ninguna evaluación; sinembargo, la conducción de evaluaciones re-quiere información de desempeño útil, ya seade un sistema de seguimiento o de estudios es-peciales o de ambos.

Temas de implementaciónUna vez que ha sido formulada la visión del sis-tema de SyE en operación, es posible desarrollarun plan de acción para lograrlo. Este plan debeconsiderar las enseñanzas internacionales sobrela creación de sistemas de SyE para un país (Ca-pítulo 10). De hecho, no tendría sentido desa-rrollar un plan de acción a menos que exista unademanda significativa de SyE dentro del gobierno.

Un plan de acción también puede diseñarse parareforzar la demanda, por ejemplo, garantizandoque todas las partes clave interesadas tengan unafunción importante en la planeación o adminis-tración del sistema de SyE, como puede ser me-diante su participación en un comité desupervisión o de planeación. Puede existir la ne-cesidad de crear incentivos específicos para elfortalecimiento de la demanda adicional; estos in-centivos podrían incluir una combinación de pre-mios, castigos y consejos (Capítulo 11). En otraspalabras, sería un error crear un plan de acciónenfocado solamente en temas tecnocráticos o deoferta.

El fortalecimiento de un sistema de SyE existenteo el crear uno completamente nuevo puede tenerdiferentes enfoques. Los temas de implementa-ción que se deben abordar en un plan de acciónson los siguientes:

• Hasta qué punto el enfoque se dirige al forta-lecimiento del existente: mejorar los sistemasde información de gestión financiera (rastrearasignaciones presupuestarias y gastos reales)o mejorar los sistemas de seguimiento de losministerios, especialmente datos administra-tivos sobre las actividades del gobierno, be-

neficiarios y productos (cabe notar que, engeneral, estos datos son recopilados en lasmismas dependencias).

• Si los nuevos enfoques se van a sondear, conla idea de su posterior implementación si al-canzan el éxito, lo cual podría incluir, por ejem-plo, la implementación de nuevos requisitosformales para el SyE en ministerios o depen-dencias prueba con un fuerte compromisopara llevar a cabo y utilizar el SyE, y donde yase cuenta con registros de éxito. Estas pruebasexperimentales pueden desarrollarse en otrosniveles, por ejemplo, en algunos estados omunicipalidades en particular. Pruebas expe-rimentales para evaluaciones rápidas o eva-luaciones de impacto rigurosas se puedenprever para instrumentos de evaluación espe-cíficos, si la experiencia del país con ellos esmuy poca o nula.

• Cuándo y qué tan rápido debe establecerse. Porejemplo, en Chile, ciertos instrumentos de SyEse establecieron de manera secuencial: los in-dicadores de desempeño en 1994; las revisio-nes rápidas en 1996; las evaluaciones de impactorigurosas en 2001; y las revisiones exhaustivasdel gasto en 2002 (Capítulo 6). México estáplaneando establecer su nuevo sistema de SyEpara todo el gobierno en un período de tresaños (2007–2009) (Hernández, 2007).

La rapidez de implementación de un plan de ac-ción es claramente muy importante. Éste es untema de “asimilación” –cuánto cambio o reformadeL SyE pueden absorber los ministerios y de-pendencias, y cuán rápido. Hemos aprendido,de países que han tenido éxito en crear sistemasde SyE, que se trata de un largo y tedioso proceso,que requiere mucha paciencia y tenacidad (Ca-pítulo 10); los promotores deL SyE en el go-bierno, por el contrario, tienden a ser impacientescuando realizan reformas en sus sistemas de SyE.Otra enseñanza es institucionalizar un sistemade SyE tan rápido como sea posible, antes deque los promotores se retiren.

Según se subrayó en el capítulo 10, es muy útil darseguimiento y evaluar de manera regular el sistemade SyE en sí, para identificar con qué éxito seestán implementando sus diversos componen-

7 6


tes. Esto ofrece una base sólida para cualquier cam-bio necesario en la naturaleza, tamaño y tiempode implementación del plan de acción, y obvia-mente es importante si se ha adoptado un enfo-que experimental.

Los planes de acción pueden enfocarse en algu-nas o todas las siguientes partes interesadas: mi-nisterios y funcionarios del gobierno, tales comoministerios y dependencias sectoriales; gobiernossubnacionales, en los estados, provincias o dis-tritos; el Parlamento o Congreso, incluidos losrepresentantes elegidos, comités y sus colabora-dores; y grupos de la sociedad civil como uni-versidades, institutos de investigación y ONG.Las acciones adoptadas más comúnmente puedenincluir, por ejemplo, ofrecimiento de capacita-ción en el SyE, promulgación de leyes, decretosy regulaciones que sean necesarios; preparaciónde lineamientos y parámetros del SyE, fortaleci-miento y armonización de los sistemas de segui-miento, y conducción de diversos tipos deevaluaciones, como revisiones rápidas y evalua-ciones de impacto rigurosas.

CompensacionesCuando se desarrolla un plan de acción, se debetener en cuenta una serie de temas, entre ellos elde las compensaciones. Uno de ellos es que unsistema de SyE para todo el gobierno, que es ad-ministrado por el ministerio de hacienda confines de elaboración de presupuesto por resulta-dos, debería garantizar cobertura amplia de todoslos programas. Una forma de lograr la total am-plitud de la cobertura es confiar en los indicado-res de desempeño; pero su desventaja es quegeneralmente proporcionan muy poca informa-ción sobre las razones por las que se lograron losresultados o no –en otras palabras, las causas deun buen o mal desempeño.

Las revisiones rápidas pueden ofrecer algunas re-flexiones sobre las causas, y como éstas resultanmenos costosas que otros métodos de evalua-ción, también pueden ofrecer una cobertura másamplia de los programas del gobierno. Los ha-llazgos de evaluación más confiables son los queprovienen de una evaluación de impacto rigu-rosa, aunque estas evaluaciones pueden ser muy

costosas, por eso es difícil que un ministerio dehacienda las use para evaluar una amplia gama deprogramas (Capítulo 2). Por lo general, hay unasuerte de compensación al tener que escogerentre los instrumentos de SyE y los usos que sepretende dar a la información del SyE.

Otra compensación ocurre entre el que encargalas evaluaciones y el que debe utilizarlas. El Mi-nisterio de Hacienda de Chile encarga una seriede evaluaciones y las utiliza de manera efectivapara sus propios fines; pero los ministerios sec-toriales y las dependencias ponen mucha resis-tencia para utilizarlas para sus propios finesinternos –las entidades no son “dueñas” de los re-sultados de las evaluaciones (Capítulo 6). Seríamuy difícil que un sistema de SyE impuesto porun ministerio central fuera aceptado por los mi-nisterios sectoriales.

El Departamento de Finanzas de Australia trató deabordar este tema dejando a los ministerios sec-toriales la principal responsabilidad de planificary conducir las evaluaciones –esto aseguró queellos tuvieran un alto sentido de “propiedad”sobre los hallazgos de las evaluaciones (Capítulo8). Sin embargo, esta propiedad tuvo su precio:prácticamente un tercio de las evaluaciones su-frieron algún tipo de debilidad metodológica.2

Ello pone en evidencia otro tipo de compensación:las evaluaciones conducidas internamente puedentener una alta propiedad, pero aquellas que seconducen externamente tal vez sean más riguro-sas y objetivas.

En la figura 13.1 se presenta una cadena de re-sultados simple para crear un sistema de SyE.Este cuadro ofrece una representación simplifi-cada de cómo un plan de acción puede desen-cadenar varios tipos de productos, como elnúmero de funcionarios capacitados en el SyE, elnúmero de evaluaciones conducidas, etcétera.Se espera que estos productos, a su vez, con-duzcan a efectos directos intermedios, como la de-manda fortalecida del SyE del gobierno, y a efectosdirectos finales, incluida la utilización de la in-formación del seguimiento y de los hallazgos deevaluación por parte del gobierno y otras enti-dades. Se espera que estos efectos directos

13 : P R E PA R AC I Ó N D E P L A N E S D E AC C I Ó N

7 7

7 8


Figura 13.1 Cadena de resultados para la creación de un sistema de SyE gubernamental

Impacto

Efectosdirectosfinales

Efectosdirectos

intermedios

Productos

Actividades

Gobierno Congreso Sociedad civil

El SyE se usa para la toma de decisiones del gobierno en temas de política, planes y asignación de los recursos del presupuesto; implementación y administración de las actividades del gobierno; seguimiento de actividades, contabilidad de gastos, evaluación de programas y proyectos; análisis de gobierno y revisión de políticas; rendición de cuentas del gobierno.

El plan de acción lleva a la generación de una gama de productos, como el número de funcionarios capacitados en el SyE, sistema de datos armonizados, mejoras en la calidad y enfoque de los indicadores de seguimiento disponibles, mejoras en la calidad y tipos de evaluaciones completadas, refuerzo de los incentivos para los ministerios a fin de que realicen y usen el SyE.

El gobierno y los donantes llevan a cabo un paquete de actividades para fortalecer las funciones del SyE de los países, como seminarios nacionales en sistemas de SyE; diagnósticos de las funciones del SyE nacionales y sectoriales; auditorías de los sistemas de datos; suministro de entrenamiento en el SyE –incluida la capacitación para entrenadores– o becas para funcionarios, ONG, universidades e institutos de investigación, de congresistas; varios tipos de evaluaciones experimentales o demostrativas se llevan a cabo.

El marco o sistema formal del SyE lo establece el gobierno guiándolo hacia la planeación, conducción e información sistemáticos y la utilización de la información del seguimiento y de los hallazgos de la evaluación.

Mejoras en la prestación de servicios, crecimiento económico y reducción de la pobreza

Mejoras en la efectividad del desarrollo

Mejoras en el desempeño del gobierno

La información del SyE apoya directamente la toma de decisiones del presupuesto, planeación nacional y formulación de políticas.

Refuerzo de la oferta del SyE y sus técnicas en el gobierno.

Refuerzo de sistemas de SyE gubernamentales.

Refuerzo de la demanda del SyE en el Congreso; refuerzo de las aptitudes de SyE de los congresistas.

Refuerzo de la demanda del SyE en la sociedad civil; refuerzo de la oferta del SyE y sus técnicas en la sociedad civil.

La información del SyE apoya directamente la gestión de las actividades en curso del gobierno.

El Parlamento evalúa y debate el desempeño del gobierno.

La sociedad civil evalúa el desempeño del gobierno y libremente hace aportes a los debates políticos.

➩➩

➩➔

➔➔

➔➔

Refuerzo de la demanda del SyE en el gobierno.

ayuden a alcanzar los impactos finales, como el de-sempeño mejorado del gobierno, mejor desa-rrollo de la eficacia, prestación de serviciosmejorada y reducción de la pobreza.

Lista de acciones para mejorar el SyEEl cuadro 13.1 presenta una lista de posibles ac-ciones para mejorar la oferta y la demanda del SyE.Ésta no es una lista minuciosa, por el contrario,ilustra la amplitud y naturaleza de las acciones quepueden utilizarse para crear o fortalecer sistemasde seguimiento y evaluación. En el recuadro 9.2,se puede apreciar un ejemplo de plan de acción,que proviene directamente de un diagnóstico deSyE en un país: Uganda.

Otro ejemplo es el proyecto del Banco Mundial de-sarrollado para ayudar al gobierno de Colombia afortalecer su sistema nacional de SyE, SINERGIA(Capítulo 7 y anexo B). Este proyecto de 14 mi-llones de dólares tiene cuatro funciones: 1) apo-yar un mejor seguimiento del gasto del gobiernoen los niveles regional y local; 2) consolidar la ins-titucionalización de SINERGIA dentro del go-bierno; 3) apoyar el desarrollo de sistemas de SyEregionales y locales, en parte mediante un enfo-que experimental; y 4) establecer mecanismospara mejorar la calidad, la importancia y la efica-cia en función de los costos de la información pú-blica. Este proyecto se basa en el diagnóstico deSINERGIA realizado por el Banco (Anexo B). Esteproyecto también incluye numerosos diagnósticosplaneados de temas más detallados y específicos:

• Una revisión de los acuerdos institucionalesexistentes, en especial, determinar hasta quépunto la información del SyE de SINERGIA seha utilizado para apoyar la planeación nacionaly la toma de decisiones del presupuesto. Estarevisión recomendó incrementar el nivel de usode la información del SyE por parte delgobierno.

• Una revisión de estructuras del SyE, acuerdosinstitucionales y competencias en dos minis-terios centrales. Esto ayudará a establecer losparámetros de calidad del SyE que todos los mi-nisterios y dependencias requerirán.

• Una evaluación de las capacidades del SyE dela unidad del DNP que administra a SINERGIA

y proporciona asistencia técnica a otros mi-nisterios y dependencias.

• Una revisión de las leyes, decretos y regula-ciones existentes relacionadas con el SyE.

• Una revisión del costo, calidad y eficacia en fun-ción de los costos de los diversos instrumen-tos y técnicas de evaluación que se usan en laactualidad en el sistema SINERGIA.

• Un diagnóstico de las competencias necesariaspara establecer un presupuesto por resultados.

• Un diagnóstico de la calidad y utilización de lainformación de desempeño y de los sistemasde información en dos municipios prueba.

• Una evaluación de los mecanismos de rendi-ción de cuentas locales en algunos municipiosque han demostrado buenas prácticas.

• Una evaluación de la metodología que el DNPutiliza en la actualidad para evaluar el desem-peño de 1.100 municipios de Colombia.

• Una revisión de la calidad de los datos y del al-cance de la armonización de los datos entre losprincipales sistemas de seguimiento del go-bierno central de Colombia.

• Una evaluación de la calidad, importancia yutilización del sistema principal del DNP paradar seguimiento al desempeño del gobierno.

ConclusionesUna estrategia útil para crear un sistema de SyE gu-bernamental es comenzar por un diagnóstico de lasactividades del SyE en curso dentro del gobierno.Al mismo tiempo, se debe desarrollar una visión decómo debería ser un sistema de SyE que funcionebien. Estas pautas básicas conducen naturalmenteal desarrollo de un plan de acción que incluye unenfoque progresivo hacia su implementación.

En este momento debería estar bastante claroque no tendría sentido aplicar un enfoque nor-malizado o un enfoque “de molde” para desa-rrollar un sistema de SyE gubernamental. El plande acción para crearlo necesita ser cuidadosa-mente adaptado a las circunstancias individualesde cada país y a la visión particular del gobiernosobre el futuro sistema. Esta visión puede abar-car los usos específicos que se pretende dar a lainformación de seguimiento y a los hallazgos de


7 9

—texto continúa en página 83—

8 0


Cu

adro

13

.1 A

ccio

nes

po

sib

les

par

a fo

rtal

ecer

lo

s si

stem

as d

e S

yE e

n lo

s n

ivel

es n

acio

nal

y s

ecto

rial

Refo

rzar

la d

eman

da d

el S

yE d

elgo

bier

no

Refo

rzar

la o

fert

a y

desa

rrol

lar

capa

cida

des

del S

yE e

n el

gobi

erno

Refo

rzar

los

sist

emas

de

SyE

Refo

rzar

la d

eman

da d

el S

yE d

e la

soci

edad

civ

il y

del C

ongr

eso

Refo

rzar

la o

ferta

y el

des

arro

llo

de c

ompe

tenc

ias d

el S

yE e

n la

soci

edad

civ

il y e

n lo

s con

gres

ista

s

Ofre

cer p

rem

ios,

cas

tigos

y c

onse

jos

para

refo

rzar

la d

eman

da (C

uadr

o11

.1).

Los

dona

ntes

reco

mie

ndan

el S

yE y

se c

once

ntra

n en

los

resu

ltado

s.Di

fund

en e

jem

plos

de

eval

uaci

ones

influ

yent

es.

Los

dona

ntes

con

serv

an y

difu

nden

laex

perie

ncia

de

otro

s pa

íses

con

sist

emas

de

SyE.

Orga

niza

r sem

inar

ios

naci

onal

es d

eco

ncep

tual

izaci

ón s

obre

las

opci

ones

de lo

s si

stem

as d

e Sy

Egu

bern

amen

tale

s.

Orga

niza

r sem

inar

ios

sobr

e lo

sha

llazg

os d

e ev

alua

ción

de

dona

ntes

(por

eje

mpl

o, d

el B

anco

Mun

dial

) que

sean

impo

rtant

es p

ara

el p

aís

–dem

ostra

r la

utili

dad

de la

eval

uaci

ón.

Orga

niza

r sem

inar

ios

regi

onal

esso

bre

los

sist

emas

de

SyE

gube

rnam

enta

les.

Efec

tuar

dia

gnós

ticos

nac

iona

l yse

ctor

ial d

e la

s fu

ncio

nes

del S

yE–r

esal

tar p

robl

emas

y o

portu

nida

des.

Fom

enta

r red

es re

gion

ales

de

adm

i-ni

stra

dore

s y

prac

tican

tes

del S

yE–u

na c

omun

idad

de

usua

rios.

Llev

ar a

cab

o au

dito

rías

de in

form

a-ci

ón n

acio

nal y

sec

toria

l. Re

aliza

rdi

agnó

stic

os d

e or

gani

zaci

ones

que

ofre

cen

capa

cita

ción

en

el S

yE.

Los

dona

ntes

con

serv

an y

difu

nden

la e

xper

ienc

ia d

e ot

ros

país

es c

onsi

stem

as d

e Sy

E.

Coor

dina

r y a

rmon

izar e

l SyE

de

los

país

es d

onan

tes.

Ince

ntiv

ar la

est

rech

a co

ordi

naci

ónco

n la

labo

r de

otro

s do

nant

es p

ara

forta

lece

r los

sis

tem

as d

e Sy

E ce

n-tra

les

y se

ctor

iale

s de

l gob

iern

o.

Efec

tuar

dia

gnós

ticos

nac

iona

l yse

ctor

ial d

e la

s fu

ncio

nes

del S

yE–d

eman

da, o

ferta

, sis

tem

as y

op-

cion

es p

ara

los

plan

es d

e ac

ción

.

Los

dona

ntes

reco

mie

ndan

el S

yE y

se c

once

ntra

n en

los

resu

ltado

s. D

i-fu

nden

eje

mpl

os d

e ev

alua

cion

esin

fluye

ntes

.

Los

dona

ntes

con

serv

an y

difu

nden

la e

xper

ienc

ia d

e ot

ros

país

es c

onsi

stem

as d

e Sy

E.

Orga

niza

r sem

inar

ios

naci

onal

es d

eco

ncep

tual

izaci

ón s

obre

las

opci

o-ne

s de

los

sist

emas

de

SyE

gube

r-na

men

tale

s.

Orga

niza

r sem

inar

ios

sobr

e lo

s ha

-lla

zgos

de

eval

uaci

ón d

e do

nant

es(p

or e

jem

plo,

del

Ban

co M

undi

al)

que

sean

impo

rtant

es p

ara

el p

aís

–dem

ostra

r la

utili

dad

de la

eva

lua-

ción

.

Efec

tuar

dia

gnós

ticos

nac

iona

l yse

ctor

ial d

e la

s fu

ncio

nes

del S

yE–r

esal

tar p

robl

emas

y o

portu

nida

-de

s.

Real

izar d

iagn

óstic

os d

e or

gani

zaci

o-ne

s qu

e of

rece

n ca

paci

taci

ón e

n el

SyE.


8 1

Inco

rpor

ar e

l SyE

com

o co

mpo

nent

ede

la a

dmin

istra

ción

del

sec

tor

públ

ico

y de

l gas

to p

úblic

o de

ldo

nant

e y

del g

obie

rno.

Iden

tific

ar y

apo

yar a

los

prom

otor

esde

l SyE

. Pro

mov

er la

col

abor

ació

nen

tre la

s pa

rtes

clav

e in

tere

sada

s de

lgo

bier

no e

n el

sis

tem

a de

SyE

–esp

ecia

lmen

te e

n la

pla

neac

ión

ysu

perv

isió

n de

l sis

tem

a.

Esfo

rzar

se p

or e

xigi

r el S

yE m

edia

nte

deci

sion

es, d

ecre

tos,

regl

amen

tos

yle

yes

del g

obie

rno.

Inco

rpor

ar e

l SyE

com

o co

mpo

nent

ede

la a

dmin

istra

ción

del

sec

tor p

ú-bl

ico

y de

l gas

to p

úblic

o re

laci

ona-

dos,

por

eje

mpl

o, e

n pr

esup

uest

opo

r res

ulta

dos;

ges

tión

basa

da e

nre

sulta

dos

y pl

anea

ción

est

raté

gica

;en

foqu

es s

ecto

riale

s; p

rogr

amas

de

refo

rmas

sec

toria

les;

pre

stac

ión

dese

rvic

ios;

ges

tión

finan

cier

a y

rend

i-ci

ón d

e cu

enta

s, q

ue in

cluy

an s

iste

-m

as d

e in

form

ació

n de

ges

tión

finan

cier

a; c

reac

ión

de c

apac

idad

del s

iste

ma

esta

díst

ico

(ofic

inas

de

esta

díst

ica,

sis

tem

as d

e in

form

a-ci

ón d

e ge

stió

n de

min

iste

rios,

pro

-du

cció

n de

est

adís

ticas

, com

oes

tudi

os s

obre

pre

stac

ión

de s

ervi

-ci

os);

crea

ción

de

capa

cida

d de

laof

icin

a na

cion

al d

e au

dito

ría; d

es-

cent

raliz

ació

n de

l gob

iern

o.

Com

unic

ar p

arám

etro

s y

mét

odos

de e

valu

ació

n.

Ofre

cer c

apac

itaci

ón a

func

iona

rios

naci

onal

es, e

stat

ales

y m

unic

ipal

esen

los

inst

rum

ento

s, m

étod

os y

téc-

nica

s de

l SyE

.

Los

dona

ntes

oto

rgan

pré

stam

ospa

ra a

poya

r a lo

s si

stem

as d

e Sy

E.

Auna

r esf

uerz

os p

ara

forta

lece

r los

sist

emas

de

SyE

con

otra

s re

form

asde

l gob

iern

o re

laci

onad

as c

on e

lde

sem

peño

.

Fom

enta

r una

may

or c

oord

inac

ión

inte

rna

del S

yE g

uber

nam

enta

l, in

-cl

uida

la re

laci

ón e

ntre

el S

yE, p

re-

supu

esto

, pla

neac

ión

y m

inis

terio

, ysi

stem

as d

e in

form

ació

n de

ges

-tió

n.

Esfo

rzar

se p

or e

xigi

r el S

yE m

e-di

ante

dec

isio

nes,

dec

reto

s, re

gla-

men

tos

y le

yes

del g

obie

rno.

Desa

rrolla

r dire

ctric

es y

man

uale

sde

l SyE

.

Real

izar e

stud

ios

de p

rest

ació

n de

serv

icio

s ac

erca

de

la s

atis

facc

ión

del c

lient

e y

perc

epci

ones

de

la c

a-lid

ad d

e lo

s es

tudi

os d

el g

obie

rno,

y pu

blic

itar l

os re

sulta

dos

ampl

ia-

men

te (p

or e

jem

plo,

la C

RC).

Esfo

rzar

se p

or e

xigi

r el S

yE m

e-di

ante

dec

isio

nes,

dec

reto

s, re

gla-

men

tos

y le

yes

del g

obie

rno.

Prom

ulga

r ley

es s

obre

libe

rtad

dein

form

ació

n.

Alen

tar a

los

med

ios

de c

omun

ica-

ción

a in

form

ar s

obre

el d

esem

peño

del g

obie

rno.

Com

unic

ar p

arám

etro

s y

mét

odos

de

eval

uaci

ón. A

poya

r a in

stitu

tos

de in

-ve

stig

ació

n, u

nive

rsid

ades

, ON

G pa

raev

alua

r y re

visa

r el d

esem

peño

del

gobi

erno

–po

r eje

mpl

o, la

s CR

C, lo

san

ális

is d

e pr

esup

uest

o.

Capa

cita

r a lo

s pa

rlam

enta

rios

y a

supe

rson

al e

n el

aná

lisis

del

des

em-

peño

del

gob

iern

o.

Ofre

cer c

apac

itaci

ón a

cat

edrá

ticos

univ

ersi

tario

s, fu

ncio

nario

s de

ON

G,en

tre o

tros,

en

los

inst

rum

ento

s, m

é-to

dos

y té

cnic

as d

el S

yE.

(Con

tinúa

en

la s

igui

ente

pág

ina)

8 2


Cu

adro

13

.1 A

ccio

nes

po

sib

les

par

a fo

rtal

ecer

lo

s si

stem

as d

e S

yE e

n lo

s n

ivel

es n

acio

nal

y s

ecto

rial

(con

tinua

ción

)

Refo

rzar

la d

eman

da d

el S

yE d

elgo

bier

no

Refo

rzar

la o

fert

a y

desa

rrol

lar

capa

cida

des

del S

yE e

n el

gobi

erno

Refo

rzar

los

sist

emas

de

SyE

Refo

rzar

la d

eman

da d

el S

yE d

e la

soci

edad

civ

il y

del C

ongr

eso

Refo

rzar

la o

ferta

y el

des

arro

llo

de c

ompe

tenc

ias d

el S

yE e

n la

soci

edad

civ

il y e

n lo

s con

gres

ista

s

Crea

r un

fond

o pa

ra e

valu

acio

nes.

Prom

over

que

los

dona

ntes

fina

ncie

nim

porta

ntes

revi

sion

es y

eval

uaci

ones

de

impa

cto

–par

ade

mos

trar s

u fa

ctib

ilida

d y

utili

dad.

Busc

ar a

poyo

del

don

ante

par

are

aliza

r eva

luac

ione

s co

njun

tas

con

los

gobi

erno

s y

dirig

idas

por

los

país

es.

Ofre

cer e

ntre

nam

ient

o en

el S

yE a

capa

cita

dore

s y

dar a

poyo

a u

nive

r-si

dade

s qu

e fo

rman

a p

rofe

sion

ales

del s

ecto

r púb

lico,

por

eje

mpl

o, m

e-di

ante

acu

erdo

s co

n la

s co

ntra

par-

tes

de p

aíse

s de

sarro

llado

s.

Revi

sar l

os in

dica

dore

s de

des

em-

peño

de

los

min

iste

rios.

Ref

orza

rlo

s si

stem

as d

e in

form

ació

n de

ges

-tió

n de

los

min

iste

rios.

Apo

yar l

asen

cues

tas

sobr

e pr

esta

ción

de

ser-

vici

os.

Crea

r uni

dade

s de

per

sona

l del

SyE

,de

est

adís

ticas

y d

e an

ális

is d

e po

-lít

ica.

Los

dona

ntes

fina

ncia

n ev

alua

cio-

nes

y re

visi

ones

impo

rtant

es –

sobr

eel

fund

amen

to d

e un

bie

n pú

blic

o.

Perm

itir q

ue e

l don

ante

dep

enda

de

la e

xper

ienc

ia n

acio

nal e

n el

SyE

cuan

do re

aliza

n ev

alua

cion

es.

Apoy

ar e

l des

arro

llo d

e re

des

deev

alua

ción

de

los

gobi

erno

s y

aso-

ciac

ione

s na

cion

ales

de

eval

uaci

ón.

Los

dona

ntes

resp

alda

n ev

alua

cio-

nes

conj

unta

s co

n lo

s go

bier

nos

yla

s di

rigid

as p

or lo

s pa

íses

.

Perm

itir q

ue e

l don

ante

dep

enda

del g

obie

rno

para

em

pren

der e

l SyE

de p

roye

ctos

y p

rogr

amas

fina

ncia

-do

s po

r los

don

ante

s.

Crea

r un

fond

o pa

ra e

valu

acio

nes

–per

miti

r el a

cces

o de

la s

ocie

dad

civi

l.

Apoy

ar la

inte

rven

ción

de

la c

omu-

nida

d en

las

eval

uaci

ones

par

tici-

pativ

as d

e la

pob

reza

, etc

éter

a.

Alen

tar a

la s

ocie

dad

civi

l y a

l con

-gr

eso

a ex

amin

ar lo

s in

form

es d

elgo

bier

no.

Ofre

cer e

ntre

nam

ient

o en

el S

yE a

capa

cita

dore

s y

dar a

poyo

a u

nive

rsi-

dade

s e

inst

ituto

s de

inve

stig

ació

n,po

r eje

mpl

o, m

edia

nte

acue

rdos

entre

con

trapa

rtes.

Crea

r un

fond

o pa

ra e

valu

acio

nes

–per

miti

r el a

cces

o de

la s

ocie

dad

civi

l.

Los

dona

ntes

sub

cont

rata

n a

univ

er-

sida

des

o in

stitu

tos

de in

vest

igac

ión

para

real

izar e

valu

acio

nes

y re

visi

o-ne

s.

Apoy

ar e

l des

arro

llo d

e as

ocia

cion

esna

cion

ales

de

eval

uaci

ón.

Not

a:Se

pue

de d

eter

min

ar s

i las

acc

ione

s en

est

as c

inco

col

umna

s so

n si

mila

res

o se

rela

cion

an e

ntre

sí o

bser

vand

o ca

da u

na d

e la

s fil

as. C

RC =

Tarje

ta d

e In

form

es C

iuda

dano

s; O

NG

= Or

gani

zaci

ón N

o Gu

bern

amen

tal.

evaluación, ya sea en un sistema para todo el go-bierno o en un ministerio o dependencia deforma individual; los niveles de gobierno en quese aplicará; la diversidad de instrumentos del SyEque serán adoptados, etcétera.

Existen varias dimensiones posibles para un sis-tema de SyE y también varias compensaciones quedeberían considerarse con mucha atención. Unplan de acción para crear un sistema de SyE notiene que ser muy complejo, aunque siempreexiste el peligro de que el sistema deseado sea de-masiado sofisticado y, por consiguiente, muchomás difícil de lograr, y es aquí donde se aplica per-fectamente la idea de que “menos es mejor”.Otro peligro es que se estime que un sistemapueda crearse a una velocidad mucho mayor dela que realmente pueda ser.

Un plan de acción concreto proporciona un en-foque sobre las partes clave interesadas del go-bierno y los donantes. Asimismo, ofrece un patrónde base con el cual se puede comparar y evaluar

el progreso real hacia el sistema de SyE previsto–mediante un SyE regular tanto del sistema comodel plan de acción. Esto no solamente facilitará laidentificación de nuevas oportunidades, sino quehará posible la oportuna identificación de cual-quier dificultad en implementación y su solución.La aparición de contratiempos y oportunidadesexplica la experiencia de muchos países: debidoa estos retos, los sistemas de SyE gubernamentalesgeneralmente no se desarrollan en forma lineal,ni de una manera predecible (Capítulo 10).

La comunidad internacional todavía continúa acu-mulando experiencia acerca de las mejores formasde fortalecer los sistemas de SyE gubernamenta-les –qué enfoques y qué sistemas son más efec-tivos en determinados países, es decir, en paísescon ingreso medio o en países pobres con muypocas capacidades. Esto subraya la importancia decontinuar creando un cúmulo de evidencias en re-lación con la mejor manera de institucionalizar unsistema de SyE. Éstos y otros temas relevantes sonconsiderados en la Parte V.


8 3

En la Parte V se abordan algunos temas pendientes. Son otros temas

sobre los cuales la experiencia internacional no resulta bien com-

prendida o no está bien documentada. Éstos son temas relevantes y

de vanguardia –que resultan importantes para la institucionalización del SyE,

pero que en la actualidad no se tiene mucho conocimiento al respecto (Ca-

pítulo 14). Estos temas se refieren, entre otras cosas, a la eficacia en función

de los costos de los enfoques alternativos para reforzar los sistemas de SyE

gubernamentales; hasta dónde conviene extender el proceso de evaluación;

modelos de las prácticas recomendadas del SyE en los niveles sectorial y sub-

nacional; y maneras de fomentar la participación de la sociedad civil en el se-

guimiento y la evaluación del desempeño del gobierno. Mucho de estos

temas mencionados, si es que realmente no todos, ameritan un estudio más

detallado.

PARTE VTemas pendientes

8 7

Temas de relevancia yvanguardia

El conocimiento de la creación de sistemas de seguimiento y evaluacióngubernamentales está en marcha. Se ha acumulado y analizado muchaexperiencia en los países miembros de la OCDE (Capítulo 3), y la lite-

ratura sobre la experiencia de los países en desarrollo ha comenzado a cre-cer particularmente durante los últimos 10 años.

Sin embargo, existen muchos temas que no hansido bien entendidos o que no están bien docu-mentados (Recuadro 14.1). De éstos, aquí se tra-tan nueve. La mayoría, por no decir todos,requiere investigación adicional, más profunda,mediante un programa de investigación a largoplazo.

Enfoques de eficacia en función de loscostosSegún se señaló en el capítulo 13, un tema im-portante es identificar qué enfoques son másefectivos para el fortalecimiento de los sis-temas de SyE gubernamentales, y en quétipo de países. Se ha presentado una larga listade diversos tipos de acciones en esta obra, perola eficacia relativa en función de los costos decada uno de ellos aún se desconoce. Un parámetrolo proporciona el criterio de evaluación que puedeaplicarse a cualquier tipo de esfuerzo para crearcapacidad, por ejemplo, su eficiencia, eficacia,sostenibilidad, etcétera.1

Los donantes se están volviendo cada vez más ac-tivos ayudando a los gobiernos a fortalecer sus sis-

temas de SyE, y se espera que, en los próximosaños, muchos de ellos realicen un número con-siderable de evaluaciones de los proyectos decreación de capacidad. Hasta el momento, lamayor parte del apoyo de los donantes otorgadomediante préstamos ha formado parte de un granesfuerzo de reforma; por eso cuando los pro-yectos se evalúan, se presta muy poca atención atemas como la eficacia en función de los costosde las acciones individuales –como las que se en-cuentran en el cuadro 13.1.

El GEI, que ha tenido un programa de creación decapacidad del SyE durante más de 20 años, llevóa cabo una autoevaluación de su labor (GEI, 2004a)la cual se presenta en el anexo D. Se necesitan másevaluaciones de los esfuerzos del gobierno y de losdonantes para crear sistemas de SyE a fin de pro-fundizar nuestra comprensión de lo que real-mente funciona en determinada situación. ElBanco Mundial actualmente está preparando suprimer proyecto dedicado únicamente a fortale-cer un sistema de SyE gubernamental, el de Co-lombia. El seguimiento y evaluación futuros de estepréstamo deberá ofrecer enseñanzas invaluables.

14

Las abundantes publicaciones sobre sistemas deSyE se centran, en su mayoría, en países con bue-nas prácticas o prácticas prometedoras (Capítulo5). Esto es comprensible por lo menos por dosrazones. Primero, los donantes que trabajan eneste tema y los gobiernos interesados en fortale-cer sus sistemas de SyE desean reproducir eléxito; por tanto, quieren comprender las accionesclave de creación de capacidad y resaltar los fac-tores de éxito. Segundo, los donantes que pre-conizan los sistemas de SyE como un mediodeseable para conseguir una buena gobernabili-dad deben identificar ejemplos verosímiles desistemas de SyE que funcionan bien.

Lo que hace falta en este enfoque son ejemplosde países que trataron de fortalecer sus sis-temas de SyE pero no lo lograron. Como eva-luadores sabemos que se aprende del fracaso tantocomo del éxito, pero existen muy pocos ejemplosdocumentados.2 Una vez que se realicen más eva-luaciones de la labor de los donantes en la creaciónde capacidad en esta área será importante con-centrarse específicamente en los “fracasos”.

Otra interrogante interesante es acerca de quétipos de sistemas de SyE son los más efica-

ces en función de los costos –cada uno con suobjetivo específico, ya sea para el presupuesto porresultados o para una mejor gestión del pro-grama. El parámetro lo da el grado de utilizaciónde la información del SyE de diversas maneras yel valor de dicho uso –un argumento que se hamanejado de manera consistente en este libro, esque la utilización de la información es parámetrode la medida del éxito alcanzado por un sistemade SyE. Un buen ejemplo es el de Chile: su sistemade SyE le cuesta al gobierno cerca de $0,75 mi-llones anuales y el Ministerio de Hacienda utilizaintensivamente la información que este sistemagenera para tomar decisiones presupuestaria ypara imponer mejoras en la gestión de ministe-rios sectoriales y otras dependencias guberna-mentales (Capítulo 6).

El valor de la información de SyE es una incógnitainteresante, pero quizá no sea posible ofreceruna respuesta clara; mucho depende de las cir-cunstancias y del nivel de la demanda (o com-promiso) de cada gobierno. Es probable quealgunos tipos de sistemas de SyE –por ejemplo,los que dependen de una agenda de evaluacionesdel impacto rigurosas– puedan ser demasiadoexigentes y costosas para los gobiernos más po-bres. Sin embargo, en una situación así, sería fac-tible depender de donantes que financien yadministren dichas evaluaciones.

En relación con este tema, podemos pregunta-mos cuánta evaluación es conveniente. ¿Cuántoestarían dispuestos a gastar anualmente los go-biernos en sus sistemas de SyE, una vez creados?Las publicaciones sobre evaluación mencionanmuy de vez en cuando este tema, pero en algúnmomento se sugirió que sería apropiado gastaren evaluación alrededor de 1% del gasto total dela entidad. Sin embargo, este cálculo no tiene nin-guna base lógica ni empírica, pero a pesar de ello,el tema sigue siendo importante. El presupuestoanual del gobierno de Chile es de aproximada-mente $20 mil millones y el Ministerio de Haciendagasta solamente $ 0,75 millones al año en el sistemade SyE. ¿Es esto suficiente o es demasiado?

El MdH de Chile financia menos de 20 evalua-ciones al año. En comparación, Australia, a me-

8 8

V: T E M AS P E N D I E N T E S

Recuadro 14.1 Fortalecimiento de sistemas de SyE gubernamentales — Algunos temas relevantes y de vanguardia

• Eficacia en función de los costos de enfoques al-ternativos para crear o fortalecer sistemas deSyE gubernamentales.

• Ejemplos de países que han tratado de fortalecersus sistemas de SyE, pero no lo han logrado.

• Eficacia en función de los costos de diversostipos de sistemas de SyE.

• ¿Cuánta evaluación será conveniente?• Sistemas sectoriales de SyE.• Sistemas subnacionales de SyE. • Armonización entre donantes y alineamiento del

país.• Participación de la sociedad civil en el segui-

miento y evaluación del desempeño del gobierno.• Parámetros formales de prácticas recomendables

de sistemas de SyE.

diados de la década de 1990, en determinadomomento, estaba realizando unas 160 grandesevaluaciones (Capítulo 8). Así como en Chile, lasevaluaciones de Australia se usaron intensiva-mente en el proceso presupuestario. Entonces,¿qué país produjo un número óptimo de evalua-ciones? Ésta no es una pregunta fácil de respon-der. El enfoque mesurado del Ministerio deHacienda de Chile parecería dar a entender quenunca financiaría una serie de evaluaciones de im-pacto costosas similares a las evaluaciones delprograma Progresa de México (vistas en el capí-tulo 6). Aun así, el gobierno de Chile utiliza in-tensamente la información del SyE y considera quesu sistema es altamente eficaz en función de loscostos; los rendimientos que ha obtenido de suinversión en el SyE son altamente positivos. Portanto, ¿debería gastar más –y hasta podría de-cirse que mucho más– en su sistema de SyE?

Si se acepta que la utilización de la informacióndel SyE representa la base del éxito de un sistema,entonces esto sugiere una simple regla de deci-sión de cuánto gastar en el SyE: continuar gas-tando en el sistema de SyE si los beneficios deutilizar la información del SyE se consideran altos;y si los beneficios potenciales de un incrementopropuesto en el gasto en el SyE también se con-sideran altos, entonces se puede gastar ese montoadicional –ya sea utilizando los fondos del pre-supuesto del gobierno o los préstamos de losdonantes. Esto hace que recaiga sobre los que ad-ministran el sistema de SyE la responsabilidad dedemostrar fehacientemente que la información delSyE es de hecho muy utilizada y que el sistema eseficaz en función de su costo.

De nuevo, se resalta aquí el valor de realizar el SyEdel propio sistema en forma regular. En las si-tuaciones en que la información del SyE no se usamucho, resulta obvia la necesidad de analizar lasrazones. Si se perciben problemas con la confia-bilidad de la información del SyE, entonces seránecesario gastar más dinero para mejorarla. Si elproblema radica en la baja demanda del gobierno,aun cuando la información sea confiable, se debentomar algunas medidas para reforzar la demanda.Si estas medidas no funcionan y no se logra in-crementar la demanda, entonces se puede decir

que el sistema de SyE necesita ser recortado o in-cluso hasta ser suprimido.

La mayor parte del análisis presentado en este librose centra en sistemas nacionales de SyE para todoel gobierno. Esto normalmente pertenece al ám-bito de los ministerios de hacienda o de planea-ción o a la oficina del presidente. Por el lado deldonante, el personal que trabaja en estos asuntosgeneralmente está conformado por expertos enadministración del sector público o en adminis-tración del gasto público cuya labor se relacionaen gran parte con los temas sistémicos de buenagobernabilidad; este equipo de personal tambiéntiende, por lo regular, a enfocarse en los minis-terios centrales de un gobierno.

Sistemas sectorialesOtro tema de relevancia se refiere a los siste-mas sectoriales de SyE, como ocurre a menudoen los ministerios de salud y de educación. Ge-neralmente, el personal del donante que trabajaen estos proyectos está conformado por espe-cialistas sectoriales. Los sistemas nacionales y sec-toriales están claramente relacionados; de hecho,un sistema nacional casi siempre depende de sis-temas sectoriales para conseguir mucha de la in-formación del seguimiento que necesita. Estainformación puede provenir de los registros ad-ministrativos o quizás de evaluaciones especialeso de censos realizados por las entidades del sec-tor o por las oficinas nacionales de estadística.

Los sistemas sectoriales de SyE son de por sí muyimportantes, pero también lo son debido a lafunción que cumplen en el entorno nacional.Con todo, la bibliografía sobre los sistemas deSyE gubernamentales y la que comprende temasrelacionados con los sistemas estadísticos de losgobiernos,3 parecen concentrarse ampliamente enlos sistemas nacionales. Este vacío necesita lle-narse. Hay algunos ministerios sectoriales y or-ganismos en los países en desarrollo que al parecertienen sistemas de SyE de buen desempeño, es-pecialmente en los sectores de salud, de educa-ción y de bienestar social. Sin embargo, no seconoce mucho acerca de estas posibles islas debuenas prácticas, los factores que las hicieronposible o de su sostenibilidad.

14 : T E M A S D E R E L E VA N C I A Y VA N G U A R D I A

8 9

Por fortuna, existen por lo menos algunos ejem-plos documentados de trabajos de alta calidad enlos sistemas sectoriales de SyE que, de por sí,merecen mucha atención. Un ejemplo es la Redde la Métrica en Salud (HMN), una asociaciónmundial que cuenta con el apoyo de la Organi-zación Mundial de la Salud, y que promueve el de-sarrollo de los sistemas de información del sectorsalud.4 La Red ha preparado un instrumento dediagnóstico detallado para evaluar el desempeñode los sistemas de información en salud, paraidentificar sus desafíos más importantes y dar se-guimiento a los esfuerzos por mitigar esas debi-lidades. Este instrumento se puede utilizar paraclasificar un gran número de aspectos de un sis-tema de información en salud, y estas clasifica-ciones se asignan a cinco categorías dedesempeño, desde “altamente adecuado” hasta“no funciona”.5

En esta obra se adopta el enfoque de que las en-señanzas de la institucionalización de los sistemasde SyE nacionales –vistas en el capítulo 10– sonválidas también para aplicarlas a los sistemas deSyE sectoriales. Existe evidencia que apoya estaidea, como el trabajo analítico llevado a cabo enrelación con la Secretaría de Desarrollo Social deMéxico, SEDESOL (Banco Mundial, 2004c, Her-nández, 2006), pero es necesario garantizar másestudios sobre esta propuesta, de que los temasdel SyE sectoriales son esencialmente un micro-cosmos de los temas que enfrenta el sistema deSyE nacional. Por lo menos, es posible que hayaalgunas diferencias significativas en cuanto al én-fasis; y, de manera conjunta, debemos determinarcuáles son.

Sistemas subnacionales de SyE Un tema que se puede comparar con los sistemasde SyE sectoriales es el de los sistemas subna-cionales de SyE, especialmente donde no existeun sistema unitario de gobierno. Muchos go-biernos tienen un sistema federal con varios ni-veles, que varían en el grado de transferencias ydescentralización de funciones.

Las relaciones entre estos niveles de gobiernopueden ser muy complejas, incluidas las relacio-nes de rendición de cuentas y los requisitos for-

males para la obtención de información. Se hanpreparado pocos estudios de caso en el SyE sub-nacional, pero es claramente importante debidoa la complejidad de las relaciones.

Otra razón relevante de su importancia es elhecho de que normalmente la mayor parte de lainformación del SyE se recopila en las propiasinstalaciones –de esta forma, la naturaleza de larelación entre las instalaciones individuales y losministerios o dependencias sectoriales por unlado, y las entidades subnacionales por el otro,pueden ayudar a determinar la calidad de la in-formación proporcionada, así como el grado deutilización de esa información por las mismasinstancias. Como se mencionó, en el caso deUganda (Capítulo 9), la información recopilada enlos niveles locales y distritales puede resultar cos-tosa, con implicaciones negativas bastante altaspara la calidad de la información.

Armonización del donanteUn tema siempre presente en la comunidad deevaluación de donantes es la armonización dedonantes o la carencia de ésta. Esto ha multi-plicado la carga de trabajo impuesta a los paísesdonantes debido a la necesidad imperiosa decumplir con las diversas solicitudes del SyE a losdonantes. En la Declaración de París de 2005, losdonantes se comprometieron a tratar de armo-nizar estos requerimientos y a alinearse lo más po-sible con los sistemas del país y los enfoques de“marcos de resultados y seguimiento” –es decir,alineamiento al país (High Level Forum onHarmonisation, Alignment, Results, 2005).

Los donantes y los países receptores también sehan comprometido a trabajar de manera con-junta para fortalecer las capacidades del país y lademanda por una gestión basada en resultados.Será interesante conocer en qué medida, si es quehay alguna, se han cumplido estos objetivos; va-rias evaluaciones de los resultados de la Declara-ción de París se están llevando a cabo y serándadas a conocer entre 2008 y 2010.6

El lado positivo lo conforma la evidencia de un cre-ciente número de evaluaciones de impacto de do-nantes y gobiernos. El Banco Mundial, por

9 0


ejemplo, actualmente está planeando o condu-ciendo cerca de 30 evaluaciones de impacto ri-gurosas en forma conjunta con algunos gobiernosen América Latina, como parte de los proyectosnormales del Banco con los gobiernos; al parecerse están llevando a cabo con gran colaboración deambas partes. Es de esperarse que resulten algu-nas enseñanzas para aplicarlas con otros tipos deevaluaciones y para realizar evaluaciones con-juntas de donante y gobierno en otras regionesdel mundo.

Los ejemplos de la participación de la socie-dad civil en el seguimiento y evaluación deldesempeño gubernamental se presentan en elcapítulo 3 –la iniciativa de la Tarjeta de InformeCiudadano, que se llevó a cabo por primera vezen Bangalore y el enfoque similar Bogotá CómoVamos. Estas iniciativas han presionado con éxitoa los gobiernos municipales para que mejoren sudesempeño. La CRC se ha reproducido en muchasotras ciudades de India, así como en otros países.

El reto para la comunidad de donantes es cómohacer para fomentar que este tipo de compro-misos de la sociedad civil se reproduzca en otrospaíses. Ello dependerá en parte de las circuns-tancias de cada país y del espacio que haya ganadola sociedad civil en cada uno de ellos.

El Banco Mundial y algunos otros donantes en-frentan otras dificultades, ya que su interacciónprincipal es con los gobiernos. A pesar de ello, esposible que el Banco utilice su poder de con-vencimiento para asegurar que la voz de la so-ciedad civil sea escuchada. El Banco puedemostrar, y ha mostrado, a grupos de la sociedadcivil en varios países, una serie de ejemplos delcompromiso de la sociedad civil en el seguimientoy evaluación del desempeño de los gobiernos. Seespera que esto estimule el interés y la demanda

de la sociedad civil para comprometerse con estetema (véase, por ejemplo, Mackay y Gariba, 2000).Es importante que la comunidad de donantes yla propia sociedad civil identifiquen otras mane-ras de promover este tipo de compromiso.

Parámetros formalesUn último tema de relevancia y vanguardia que sepropone es el de determinar si existe la necesidadde establecer parámetros formales para labuena práctica de sistemas de SyE. La comu-nidad internacional –en especial los donantes–aplica parámetros similares para sistemas nacio-nales y para algunos sistemas estadísticos secto-riales, así como para los sistemas de gestiónfinanciera del gobierno.7 Sería posible desarrollarparámetros para sistemas de SyE gubernamenta-les basados en el criterio de la lista de verificacióndesarrollada como parte de las diversas guías dediagnóstico existentes (Capítulo 12; Mackay,1998b).

Un argumento que favorece el desarrollo de di-chos parámetros formales es que podrían ofreceruna guía clara a los gobiernos sobre las normas alas que podrían aspirar, o quizás a los que debe-rían aspirar. Un segundo argumento a favor es quepodrían facilitar un seguimiento y evaluación pe-riódicos de los propios sistemas de SyE; según seanalizó en los capítulos 12 y 13, es importante quelos esfuerzos por fortalecer un sistema de SyE gu-bernamental sean objeto de seguimiento y eva-luación, y la evaluación de un sistema de SyE conbase en criterios explícitos haría más fácil la tarea.Sin embargo, un argumento contra el estableci-miento de una lista de parámetros es que noexiste ni un solo modelo –o por lo menos unospocos– de buenas prácticas para sistemas de SyEgubernamentales al cual los gobiernos puedan as-pirar; en lugar de ello, existe una amplia variedadde modelos posibles.

14 : T E M A S D E R E L E VA N C I A Y VA N G U A R D I A

9 1

9 3

Comentarios finales

El enfoque central de esta obra se dirige a los sistemas de seguimientoy evaluación de los gobiernos, y en la manera en que pueden ayudar-los a lograr una mejor administración. La mayoría de los países miem-

bros de la OCDE y un número pequeño pero creciente de países en desarrolloponen mucho énfasis en asegurar que la información del seguimiento y losresultados de las evaluaciones estén disponibles.

Estos gobiernos utilizan la información del SyE decuatro formas posibles: para apoyar la formulaciónde políticas, especialmente la toma de decisionespresupuestarias; para ayudar a sus ministerios enel desarrollo de políticas y la labor de análisis; paraapoyar a los ministerios y dependencias en lagestión de sus actividades; y para reforzar las re-laciones de rendición de cuentas.

Se señala que estos cuatro usos de SyE lo ubicanen el centro de una buena gestión de gobierno–como condición necesaria para el manejo efec-tivo de los gastos públicos para el desarrollo eco-nómico y la reducción de la pobreza. Los ejemplosque se presentan de evaluaciones altamente in-fluyentes realizadas en países en desarrollo indi-can los rendimientos potencialmente altos quepodrían obtener los gobiernos de sus inversionesen el SyE.

El objetivo de esta obra es brindar información queayude a los gobiernos en sus esfuerzos por crear,

fortalecer e institucionalizar completamente sussistemas de SyE, no como un fin por sí mismo, sinopara lograr un mejor desempeño del gobierno. Sepresentan estudios de caso de países con sistemasde SyE que se desempeñan bien, así como un grannúmero de enseñanzas provenientes de estos pa-íses y otros acerca de cómo crear dichos sistemasy de los errores que deben evitarse.

Un tema consistente a lo largo del libro es que lamedida esencial del “éxito” de un sistema de SyEes el uso intensivo de la información que produce;no resulta suficiente crear un sistema que pro-duzca técnicamente buenos indicadores y eva-luaciones de desempeño. El uso depende de lanaturaleza y el grado de demanda de la informa-ción del SyE, y ello a su vez depende de los in-centivos que existan para utilizar el SyE. Algunosgobiernos de los países en desarrollo tienen unagran demanda del SyE; en otros, la demanda esdébil o baja. Para estos países, existen formas demejorar la demanda fortaleciendo los incentivos.

15

Una de las enseñanzas clave para comprometerse enla creación de un sistema de SyE es la importanciade conducir un diagnóstico de SyE de país. Estopuede ofrecer un sólido conocimiento de las activi-dades de SyE en el gobierno, el ámbito del sector pú-blico y las oportunidades para utilizar la informacióndel SyE en el apoyo de las funciones básicas del go-bierno. Tal diagnóstico conforma los cimientos parala preparación del plan de acción. Un diagnósticopuede también ser un vehículo para garantizar queel gobierno y las partes clave interesadas de los do-nantes compartan el mismo conocimiento de lostemas y de la importancia de reforzar el SyE.

Existe un considerable y creciente conjunto de co-

nocimientos acerca de la experiencia de los paí-ses en la creación de sistemas de SyE, y las ense-ñanzas clave que se derivan se presentan en estelibro. Además, se ofrecen respuestas de las pre-guntas frecuentemente planteadas por funciona-rios y otras personas que trabajan para fortalecerlos sistemas de SyE gubernamentales. Sin em-bargo, también existe un número de temas sobrelos que se conoce muy poco, por ejemplo los mo-delos de buenas prácticas de SyE en los niveles sub-nacional o sectorial, o las maneras de fomentar laparticipación de la sociedad civil en el SyE. Éstosson temas relevantes y de vanguardia, muy re-cientes, y en este libro se aboga por un programade investigación a largo plazo para estudiarlos.

9 4


En la Parte VI, se ofrecen respuestas de preguntas que surgen común-

mente en conferencias nacionales e internacionales sobre el tema de

SyE gubernamental. La frecuencia con que surgen interrogantes si-

milares ayuda a identificar los temas clave que deben ser abordados cuando

se busca institucionalizar un sistema de SyE.

PARTE VIPyR: Preguntas frecuentes

9 7

PyR: Preguntas frecuentes

Generalmente, funcionarios, académicos, consultores, donantes ydemás personas interesadas en el fortalecimiento de los sistemas deSyE gubernamentales se cuestionan de manera similar cómo llegar a

lograrlo y cómo vencer los retos que surgen. Por tanto, se presentan las res-puestas de las 21 preguntas que surgen con más frecuencia. Estos temas ayu-dan a destacar las variadas dimensiones que existen en torno al sistema de SyEgubernamental, y a aclarar la naturaleza de las compensaciones que, tal vez,se necesiten considerar.

1. ¿Cómo se puede introducirprogresivamente un sistema de seguimientoy evaluación para todo el gobierno? Es unpaso demasiado grande para mi paísintroducir un sistema global al mismotiempo.

Un buen primer paso sería realizar un diagnósticode las funciones y sistemas de SyE gubernamentalesque ya existen (Capítulo 12); esto posibilitaría unacomprensión sólida de las fortalezas y desafíos delo que se tiene en la actualidad. Además, esto ayu-daría a dejar claro quién necesita qué tipo de in-formación del SyE, para qué y cuándo, lo cual, a suvez, ayudaría a que se identifique una lista de lasposibles acciones destinadas a fortalecer los siste-mas existentes de SyE o a crear un sistema total-mente nuevo (Capítulo 13). Evidentemente, untema de inicio es aclarar los principales usos quese espera dar a la información del SyE en el futuro.

Un posible enfoque sería implementar para todoel gobierno, en forma progresiva, una serie de ins-trumentos y métodos de SyE. Chile lo hizo al im-plementar un sistema de información dedesempeño en 1994, seguido de informes globalesde gestión en 1996, revisiones rápidas en 1996,evaluaciones de impacto rigurosas en 2001 e in-formes globales de gastos en 2002 (Capítulo 6).Sin embargo, puede ser que muchos de los go-biernos no tengan la paciencia para seguir un en-foque tan lento.

Existen algunas acciones de SyE que, si bien sonimportantes, puede tomar mucho tiempo reali-zarlas –por ejemplo, grandes mejoras en los sis-temas de seguimiento del desempeño o unaevaluación de impacto rigurosa– si es que no sedispone de buena información. Puede ser que lospromotores del sistema de SyE estén dispuestosa esperar, o talvez no, a que estas acciones se

lleven a cabo, y aun si fueran pacientes, los pro-motores eventualmente partirán, y quizás lo hagansin previo aviso.

Éste es un argumento para tratar de incluir algu-nos triunfos rápidos en el plan de acción de SyE,que podría incluir diversas actividades experi-mentales, como la conducción de algunas eva-luaciones rápidas para que se introduzcan en elproceso presupuestario (revelando el desempeñode los programas individuales); la conducción deestudios de seguimiento del gasto público para re-velar el grado de “fuga” de los fondos del go-bierno; o la conducción de evaluaciones deimpacto rigurosas donde ya exista buena infor-mación o donde sea fácil recopilarla (Capítulo 2).

Esta clase de actividades de demostración puedenresaltar el valor de la información del SyE y, porende, ayudar a crear conciencia y demanda de ella.Aunque siempre es una buena idea contar con unplan de acción bien preparado, incluido un nú-mero de etapas para el desarrollo del sistema deSyE, una enseñanza valiosa de la experiencia es laimportancia de ser capaz de responder de maneraflexible cuando surgen nuevas oportunidades deSyE (Capítulo 10).

2. Existe poca demanda de información deseguimiento y de resultados de evaluaciónpor parte de mi gobierno. ¿Qué puedo hacerpara revertir esta falta de interés si quierocrear un sistema de SyE gubernamental?

La escasa demanda representa un obstáculo seriopara la creación de un sistema de SyE guberna-mental; sin embargo, existe una serie de pasos quese pueden dar para incrementar la demanda (vé-anse los capítulos 10 y 11). En primer lugar, es útilque los funcionarios de alto nivel tengan con-ciencia del SyE: explicar lo que significa SyE y lasmuchas maneras en que puede ser valioso para ungobierno –por ejemplo, para tomar decisionessobre el presupuesto nacional contando con mayorinformación, o para mejorar la gestión en curso detodas las actividades del gobierno. A menudo, sepuede persuadir a los funcionarios de alto nivel con

ejemplos de evaluaciones influyentes y sistemas deSyE que funcionan bien en otros países (Capítulo3). También es importante encontrar promoto-res y aliados poderosos que, a su vez, puedanpreconizar y respaldar el SyE más ampliamente.

Cada gobierno ya está realizando algún trabajo deSyE, aunque éste sólo comprenda sistemas de re-gistros administrativos de ministerios, o datos sec-toriales de oficinas nacionales de estadística, oinformación que los gobiernos proporcionan alos donantes. Puede ser revelador realizar un diag-nóstico rápido de las actividades de SyE actualesy descubrir el grado de duplicidad e ineficienciasque hay en los sistemas de seguimiento existen-tes. Esto puede dar un impulso a dichos sistemaspara que sean más eficientes y garanticen quepueden proveer de información muy útil al go-bierno, como sucedió en Uganda (Capítulo 12).

3. ¿Cómo se puede crear una cultura dedesempeño en la administración pública demi gobierno?

Esto es difícil de lograr, especialmente cuando losfuncionarios del Estado han pasado la mayorparte de sus carreras siguiendo reglas y procedi-mientos estrictos. Resulta fácil para los empleadospúblicos y sus administradores centrarse única-mente en actividades o procesos, como es el casodel número de hospitales construidos o el númerode cheques de beneficencia emitidos. Sin em-bargo, sería ideal si ellos se concentraran en lasmetas y objetivos de estas actividades y específi-camente en sus resultados –los productos, efec-tos directos e impactos de sus esfuerzos.

No hay una respuesta sencilla para este tema,pero sí hay una serie de pasos que pueden ayu-dar a cambiar la manera de pensar de los servi-dores públicos. Uno de ellos es presentarpromotores comprometidos y orientados hacia lareforma que ocupan puestos de mucho poderdentro del gobierno. Otro paso es utilizar incen-tivos poderosos para estimular una mayor con-centración en los resultados, así como en laorientación al cliente –una cultura de servicio

9 8

V I : P y R : P R E G U N TAS F R E C U E N T E S

(véase el capítulo 11, como ejemplo). Llevar acabo reuniones de equipo del tipo “¿Cómo nosva?” para administradores y su personal podría ayu-dar a aclarar los objetivos, el desempeño actual delequipo y las formas de mejorarlo.

Dar amplia autonomía y flexibilidad a los admi-nistradores que logren alcanzar altos niveles dedesempeño –es decir, resultados– puede ofrecerfuertes incentivos que a su vez podrían llegar a losdemás empleados (Banco Mundial, 1998). Dichaautonomía puede incluir un mayor acceso al fi-nanciamiento y más poder para contratar y des-pedir empleados con base en su desempeño.Resulta difícil lograr este tipo de reformas con basetan extensa en todo el aparato público, peropuede ser factible poner a prueba dichas reformasen algunas dependencias seleccionadas.

4. Mi gobierno ya está bajo mucha presión yestrés por la carga de trabajo que tiene. ¿Porqué deberíamos hacer más esfuerzos paracrear un sistema de SyE ahora?

Véase la respuesta de la pregunta 2. Su gobiernoya está dedicando mucho esfuerzo al SyE, espe-cialmente para dar seguimiento a los esfuerzos desus ministerios y al cumplimiento de los requisi-tos de evaluación del donante. Por ejemplo, undiagnóstico en Uganda descubrió 16 subsistemasde seguimiento; otro diagnóstico de la Secretaríade Desarrollo Social de México descubrió ocho sis-temas de seguimiento descoordinados dentro deesta secretaría.

Es muy posible que exista el potencial para reducirlas ineficiencias y duplicidad en sus sistemas exis-tentes y producir únicamente la información bá-sica que necesita y que puede utilizar. Existe uncreciente número de países en el mundo que yaestán poniendo mucho esfuerzo en el SyE –inclusola mayoría de países miembros de la OCDE, al-gunos países de recursos medianos (como Chiley Colombia), y aun algunos países más pobrescomo Uganda y Tanzania. Ellos están haciendoesto porque saben que una inversión en el SyEpuede producir muy buenos rendimientos.

5. Mi gobierno está muy interesado enfortalecer nuestra labor de SyE, peronuestras instituciones son débiles. ¿Cómodebemos proceder?

La respuesta concisa sería continuar edificandosobre la base de lo que ya tienen. Simplifique yracionalice sus sistemas de seguimiento. Busqueapoyo y experiencia de los donantes, tanto paralos sistemas de SyE como para acceder al finan-ciamiento del donante para algunas evaluacio-nes con fines de demostración. Priorice lasevaluaciones en las áreas (como salud y educa-ción) donde el gobierno tendrá que tomar deci-siones importantes en el futuro. Es mejorcomenzar modestamente, tratando de poner enevidencia los beneficios del SyE e ir avanzando gra-dualmente sobre estos esfuerzos. Lo mejor esevitar el error común de elaborar un sistema deSyE con complejidad excesiva (Capítulo 10).

6. ¿Cuánto debe gastar mi gobierno enevaluaciones? ¿Cuánto sería suficiente?

Hay un mito que dice que se debe dedicar 1% delos gastos del programa a las evaluaciones. A pesarde que no hay una base lógica o empírica para estacifra, es un indicativo de la escala de esfuerzo y re-cursos que se deben dedicar para la evaluación decualquier actividad. Si el programa se evalúa cadatres o cinco años, el costo de 1% equivale a sóloun tercio o un quinto de 1% sobre una base anual.Por tanto, la evaluación deberá dar como resultadouna mejora muy modesta en la efectividad o efi-ciencia del programa para que dicha evaluación seconsidere eficaz en función del costo. Algunas delas evaluaciones que se resaltan en este libro hansido mucho más eficaces en función del costoque eso (véase también GEI, 2004b, 2006).

El costo de una evaluación será sustancialmentemás bajo si ya existen buenos datos de segui-miento, en especial sobre beneficiarios o efectosdirectos del programa. Éste es un argumentopara establecer sistemas de datos administrati-vos sólidos y para invertir en sistemas estadísticosnacionales.

P y R : P R E G U N TA S F R E C U E N T E S

9 9

De hecho, nunca deben hacerse evaluacionespor el simple hecho de hacerlas; la medida básicadel éxito para cualquier evaluación es que lleguea ser ampliamente utilizada. En el anexo A seofrecen enseñanzas acerca de cómo garantizarque las evaluaciones tengan influencia.

7. ¿Cómo podemos dar prioridad a nuestrasevaluaciones si nuestros fondos sonlimitados y no podemos evaluar todo lo quequeremos?

Dar prioridad a las evaluaciones es un tema comúnque enfrentan los administradores de un sistemade SyE establecido. El criterio estándar utilizadopara facilitar la enseñanza de programas por ser eva-luados incluye lo siguiente: programas de gastoselevados; programas con importancia política par-ticular; programas que probablemente han tenidograves problemas en su desempeño; y programasexperimentales que el gobierno esté considerandoampliar. Otros criterios adicionales para priorizarlas evaluaciones incluyen la factibilidad para reali-zar una evaluación, si la evaluación brindará infor-mación oportuna (por ejemplo, si los resultados delas evaluaciones estarán disponibles a tiempo parainfluir en las decisiones del gobierno), y si existensuficientes recursos (fondos, personal, etcétera)para llevar a cabo la evaluación.

Como siempre, a la hora de decidir qué progra-mas evaluar, es bueno considerar quién necesitaqué tipo de información de evaluación, para quéy cuándo.

En el caso de sistemas de SyE que todavía noestán establecidos, el desafío está en hacer quecada evaluación sea útil –garantizar que estarána disposición de los funcionarios de alto nivelque toman las decisiones, y que serán de muchainfluencia. En este contexto es útil tratar de anti-cipar cuestiones decisivas e importantes, porejemplo, una revisión importante planeada delgasto social, un gobierno entrante o la prepara-ción de un nuevo plan nacional. Si se puede an-ticipar estas cuestiones con bastante antelación,debería ser posible garantizar que los resultadosde las evaluaciones estén disponibles a tiempo

para considerarlos en la toma de decisiones delgobierno.

El tiempo requerido para la evaluación dependerádel tipo de evaluación, la existencia de datos ade-cuados, etcétera. Para las evaluaciones de “de-mostración” sería prudente tratar de minimizar elriesgo de que los hallazgos de las evaluacionessean considerados irrelevantes debido a la malacalidad, al momento inoportuno o a la sensibili-dad política.1

8. ¿Quién debería pagar por lasevaluaciones? Las evaluaciones resultan sercaras y no sería razonable que los paísespobres paguen por ellas.

Es cierto que muy pocas evaluaciones son en-cargadas y pagadas por los mismos países africa-nos, por dar un ejemplo. A pesar de que lasevaluaciones no tienen que ser costosas –comose definió en el capítulo 2, las revisiones rápidasy otros tipos de evaluación similares se puedenrealizar con pocos fondos, gastando sólo unospocos miles de dólares– muchas evaluacionesllegan a costar mucho más. Parece existir un ar-gumento de bien público en el sentido de que lasevaluaciones en países pobres sean financiadas pordonantes internacionales, por una parte, debidoa la pobreza de dichos países y, por otra, porquelos resultados de las evaluaciones pueden ofrecerbeneficios a otros países de la región.2

Además del financiamiento, los donantes puedenaportar su experiencia técnica en la evaluación.Sin embargo, el lado negativo podría ser que el go-bierno tenga un nivel de responsabilidad muchomenor sobre los resultados de las evaluaciones sies que los funcionarios de alto nivel no desempe-ñaron un papel en la elección del programa por eva-luarse o en la gestión de la evaluación o en sufinanciamiento. Esto ofrece un sólido argumentopara un enfoque académico de la evaluación quecontempla una asociación gobierno-donante.

9. ¿No son las evaluaciones de impactorigurosas el patrón de oro para las

1 0 0


evaluaciones, especialmente las queinvolucran pruebas de control aleatorias?¿No hay otro tipo de evaluación que searelativamente deficiente y que quizás novalga la pena realizar?

Éste es un tema muy controvertido.3 Algunos delos que proponen las evaluaciones de impacto ri-gurosas parecen argumentar esto. Ciertamente,si una prueba de control aleatoria se realiza enforma adecuada, puede ser una evidencia sus-tantiva de los impactos de un programa; éste esel método experimental estándar para medir losefectos de nuevos medicamentos, por ejemplo.Sin embargo, una limitación seria de dichos mé-todos de evaluaciones de impacto rigurosas es queusualmente no se pueden aplicar en interven-ciones en los niveles sectorial o nacional. Estos mé-todos de evaluación también son normalmentecostosos, lo que hace más difícil que los gobier-nos puedan financiarlos. Chile, por ejemplo, re-aliza un número limitado de evaluaciones deimpacto cada año, pero al mismo tiempo efectúaun mayor número de evaluaciones económicas enlas oficinas (Capítulo 6).

10. ¿Las evaluaciones no deberían sersiempre realizadas en forma externa, esdecir, fuera de la entidad cuyo trabajo seestá evaluando?

En los países de América Latina es común que lasevaluaciones sean encargadas por las dependen-cias gubernamentales pero realizadas externa-mente. La ventaja de este enfoque es que evita unpotencial conflicto de intereses. Ayuda a garanti-zar que las evaluaciones sean más objetivas e “in-dependientes” que si se hubiesen realizado dentrodel gobierno. Esto incrementa su credibilidad yconfiabilidad.

El sistema de SyE de Chile ha experimentado el in-conveniente de que este enfoque puede presen-tar –los ministerios cuyos programas sonevaluados, por lo general, no asumen “responsa-bilidad” sobre los resultados de evaluación y porende no hacen mucho uso de ellos. Colombia hacombinado las ventajas de las evaluaciones exter-

nas con las ventajas de la responsabilidad de losministerios sectoriales; ellos son socios completosal encargar y administrar las evaluaciones externas(Capítulo 7).

En los países miembros de la OCDE, es máscomún que las evaluaciones se realicen interna-mente; esto ayuda a garantizar que las evalua-ciones se basen en la experiencia del personal dela dependencia en el programa. Además, impulsaa las dependencias a utilizar las evaluaciones (Cu-rristine, 2005). En Australia, los ministerios sec-toriales evaluaron sus propios programas, pero losministerios centrales generalmente realizabanuna labor en la supervisión de esas evaluacionesy en la revisión de los informes generados por ellas(Capítulo 8).

11. ¿Cuántos indicadores de desempeñodebe recolectar mi gobierno, ministerio,dependencia o programa?

No hay una respuesta sencilla para esta pregunta.Depende de quién, dentro del gobierno, necesitelos indicadores de desempeño para su trabajo,cuántos indicadores serían necesarios y su costo.El Ministerio de Hacienda de Chile recolecta 1.550indicadores de desempeño, que para las normasinternacionales representan un número bastanteelevado; este ministerio hubiera deseado teneraún más información, pero es consciente de queeste número es el límite máximo que los analis-tas de presupuesto pueden usar de manera sig-nificativa. Por el contrario, el sistema de Colombiapara dar seguimiento a 320 metas presidencialesabarca unos 600 indicadores; esta informaciónse encuentra disponible al público en un sitioweb (Anexo B).

Quizás tenga más sentido visualizar un sistema deindicadores de desempeño como si fuera una pi-rámide –con un número pequeño de indicadoresestratégicos de alto nivel en la parte superior,que se concentren en productos y efectos direc-tos, y que serán usados por funcionarios de altonivel. Para los funcionarios de nivel medio, seríaapropiado ofrecerles un mayor número de indi-cadores operacionales, que se concentren en los


1 0 1

insumos, procesos y productos. Finalmente, enla base de la pirámide, sería apropiado ofrecer unnúmero mucho mayor de indicadores operacio-nales que se concentren en procesos y servicios,para que los usen los administradores de línea ysu personal en las dependencias o centros. Cual-quier administrador de línea individual estaría in-teresado sólo en un pequeño subconjunto deestos últimos indicadores, es decir, los que tienenimportancia directa para esa unidad de trabajo.

Un error común de los sistemas de seguimientodel desempeño es recopilar demasiados indica-dores –lo cual conlleva a una situación de dema-siados datos pero insuficiente información(Capítulo 10). Los datos no utilizados puedenocasionar una falta de incentivo en los provee-dores de datos para que garanticen que éstossean de alta calidad, lo que podría convertirseen un círculo vicioso: poca utilización de datos ydatos de mala calidad.

12. ¿No sería mejor que un sistema de SyEpara todo el gobierno sea diseñado yadministrado por el ministerio de hacienda?

No necesariamente. Es cierto que algunos paíseshan encargado sus sistemas de SyE para todo elgobierno al ministerio de hacienda –por ejemploAustralia, Canadá, Chile y Estados Unidos deAmérica. Sin embargo, existen ventajas y des-ventajas respecto a este enfoque. Los ministeriosde hacienda generalmente tienen bastante poder,en especial en asuntos relativos al financiamientodel presupuesto. Estos ministerios pueden ser ca-paces de crear incentivos para que los ministe-rios sectoriales apoyen activamente al sistemade SyE. En algunos países también desempeñanuna función importante como creadores o su-pervisores de las reformas del sector público.Su posición poderosa les permite iniciar accionesdestinadas a fortalecer el SyE en el gobierno,particularmente para lograr un presupuesto porresultados.

Por otro lado, los ministerios de hacienda puedenser bastiones del conservadurismo y de resisten-cia al cambio, tanto en el alto nivel como en el de

las divisiones de presupuesto que supervisa cadaministerio y dependencia sectorial. En Australia,la Dirección del Departamento de Finanzas estabacomprometida en hacer reformas, incluso en eldesarrollo de un sistema de SyE para todo el go-bierno. Esta dirección quiso reorientar la labor delas divisiones de presupuesto para que no se con-centrara tanto en los detalles de gastos cada línea,sino que se concentrara en temas más generales,con relevancia política, en la eficiencia y efectivi-dad del gasto del gobierno. Por eso la direccióndel DdF se embarcó en un proceso de cambio cul-tural dentro del ministerio, tratando de influir enlos jefes de división, jefes de sección y sus em-pleados. Esta tarea consistió en realizar contrata-ciones, promociones, capacitación en el trabajo,renovación proactiva del personal y en el reco-nocimiento de buenas prácticas de uso de la in-formación del SyE en la asesoría de política deldirector (Capítulo 8; Mackay, 1998a).

En algunos países, los ministerios de hacienda hansido un obstáculo para reformas como el forta-lecimiento de los sistemas nacionales de SyE. Poresta razón, es importante contar con la colabo-ración del ministerio de hacienda en esta tarea o,por lo menos, evitar cualquier oposición de suparte. También se puede esperar que el apoyo deotros ministerios centrales, como la oficina del pre-sidente y la administración pública, sean un fac-tor de éxito –especialmente si los ministerioscentrales actúan de forma colegiada en apoyodel sistema nacional de SyE. Un diagnóstico puedeidentificar el grado de aceptación u oposición decada uno de los ministerios centrales poderosospara reforzar el sistema de SyE; esto tambiénpuede convertirse en un medio para lograr un en-tendimiento compartido de los beneficios de SyEy ayudar a fomentar un consenso sobre un plande acción para fortalecer el sistema.

13. ¿Acaso a los ministerios sectoriales noles incomoda que se les impongarequerimientos formales del SyE, diseñadospor uno de los ministerios centrales?

A nadie le gusta que le digan lo que debe hacer,particularmente si esa persona no tiene ni voz ni

1 0 2


voto para tomar decisiones sobre la creación derequerimientos formales y si no parece obtenerbeneficio alguno de la información del SyE pro-ducida. Éste ha sido el caso de Chile, donde el po-deroso MdH ha impuesto efectivamente una seriede requisitos de SyE a los ministerios y depen-dencias sectoriales; las entidades sectoriales uti-lizan muy poco los resultados de las evaluacionesque el sistema produce.

Puede ser difícil llegar a un consenso acerca de losméritos de las reformas del SyE, pero muy bienvale la pena hacer el esfuerzo. La falta de acuerdopuede hacer que los ministerios y dependenciassectoriales no cumplan con los requerimientos delSyE impuestos por las entidades centrales, o quelos acepten verbalmente pero acaben no cum-pliéndolos. Son estas entidades las que general-mente tienen la responsabilidad principal deproporcionar los datos de seguimiento que elsistema de SyE requiere. Si estas entidades con-sideran que no tienen incentivos para garantizaruna buena calidad de la información, entoncestodo el sistema sufrirá las consecuencias (incluidala calidad de las evaluaciones, ya que ellas sebasan en los datos que ofrecen los ministerios).Esto representa una de las enseñanzas clave quesurge del trabajo de diagnóstico realizado paraUganda (Capítulo 9).

Otra enseñanza es evitar los peligros de contar conmúltiples sistemas de seguimiento descoordina-dos en los niveles central y sectorial, lo cual re-presenta una carga considerable sobre losproveedores de datos, especialmente en los ni-veles de los ministerios, dependencias y centros.

Los incentivos negativos –”castigos” impuestos porlos ministerios centrales– no suelen ser del agradode los ministerios sectoriales, aunque todavíapueden ser necesarios. Los incentivos positivos–premios, por ejemplo, la seguridad de contar congrandes financiamientos para los ministerios quepuedan demostrar su desempeño– suelen ga-narse a las personas (Capítulo 11).

14. ¿Hay alguna forma de garantizar que lainformación del seguimiento y los resultados

de evaluación serán utilizados en el procesopresupuestario?

No hay forma de garantizar el uso de la informa-ción del SyE en el proceso presupuestario, perohay formas de incrementar las posibilidades deque ello suceda. Es claramente importante que laspartes interesadas clave en el proceso presu-puestario y en la toma de decisiones del presu-puesto –incluido el presidente o al primerministro, el ministro de hacienda, otros ministrosclave y el ministerio de hacienda, entre otros–hayan solicitado la información del SyE, de modoque puedan desarrollar mejores formulaciones depolíticas y tomar mejores decisiones. Si esa de-manda es débil o nula, entonces se pueden darpasos para incrementar la toma de concienciadel SyE, en términos de lo que abarca y de loque puede ofrecer.

Debe haber opciones para que las partes intere-sadas ofrezcan incentivos –premios, castigos oconsejos– a fin de fomentar el uso de la infor-mación del SyE en el presupuesto (Capítulo 11).Estos incentivos pueden incluir, por ejemplo, de-cididas declaraciones de apoyo al SyE por partede promotores influyentes en el gobierno; re-troalimentación constante por parte de los mi-nistros a los analistas de política sobre la calidadde la asesoría política proporcionada (incluso sidicha asesoría hace buen uso de la informacióndel SyE disponible); inclusión de clasificacionesde desempeño del programa en documentos depresupuesto publicados; y disposición de apoyoal ministerio de hacienda para dirigir algunas eva-luaciones rápidas con el objeto de demostrar suutilidad.

15. ¿El presupuesto por resultados no implicaque se debe gastar menos dinero en losprogramas con desempeño deficiente?

No necesariamente. La consideración primordialserá si el programa representa una prioridad parael gobierno. Algunos programas –como el deeducación primaria– son demasiado importan-tes para ser eliminados o incluso para recortar sufinanciamiento. En estos casos, el desafío estará


1 0 3

en solucionar los problemas de desempeño quela información del seguimiento y los resultadosde las evaluaciones hayan identificado, por ejem-plo, la ineficiencia en la prestación del servicio ouna mala identificación de los posibles benefi-ciarios. Por tanto, sería necesario gastar más di-nero en el programa, por lo menos en el cortoplazo, para corregir estos problemas.

Los ministerios de hacienda de países como Aus-tralia han recurrido a acuerdos sobre los recursoscon las dependencias en tales situaciones para pro-porcionar un aumento en el financiamiento acorto plazo para los programas prioritarios, acambio de una reducción promedio de medianoa largo plazo en el financiamiento. Ellos solicita-ron que se tomen acciones específicas para me-jorar el desempeño (OCDE, 1997a).

Sin embargo, para los programas de prioridadbaja, la evidencia de un mal desempeño casi siem-pre lleva a la decisión del gobierno de recortar elprograma o incluso de terminarlo por completo.Chile es un país que podría abolir un programasi encuentra evidencia de mal desempeño, peroes la excepción; los ministerios de hacienda de lamayoría de países miembros de la OCDE no sue-len eliminar programas cuando la informacióndel SyE revela un desempeño deficiente (Curris-tine, 2005).

16. ¿Es posible introducir el presupuesto porresultados (PBB) de manera experimental, odebe ser introducido para todo elpresupuesto al mismo tiempo?

Sí se puede introducir un PBB en forma experi-mental. Existen tres tipos de PBB (véase el re-cuadro 3.1, p. 10). El primer tipo supone unarelación directa entre el financiamiento del pre-supuesto para un programa y sus resultados. Esteenfoque se usa sólo en algunos pocos casos de-finidos en forma muy precisa como los financia-mientos basados en una fórmula para hospitaleso para la educación universitaria. Por tanto, es po-sible introducir el presupuesto por resultados di-rectos de manera experimental para programasespecíficos.

El segundo tipo de PBB es el presupuesto por re-sultados indirectos, donde la información del SyEofrece un aporte para la toma de decisiones deasignación de fondos del presupuesto. Puede serque parezca extraño considerar el uso de la in-formación del SyE como un aporte para la tomade decisiones en la asignación del presupuestosólo para unos cuantos programas experimenta-les. Los gobiernos deben tener una informacióndel desempeño que sea razonablemente buena ydisponible para todos los programas en todoslos sectores. Por tanto, es necesario utilizar cual-quier información que esté disponible, sin im-portar qué tan irregular o imperfecta sea. En otraspalabras, las decisiones sobre el presupuestodeben tomarse independientemente de si existebuena información del SyE disponible sobre el de-sempeño del programa o poca información engeneral.

Entonces, la respuesta es sí, también es posibleponer a prueba el uso de la información del SyEpara ayudar en la asignación del presupuesto sólopara algunos programas. Ya sea que el PBB se in-troduzca en forma experimental o para todo elpresupuesto, resulta inevitable que haya desi-gualdades en la cantidad de información del SyEdisponible para diferentes programas. Esto a suvez otorga prioridad en una planeación de la eva-luación sólida, para garantizar que los resultadosde la evaluación estén disponibles a la hora detomar decisiones del presupuesto para los pro-gramas clave del gobierno. Cuando se pone aprueba este tipo de PBB, una estrategia utilizadaes encargar evaluaciones estratégicas de temas“candentes” de política para tratar de asegurar lautilización de los resultados de la evaluación enel presupuesto –a fin de lograr un efecto de de-mostración.

El último tipo de PBB corresponde al presupuestopor presentación de resultados, por medio delcual el gobierno informa al público su desem-peño pasado o su desempeño esperado para cadaprograma. Una vez más, el nivel de informacióndel SyE disponible para diversos programas pro-bablemente varíe mucho,4 por tanto, es posibleponer a prueba este tipo de PBB. En Colombia,por ejemplo, este tipo de PBB ha sido puesto a

1 0 4


prueba para el presupuesto de inversión perono para el presupuesto recurrente (Anexo B). Elgobierno de Guatemala en la actualidad está po-niendo a prueba asignaciones de presupuestopor resultados para los ministerios de educacióny de salud.

17. ¿El presupuesto de programa puedeayudar a crear un sistema de SyE?

Sí. El presupuesto de programa típicamenteagrupa a todas las actividades con el mismo ob-jetivo –como lograr una mejora específica en la nu-trición infantil– dentro de un solo programa.5

Esto hace mucho más fácil estimar el monto totalque el gobierno gasta para lograr este objetivo.También facilita obtener una medida del volu-men total de los productos de estas actividadesrelacionadas (es decir, medidas de base) y delestablecimiento de las metas de desempeño.

Esta claridad contrasta fuertemente con el tradi-cional presupuesto para cada línea de gasto, queidentifica el monto total gastado por una depen-dencia en todas las actividades, con informaciónsólo sobre los tipos de gastos, es decir, salarios,alquiler de oficinas, teléfono, viajes, etcétera.Saber cuánto se gasta para tratar de alcanzar cadaobjetivo del gobierno es muy útil para los fun-cionarios de alto nivel y los analistas de presu-puesto, ya que los ayuda a evaluar si la cantidadque se gasta está en proporción con el nivel deimportancia del objetivo; esto es esencialmenteuna perspectiva de gestión basada en resultados.Además, los ayuda a evaluar si los resultados dedicho gasto podrían justificar el gasto, así comoa comparar opciones alternativas de gasto para al-canzar el mismo objetivo.

Pero antes de que se puedan realizar estas eva-luaciones, es necesario que la información delSyE relativa a la efectividad de los gastos esté dis-ponible (es decir, productos, efectos directos e im-pactos logrados con ese gasto). Una ventaja finaldel presupuesto de programa es que incentiva atener un enfoque a largo plazo en las metas y ob-jetivos, así como en los pasos intermedios nece-sarios para lograrlos.6

El alineamiento del presupuesto del programacon el SyE requiere la alineación de los sistemasde información. Por tanto, se debería armonizarun sistema de información de la gestión financieray un sistema de seguimiento del desempeño, locual requeriría un esfuerzo significativo.

Chile ha sido capaz de construir un sistema de SyEsólido sin contar con un presupuesto de pro-grama (aunque ahora está trabajando en la ela-boración de una estructura programática). Perola desventaja de la falta de una estructura ha sidoque los evaluadores de los programas de Chile tie-nen que tratar de decidir qué actividades del go-bierno deberían ser consideradas como parte delprograma a ser evaluado. Éste es un enfoque muyparticular y lleva demasiado tiempo. La mayoríade los países miembros de la OCDE han imple-mentado presupuestos de programa.

18. ¿Cuál es la función que deberíadesempeñar la oficina nacional de auditoríay el Congreso o Parlamento en el SyE?

En principio, tanto la oficina nacional de audito-ría como el poder Legislativo del gobierno –el Con-greso o Parlamento– deben desempeñar un papelpreponderante en el SyE. Las oficinas nacionalesde auditoría son los organismos fiduciarios decontrol de la asamblea legislativa. Tradicional-mente realizan auditorías del cumplimiento de lasprácticas de gestión financiera de los ministeriosy dependencias. Un creciente número de oficinasnacionales de auditoría también realizan audito-rías de desempeño, un tipo de evaluación que seenfoca en la eficiencia y efectividad del gasto delgobierno. En algunos países se ha revisado el de-sempeño del sistema de SyE gubernamental yeso ha inducido a que el gobierno realice las me-joras necesarias en el sistema (Capítulo 12).

El poder Legislativo del gobierno también está, enprincipio, preocupado con el desempeño delpoder Ejecutivo. La asamblea legislativa es la quegeneralmente tiene el poder legal de aprobar ono las solicitudes de financiamiento del gobierno;a menudo tiene el poder de modificar estas soli-citudes según considere pertinente. Al conside-


1 0 5

rar las solicitudes de financiamiento, tambiéntiene la oportunidad de revisar el desempeño an-terior del gobierno –su administración de los fon-dos públicos. Sin embargo, dicho esto, pareceque las asambleas legislativas generalmente noestán bien equipadas para realizar tareas de revi-sión del desempeño del gobierno; por lo gene-ral, no tienen la capacidad, los recursos ni eltiempo para desempeñar esta función.

19. ¿El SyE de los documentos de estrategiapara la reducción de la pobreza (DERP) noviene a ser más que otro tipo decondicionalidad del donante?

En muchas formas lo es. Una razón importante porla que los DERP enfatizan el SyE es para asegurarque el gobierno y los donantes se enfoquen en losresultados del país, así como en los montos gas-tados para alcanzar esos resultados. Esto se havuelto incluso más importante desde que el BancoMundial introdujo la iniciativa de alivio de la deudade los países pobres muy endeudados (Capítulo4). Un defecto común en la mayoría de los DERPes que se concentran en el desempeño del país yprestan muy poca atención a la contribución es-pecífica que el gobierno –o sectores individualesdel gobierno o gobiernos subnacionales– o los do-nantes (o el sector privado) dan esos resultados(Capítulo 9). Las razones de esta deficiencia in-cluyen la debilidad tanto de los sistemas de SyE gu-bernamentales como del apoyo de los donantesa estos sistemas. Sin embargo, en algunos países,como Uganda y Tanzania, la preocupación del go-bierno en relación con el SyE antecede a los DERP;en otras palabras, estos gobiernos se dieron cuentadel valor de invertir tiempo y esfuerzo para crearun sistema de SyE gubernamental que apoye unmejor plan nacional y una mejor asignación de losrecursos de presupuesto.

20. ¿No son los donantes los que hacen queel SyE sea más difícil –y no más fácil–paralos países en desarrollo?

Ciertamente, el caso es que los donantes no hanpodido armonizar los requerimientos del SyE que

ellos esperan que los países cumplan. Esta situa-ción ha creado una carga significativa en algunospaíses. Un asunto problemático es que cuanto másdébiles sean las capacidades y sistemas del go-bierno, más donantes aplicarán sus propios sis-temas y condiciones, lo cual podría debilitar losesfuerzos del gobierno para fortalecer sus propiossistemas. Sin embargo, los donantes pueden ofre-cer diversos tipos de apoyo al fomento de la ca-pacidad de los gobiernos a fin de reforzar lossistemas de SyE existentes. Además, las oficinasde evaluación de donantes han realizado un grannúmero de evaluaciones a lo largo de muchosaños, y éstas representan en conjunto una fuentede información valiosa –una biblioteca de resul-tados de evaluación– que los gobiernos podríanusar para su beneficio.

21. ¿Cuáles son los principales peligros ydificultades que se deben evitar cuando sebusca fortalecer el SyE en un país?

Son varios, y en este libro se abordan seis retosprincipales:

• La creencia de que el SyE tiene un méritointrínseco –un “mantra de SyE”. Este argu-mento es particularmente poco convincentepara los funcionarios del gobierno escépticosy con sobrecarga de trabajo. En lugar de ello,la forma de persuadirlos es señalando evalua-ciones particulares que hayan sido altamente in-fluyentes también con otros gobiernos similares,gobiernos que hayan hecho un esfuerzo con-siderable para crear un sistema de SyE y con-vertirse en fuertes defensores del SyE. Estaperspectiva enfatiza que el SyE vale la penasólo si realmente se utiliza para mejorar el de-sempeño del gobierno (Capítulo 3 y Parte II).

• Un enfoque tecnocrático para la creaciónde capacidad que se concentre únicamenteen crear sistemas de seguimiento, llevar a caboevaluaciones y ofrecer capacitación en SyE.Estas actividades, vistas desde el lado de laoferta, son necesarias pero están lejos de sersuficientes para que los sistemas de SyE lleguena tener éxito. Los temas desde el lado de la

1 0 6


demanda son cruciales, particularmente sobrela naturaleza y fuerza de los incentivos para con-ducir y utilizar la información del SyE (capítu-los 10 y 11). La capacitación que crea concienciaacerca de los usos y el valor del SyE –sus for-talezas y limitaciones– puede ayudar a forta-lecer la demanda de SyE.

• Estricta adhesión a un plan de acciónpredeterminado para crear un sistema deSyE. Siempre vale la pena comenzar con unavisión sólida acerca del sistema de SyE, cómooperará y la utilización que se le dará a la in-formación que el sistema produzca una vezque se haya establecido completamente. Sinembargo, la experiencia nos recuerda que lossistemas de SyE más exitosos se han desarro-llado en una forma oportunista e indirecta, yaque se van encontrando obstáculos en el ca-mino y van surgiendo nuevas oportunidades(Capítulo 10). Estos acontecimientos inespe-rados pueden reflejar, por ejemplo, la partidade los promotores clave, cambios en el go-bierno o crisis fiscales que incrementan la im-portancia que posee tener la información delSyE disponible. Por tanto, desarrollar un sis-tema de SyE puede ser visto como un pro-ceso evolutivo, que necesita ser ajustado yadministrado cuidadosamente. El permanente

SyE del progreso en el desarrollo de un sistemaofrecerá la comprensión necesaria para reali-zar los ajustes adecuados (Capítulo 12).

• La limitación de depender de leyes, de-cretos y regulaciones como el principalmedio para institucionalizar el SyE dentro delgobierno. Una base legal sólida puede ofrecerasistencia parcial para institucionalizar un sis-tema de SyE, pero se necesita mucho más queeso (Capítulos 10 y 11).

• El peligro de tener un sistema de SyE ex-cesivamente complejo, en particular me-diante múltiples sistemas de seguimiento condemasiados indicadores de desempeño (Ca-pítulos 9 y 10).

• La búsqueda de un sistema ideal de SyEgubernamental que provenga de otros paí-ses. Algunos funcionarios buscan sistemasejemplares, como el de Chile, con la inten-ción de reproducirlos en sus propios países.Esto es un error, no sólo porque los puntos departida que cada país tuvo que enfrentar sonúnicos, sino porque los destinos o puntos dellegada también los son, dependiendo del usoreal o futuro de la información que sus siste-mas de SyE producirán (Capítulo 12).


1 0 7

ANEXOS

1 1 1

Un tema consistente en esta obra es que la utili-zación de la información del seguimiento y eva-luación (SyE) es necesaria para que el sistemasea considerado “exitoso”. En parte, se trata deque el gobierno obtenga el máximo beneficio desus esfuerzos de SyE –que reflejen la eficacia enfunción de los costos del sistema de SyE.

Sin embargo, la poca utilización no sólo representauna pérdida de oportunidad, también puede sig-nificar una amenaza para la sostenibilidad del sis-tema. Generalmente, los funcionarios delgobierno no consideran que las evaluaciones ten-gan un valor intrínseco, por lo que, tal vez, mues-tran poco entusiasmo en continuar invirtiendograndes cantidades de dinero en evaluacionesque van a ser ignoradas.

La utilización de la información es particular-mente importante en los primeros años de un sis-tema de SyE, antes de haber sido totalmenteestablecido y aceptado como parte normal delos asuntos del gobierno. En este período inicial,es importante que las evaluaciones tengan unefecto poderoso de demostración –demostrar suutilidad– logrando persuadir a funcionarios es-cépticos o poco convencidos de que el SyE valela pena y tiene un valor real para el gobierno(véase el capítulo 3, para un análisis de las dife-rentes maneras en que las evaluaciones puedenser utilizadas por los gobiernos). En otras palabras,durante la fase inicial de un sistema de SyE es im-portante que cada evaluación sea considerada.Esto hace recaer la responsabilidad sobre los ad-ministradores de un sistema de SyE para que pla-nifiquen meticulosamente sus evaluaciones.

La misma definición de éxito de un sistema de SyEse puede aplicar a una evaluación individual, y esto

naturalmente conduce a una pregunta: ¿Qué senecesita para que una evaluación sea utilizada in-tensivamente, para que sea influyente? La si-guiente exposición se basa en un análisis profundode ocho evaluaciones que se determinaron comoaltamente influyentes; este estudio presenta unaserie de enseñanzas detalladas sobre cómo dise-ñar una evaluación influyente (Bamberger, Mac-kay y Ooi, 2004, 2005). Estas enseñanzas tambiénson consistentes con la literatura académica sobreutilización de la evaluación (por ejemplo, Patton,1997), y con los hallazgos del Grupo de Evalua-ción Independiente (GEI) del Banco en relacióncon la utilización de sus propias evaluaciones(GEI, 2006a). En esta sección se resumen cincode las lecciones principales:

1. La importancia de una política propiciao un ambiente de gestión. Es mucho más pro-bable que se utilicen los hallazgos de una eva-luación y las recomendaciones si abordan asuntosde política importantes que el gobierno está con-siderando en ese momento. Por ejemplo, un go-bierno recientemente elegido podría haberdecidido expandir de manera considerable elnivel de ayuda a los desempleados pero podríaestar inseguro del medio más eficaz en función delcosto. Evaluaciones de intervenciones alternati-vas del gobierno, como la generación de empleo,subsidios salariales o programas de capacitaciónpara los desempleados, serían muy útiles paralas decisiones del gobierno (véase el recuadro8.2, para el ejemplo de Australia).

Un ambiente propicio también incluiría el com-promiso de la administración de una dependen-cia para implementar los hallazgos de unaevaluación –quizás porque la dependencia tieneuna fuerte orientación al servicio, y los adminis-

ANEXO A: ENSEÑANZAS SOBRE CÓMO GARANTIZAR

EVALUACIONES INFLUYENTES

tradores y el personal tienen mucho interés enproporcionar la mejor calidad de servicio posiblea sus clientes. En esta situación, se podría decirque la dependencia posee una sólida cultura deservicio o desempeño.

2. El momento oportuno de la evaluación.La probabilidad de que los resultados y reco-mendaciones de una evaluación sean utilizados au-menta cuando están disponibles de maneraoportuna y pueden servir como insumo para lasdecisiones de política o de gestión. Así, el MdHde Chile planifica cuidadosamente sus evalua-ciones, teniendo muy en cuenta las fechas lími-tes del presupuesto, para garantizar que estaráncompletas a tiempo para que sus resultados seanutilizados por los analistas de políticas y los quetoman las decisiones en cada ciclo del presu-puesto (Capítulo 6).

Esto da una prioridad especial a la planeación yadministración de la oportunidad de cada eva-luación. Pero puede ser difícil prever las oportu-nidades para influir en la agenda de política delgobierno, la cual puede ser influida por circuns-tancias no previstas, por ejemplo, un cambio enel gobierno o una crisis macroeconómica.

Un ejemplo de una evaluación que fue comple-tada demasiado tarde para influir en una decisiónpolítica del gobierno se encuentra en el anexo B,recuadro B2. Un gobierno recientemente elegidoen Colombia decidió terminar un programa parageneración de empleo antes de que los resulta-dos de la evaluación estuvieran disponibles.

Resultó que esos hallazgos eran sumamente im-portantes para los resultados del programa enrelación con sus objetivos. Se llevó a cabo una eva-luación de impacto rigurosa. Estas evaluacionespueden proporcionar los resultados más minu-ciosos y confiables, pero generalmente sólo sepueden llevar a cabo después de que el programaesté funcionando un tiempo suficiente como paraque sus efectos directos e impactos puedan sus-tentarse a sí mismos. Y este tipo de evaluación tam-bién puede requerir mucho tiempo para realizarse,especialmente si se necesita recopilar gran can-tidad de datos.

Este ejemplo de Colombia resalta las compensa-ciones que los gestores de un sistema de SyEdeben considerar cuando deciden qué programasevaluar, qué tipo de metodología de evaluaciónutilizar, y cuándo habría una buena oportunidadpara influir en un debate de la política delgobierno.

3. Comprensión de la función potencial dela evaluación. Los evaluadores necesitan evitarel error de pensar que sus hallazgos y recomen-daciones serán –y deberían ser– la influencia másimportante sobre quienes formulan las políticasdel gobierno o los administradores. En lugar deeso, deberían pensar que una evaluación es ge-neralmente sólo una de muchas fuentes de in-formación e influencia en el gobierno, sólo unapieza del rompecabezas. Lo ideal sería que unaevaluación proporcione nuevos conocimientosy una buena comprensión.

Algunas veces, los gobiernos utilizan los resulta-dos de evaluación para justificar decisiones quetomaron en algún caso, especialmente si esas de-cisiones no fueron populares; o una evaluaciónpodría proporcionar la decisión final de terminarcon un programa que no funciona. Las reco-mendaciones de las evaluaciones que se centranen asuntos de implementación detallada, típica-mente serían menos controvertidas que las rela-cionadas con el valor total del programa, con sucontinuación o abolición. Una función particu-larmente útil para un evaluador es la de brindaruna nueva perspectiva externa.

4. Quién debe realizar la evaluación. Para queuna evaluación sea influyente, se requiere que elevaluador sea reconocido como confiable, obje-tivo y competente. En muchas situaciones, tam-bién será necesario que el evaluador sea vistocomo alguien independiente del programa –y al-gunas veces también de la dependencia– eva-luado. En los países de América Latina, es usualque las evaluaciones se realicen externamente;esto va en contraste con los países de la Organi-zación para la Cooperación y Desarrollo Econó-micos (OCDE), donde es más común que serealicen internamente (Parte VI). Por tanto, puedehaber una compensación entre la objetividad, in-

1 1 2


dependencia y confiabilidad de las evaluacionesy el conocimiento del programa por parte delevaluador y la responsabilidad de los hallazgos delas evaluaciones por parte del administrador ypersonal del programa.

La experiencia de los evaluadores internos o ex-ternos es otro tema que se debe considerar. Unamanera de combinar los beneficios de ambos en-foques –evaluaciones internas y externas– es ga-rantizar que tanto las partes interesadas externase internas tengan una función de supervisión enla evaluación, sin considerar si las evaluaciones sehacen interna o externamente.

5. Crear una relación con el cliente, comu-nicar y hacer marketing de los hallazgos deevaluación y recomendaciones. Otra falacia,aparentemente sostenida por muchos evaluado-res y administradores de oficinas de evaluación,es que el trabajo del evaluador es simplementeproducir informes de evaluación competentes. Dela misma forma, la difusión de los resultados y re-comendaciones de una evaluación pueden (ino-centemente) ser vistos como el envío de losinformes a una larga lista de nombres ydirecciones.

Cuando se conduce una evaluación, es impor-tante para el evaluador mantener buenas rela-ciones con las partes interesadas, incluido enespecial el cliente principal que encargó la eva-luación. Debe mantenérsele bien informado sobreel progreso de ésta, y se debe informar a las par-tes clave interesadas, antes de que la evaluacióntermine, sobre los probables hallazgos, especial-mente si éstos pueden dar lugar a controversia.En otras palabras, no debería haber sorpresas.

La comunicación y el manejo del conocimientoson particularmente importantes para las oficinasde evaluación. Por eso, otra función importantetanto para los evaluadores como para las oficinasde evaluación es extraer los hallazgos clave quepuedan ser más relevantes y útiles para las partesclave interesadas. Entre éstas se incluye a quienesformulan las políticas y los administradores de pro-gramas. Los funcionarios de alto nivel general-mente no tienen tiempo para leer informes de

evaluación extensos, por eso es útil proporcionarresúmenes ejecutivos cortos y fáciles de leer, y pre-parar documentos precisos que identifiquen lomás relevante, los hallazgos más importantes y lasrecomendaciones.

Algunos enfoques más sofisticados sobre el ma-nejo del conocimiento incluyen, por ejemplo, eluso de sitios web de evaluación (tanto para las eva-luaciones individuales como para la biblioteca deresultados de evaluación de la oficina de evalua-ción); lanzamientos formales de informes de eva-luación, como seminarios y conferencias; y elmantenimiento de una lista de difusión de laspartes clave interesadas que han expresado inte-rés en recibir resúmenes de evaluación. El GEI,que existe desde 1973, utiliza ahora su extensivabiblioteca de hallazgos de evaluación para abor-dar las necesidades inmediatas de resultados eva-luativos y enseñanzas de experiencia (GEI, 2006b,Capitulo 3).

Esto se hace mediante productos de “tiempo rá-pido de respuesta”, como son notas y presenta-ciones; documentos informativos para admi-nistradores de alto nivel del Banco, administra-dores de línea y personal en general. Un ejemplode esto es el material preparado con poco tiempoen relación con las enseñanzas acerca de cómo en-frentar desastres naturales que se preparó tras unfuerte terremoto en Pakistán en 2005.

La importancia de medir la utilizaciónEn relación con este tema, se destaca la impor-tancia de que una oficina de evaluación conozcaen qué medida sus evaluaciones están siendo re-almente utilizadas, y con qué propósitos especí-ficos. Esto es particularmente importante parauna oficina de evaluación recientemente instalada,cuya sostenibilidad podría no estar garantizada.Donde la utilización no es alta, será necesariotomar ciertas medidas para incrementarla.

El GEI realmente es un modelo de buenas prác-ticas; prepara un informe anual de las actividadesde evaluación de las áreas operacionales del BancoMundial. Este informe también incluye una auto-evaluación de las propias actividades de evaluacióndel GEI, que contiene las percepciones de las

A N E XO A : E N S E Ñ A N Z A S S O B R E C Ó M O G A R A N T I Z A R E VA L U AC I O N E S I N F L U Y E N T E S

1 1 3

partes interesadas en relación con el valor del tra-bajo de evaluación del GEI. Entre estas partes in-teresadas se consideran al Directorio y personaldel Banco, entre ellos a los directores de países,administradores de sectores, y líderes de equi-pos de trabajo (quienes manejan los proyectos depréstamos del Banco). Se llevan a cabo grupos deenfoque y entrevistas estructuradas con muestrasde individuos de cada uno de estos grupos. Lostemas principales que abordan estos grupos y en-trevistas se relacionan con el uso y la utilidad delos resultados de evaluación del GEI, productos,información y retos, incentivos, y obstáculos parael uso de la información del SyE en su trabajo.

Como parte de esas mismas autoevaluaciones,el GEI realiza encuestas internas a gran númerode personas del Banco Mundial, a miembros deldirectorio y a sus asesores. También conduce en-cuestas externas de clientes externos, incluidosgobiernos, organizaciones donantes, organiza-ciones no gubernamentales, académicos y pú-blico en general. Estas encuestas se centran eninformes de evaluación específicos del GEI. Enellas, las preguntas son respecto a:

• Lectores y grado de conocimiento de estosinformes;

• Percepción de su calidad (relevancia, facilidadde comprensión, concisión de la presentación,pertinencia, utilidad de las recomendaciones,análisis objetivo e imparcial, transparencia y cla-ridad de la metodología, fuerza de la relaciónentre las conclusiones y la evidencia, profun-didad del análisis, y si toda la información dis-ponible fue incorporada);

• Grado de influencia de la evaluación, por ejem-plo, en la comprensión del entrevistado delárea de estudio;

• Utilización de la evaluación (para el personaldel Banco, se está investigando varias catego-rías posibles de uso en su trabajo, como en elcaso de ofrecer asesoría, su trabajo de diseñarnuevas estrategias, y modificación de proyec-tos y estrategias existentes del Banco); y

• Cómo mejorar la calidad de las recomenda-ciones de las evaluaciones del GEI.

Los resultados de dichos grupos de enfoque, en-trevistas y encuestas, pueden ser bastante reve-ladoras para una oficina de evaluación y para losevaluadores también. Dichos enfoques aplicanel mismo rigor a una oficina de evaluación comola oficina lo aplicaría a los programas que evalúa.Esto, a su vez, puede ayudar a resaltar la confia-bilidad e influencia de la oficina de evaluación.

1 1 4


1 1 5

Este anexo fue publicado por separado (Mackayy otros 2007). La preparación de este rápido diag-nóstico fue un esfuerzo conjunto que involucróa una serie de profesionales de la Región de Amé-rica Latina y el Caribe del Banco Mundial, asícomo al coordinador del GEI para el desarrollo dela capacidad de evaluación.

1. IntroducciónEl Banco Mundial está preparando un préstamoprogramático para apoyar al Gobierno de Co-lombia en su continuo esfuerzo por fortalecer susistema nacional de SyE – SINERGIA.1 El propó-sito de este diagnóstico rápido es auxiliar al equipodel Banco Mundial y al Gobierno en el entendi-miento en conjunto de los aspectos más impor-tantes de este sistema de SyE, que incluye:

• su origen;• marco legal;• objetivos, roles y responsabilidades de los par-

ticipantes claves;• principales componentes de SyE de SINER-

GIA: SIGOB y las evaluaciones de impacto;• grado de utilización de la información de SyE

producida por SINERGIA;• SINERGIA: fortalezas, desafíos y direcciones

futuras; y• conclusiones.

La base de la información que alimenta este diag-nóstico rápido consiste en un número de informesdel gobierno y declaraciones de política, docu-mentación sobre un amplio rango de proyectos depréstamos o donantes auspiciados por el BancoMundial que ya han apoyado SINERGIA (o han apo-yado actividades específicas bajo el amplio auspi-cio de SINERGIA), presentaciones de conferencias

formales realizadas por altos funcionarios del go-bierno, información recogida por el personal delBanco Mundial que han participado en muchosproyectos de preparación y misiones de supervi-sión, y en la retroalimentación del diagnósticopor parte de los funcionarios del gobierno en elDepartamento Nacional de Planeación (DNP). LasMisiones del Banco incluyen reuniones con fun-cionarios de los ministerios centrales y sectoriales,la oficina del Contralor General de la República,los gobiernos municipales y grupos de la sociedadcivil, para tratar aspectos del SyE que incluyen lasfortalezas y debilidades de SINERGIA. Estas reu-niones han sido una valiosa fuente de información.Sin embargo, para presentar el panorama de ma-nera más exhaustiva, sería necesario un enfoquemás estructurado que capte las opiniones de losfuncionarios relevantes.

El presente documento buscar plasmar lo quesabemos y lo que no sabemos respecto a SINER-GIA. Debe ser visto sobre todo como un trabajoen ejecución – como una vía en busca de mayorinformación, comentarios y juicios sobre las mu-chas facetas específicas de SINERGIA y sus posi-bles direcciones futuras. Un desafío que enfrentanlos observadores externos es el poder identificarclaramente cuál o cuáles de los diferentes com-ponentes de SINERGIA y de otros sistemas de pre-supuesto/planeación están trabajando razo-nablemente bien, y cuáles sólo existen en el papel.Será necesario realizar un diagnóstico más ex-haustivo para resolver una serie de temas muy im-portantes sobre el cual la actual evidencia parecedébil o no concluyente. Adjunto en el anexo se en-contrará un bosquejo de los términos de refe-rencia para dicho diagnóstico, el cual, sin duda,constituiría una evaluación formal de SINERGIA.

ANEXO B: DIAGNÓSTICO DE UN PAÍS—EL EJEMPLO DE

COLOMBIA

2. Origen y desarrollo de SINERGIALa creación del sistema fue decisión del Ministrode Hacienda con el fin de reproducir en Colom-bia el enfoque del Banco Mundial respecto a la eva-luación. El gobierno identificó la estructura básicapara un sistema de SyE con la asistencia técnica delBanco Mundial. La primera fase de la evolución delsistema se realizó entre 1990 y 1996, la cual incluyóun requisito formal para evaluaciones en la Cons-titución revisada de 1991. SINERGIA, el Sistema Na-cional de Evaluación de Resultados de la GestiónPública – fue formalmente creado en 1994. ElBanco Mundial proporcionó apoyo continuo a SI-NERGIA durante este período, principalmente através de un nuevo Proyecto de Modernización dela Administración Financiera Pública I (de 1994 a2001). La segunda fase de la evolución de SINER-GIA, de 1996 a 2002, marcó un período en el que,supuestamente, el prestigio de SINERGIA dentrodel gobierno disminuyó, en parte debido a la per-cepción dificultad de su administración. En esteperíodo, comenzó a surgir la opción de abolirlo yaque habían dudas sobre su importancia en relacióna la agenda de reforma del sector público. Sinembargo, el requisito constitucional de evalua-ción impidió esta opción. Hacia finales de esteperíodo, en el 2001, el Banco Mundial intensificósu apoyo a SINERGIA, no sólo a través de unnuevo Proyecto de Modernización de la Adminis-tración Financiera Pública (MAFP II) sino tambiéncopatrocinando, con el Banco Interamericano deDesarrollo, una serie de evaluaciones de impactode dos grandes programas del gobierno: Empleoen Acción (un programa para la creación de nue-vos puestos de trabajo) y Familias en Acción (unprograma de transferencias monetarias condicio-nadas).2

La tercera fase, de 2002 al presente, se inició conla elección del Presidente reformista Álvaro Uribe.El nuevo gobierno quedó consternado al notar quelos grandes incrementos en el gasto del gobierno,en áreas como educación y salud, no habían re-sultado en aumentos en el desempeño del go-bierno (productos y efectos directos) en dichasáreas.3 Al mismo tiempo, el Presidente Uribe de-claró su sólido deseo de una nueva cultura de ad-ministración pública, ampliamente basada en larendición de cuentas social – control social. Así,

él introdujo un sistema para monitorear e infor-mar sobre el progreso teniendo en cuenta lasmetas presidenciales y las metas de desarrollo delpaís (SIGOB),4 él ha buscado activamente imple-mentar el mandato constitucional de evaluar, y haemitido una directiva presidencial5 y una declara-ción de política de la gestión basada en resultados.6

Él integró el SIGOB en SINERGIA y fortaleció SI-NERGIA. Esto condujo al nombramiento de unnuevo jefe de la unidad de evaluación que manejaSINERGIA, localizado en el Departamento Nacio-nal de Planeación, y al reclutamiento de personaly consultores para esta unidad.

Durante este período, el Banco Mundial aumentósustancialmente el rango y nivel de apoyo quebrindaba al SyE del gobierno, a través de dospréstamos de ajuste estructural y uno para asis-tencia técnica, un préstamo de redes de seguri-dad social, trabajo sectorial y un segundo proyectode modernización de la administración financierapública. Otros donantes también han participadoactivamente apoyando a SINERGIA durante esteperíodo de rejuvenecimiento como se muestra enel Cuadro B.1. Desde el año 2002, se han gastado10.8 millones de dólares en SINERGIA, de loscuales casi la mitad corresponde al financiamientootorgado por el BID, el 32% por el Banco Mun-dial, y el 8% por el USAID y el PNUD. Durante esteperíodo cuando había limitaciones fiscales ma-croeconómicas severas, el propio gobierno habíafinanciado sólo el 12% de costos de SINERGIA. Evi-dentemente, este bajo nivel de apoyo financierono es sostenible a largo plazo.

3. Marco legaleEl siguiente tema de discusión está basado en uninventario rápido y en el análisis de los instru-mentos legales en Colombia. El Banco Mundial seencuentra actualmente preparando un análisismás detallado para identificar los puntos que sesobreponen y las brechas, y qué tipos de instru-mentos legales se necesitarán para llenar estas bre-chas – decretos, leyes o declaraciones de políticas.

Desde los años de la creación del mandato cons-titucional de 1991, se ha creado un marco legaldetallado para dar apoyo a SINERGIA. En estemandato se estipulaba el enfoque del sistema de

1 1 6


evaluación de la siguiente manera “evaluar lagestión y los resultados del sector público”. Lasleyes de 1993 regularon la función de control fis-cal (ejercido por la Contraloría) para incluir “sis-temas de control de resultados”, y tambiénregularon la función del control interno dentro delas agencias del sector público para incluir siste-mas de control y evaluación de la gestión. Una leyde 1994 le dio al DNP la responsabilidad de crearSINERGIA y de informar anualmente los resulta-dos del sistema de evaluación ante el ConsejoNacional de Política Economía y Social (CON-PES), un comité de políticas de alto nivel diri-gido por el Presidente. El propio SINERGIA fuecreado a través de una resolución del DNP, en1994, que operacionalazo el mandato constitu-cional y legal, y que también asignó a todas lasagencias del Poder Ejecutivo del Gobierno la res-ponsabilidad de autoevaluarse. Además, el DNPse asignó a sí mismo la responsabilidad de desa-rrollar metodologías que guíen las actividades deevaluación del sistema. Recientemente, una ley delaño 2003 estipuló que el presupuesto nacional in-cluya detalles sobre los objetivos, resultados es-perados e indicadores de gestión para todas lasactividades del gobierno.7 Otras leyes duranteeste período han añadido mayor complejidad almarco legal. Considerando esto, en Colombia escomúnmente aceptado que se requiera una baselegal y normativa detallada para proporcionar di-rección y legitimidad a una reforma en cualquierárea del gobierno, tal como el SyE. Indudable-mente, si bien se considera necesario contar con

tal marco, esto no es suficiente para asegurar quedicha función trabaje bien. Otros factores que sediscuten más adelante, tales como la fuerza del li-derazgo en la reforma, los recursos proporcio-nados para apoyarla, el establecimiento de reglasy procedimientos de rutina y los incentivos parala utilización de la información de SyE, son tam-bién puntos claves para el éxito del sistema.

El mismo gobierno ha reconocido que la multi-plicidad de las leyes y decretos han conducido ala profusión de conceptos, metodologías, e ins-trumentos de SyE, y que se necesita aún más cla-ridad ahora que SINERGIA está entrando a unaetapa de mayor desarrollo. Esto condujo a la emi-sión de un documento de política del CONPES(#3294) en el año 2004: Renovación de la Ad-ministración Pública: Gestión por Resultados yReforma del Sistema Nacional de Evaluación.

4. Objetivos, roles y responsabilidades

4.1 ObjetivosLa última declaración de política del gobiernosobre SINERGIA – el CONPES 3294 – señala que losobjetivos del sistema de SyE son los siguientes:

1. mejorar la eficacia y el impacto de las políticas yprogramas del gobierno e instituciones públicas;

2. ayudar a incrementar la eficiencia y transpa-rencia en la planificación y asignación de re-cursos públicos; y

A N E XO B : D I AG N Ó S T I C O D E U N PA Í S — E L E J E M P L O D E C O L O M B I A

1 1 7

TotalFuente de los fondos 2002 2003 2004 2005 2006 2002–2006

Banco Mundial MAFP II 350 300 305 288 300 1,543

Banco Mundial Préstamos del

Sector Social 1,500 — 450 — — 1,950

BID 2,666 — 2,509 — — 5,175

USAID — — 50 200 200 450

PNUD — — 400 — — 400

Gobierno 250 250 256.7 270 270 1,297

Total 4,766 550 3,970.7 758 770 10,814

Fuente: Departamento de Planeación Nacional.

Cuadro B.1 Apoyo financiero para SINERGIA: de 2002 a 2006 ($ ‘000)

3. alentar la transparencia en la gestión pública,en especial estimulando el control por parte dela ciudadanía – es decir, el control social.

Estos objetivos de amplio alcance pueden ser de-sagregados en seis diferentes tipos de utilizacióndeseada de la información del SyE que produceSINERGIA: (1) apoyar la asignación de los recur-sos y la toma de decisiones dentro del presu-puesto nacional, proporcionando informaciónsobre el desempeño real y probable de las prio-ridades de gasto alternativas; (2) apoyar la tomade decisiones de la planificación nacional tantocuando se desarrollan los planes nacionales acuatro años, como cuando se identifican las prio-ridades anuales en el plan nacional; (3) asegurarla cohesión de la acción del gobierno en relacióna aquellas prioridades de desarrollo; (4) ayudar alos ministerios sectoriales en el desarrollo de suspolíticas y la planificación de su trabajo; (5) apo-yar la actual gestión de las actividades del go-bierno realizadas por los ministerios y susagencias; y (6) asegurar la transparencia del de-sempeño del gobierno logrando que la informa-ción del SyE se encuentre disponible para elCongreso y la sociedad civil, es decir, propiciar larendición de cuentas a través del control social.

Como se puede ver a continuación, de todosestos objetivos, SINERGIA de Colombia ha enfa-tizado exitosamente el control social, especial-mente por lo menos desde el año 2002.

4.2 Roles y responsabilidades de las partesinteresadas clavesLa Dirección de Evaluación de Políticas Públicas(DEPP) del DNP es la base de SINERGIA. Estaunidad coordina el sistema, proporciona asesoríasobre las metodologías y tipos de evaluación y ad-ministra algunas evaluaciones. También propor-ciona asesoría técnica y apoyo financiero paraalgunas de las sofisticadas evaluaciones de im-pacto y otros tipos de evaluaciones conducidas porministerios y agencias sectoriales. Esta Direcciónorienta a los sistemas de SyE piloto de gobiernosterritoriales y a otras entidades como el Ministe-rio de Protección Social (MPS) que está estable-ciendo un sistema de seguimiento y evaluación.La DEPP maneja el sistema de información que re-

aliza un seguimiento del progreso comparadocon las Metas Presidenciales, SIGOB, y es co-res-ponsable, junto con la Presidencia, en la elabo-ración de los informes anuales y del final degobierno, respecto al desempeño del Gobiernoconsiderando los compromisos asumidos bajo elplan de desarrollo nacional. Estos informes sonun insumo clave para el informe anual del propioPresidente ante el Congreso (Gráfico B.1). LaDEPP cuenta con 31 personas dentro de su per-sonal, de los cuales cerca del 70 por ciento estánactualmente empleados como consultores.8

La DEPP coordina los informes de los ministeriosy agencias sectoriales, y de los gobiernos territo-riales, que proporcionan la información de se-guimiento necesaria para el SIGOB (se discutirámás adelante). Estas entidades y gobiernos terri-toriales son formalmente responsables de la ges-tión por resultados. La DEPP también actúa comola secretaría del Comité Intersectorial de Evalua-ción y Gestión por Resultados. Este comité, cre-ado mediante un decreto de Diciembre de 2002,viene a ser el principal responsable de la coordi-nación de las acciones de SyE entre las unidadesdel gobierno que deciden la agenda de evaluacióncuatrianual – correspondiente al período de go-bierno del Presidente – y a la correspondienteagenda anual de evaluaciones que tienen que serrealizadas. Este comité también decide los están-dares técnicos y determina la metodología de eva-luación para las evaluaciones individuales. Otrosmiembros de este comité son otras direcciones delDNP, la Presidencia, el Ministerio de Hacienda y mi-nisterios y agencias sectoriales invitados a participarcuando se evalúan sus programas. El comité se hareunido seis veces desde su creación a inicios del2004, y tiene que reportar ante el CONPES. En2004, el CONPES emitió una declaración de polí-tica sobre gestión por resultados y sobre reformasnecesarias en SINERGIA.

5. Principales componentes del SyE deSINERGIAEl seguimiento y evaluación del gobierno gene-ralmente comprende una amplia gama de herra-mientas, métodos y enfoques. Estos puedenparecer confusos para el común de las personas,pero es importante entender su amplitud, y es-

1 1 8


pecialmente sus usos, ventajas y limitaciones,además de los costos, habilidades y tiempo re-querido por cada uno de ellos. Es importante en-tender que estos diferentes tipos de SyE soncomplementarios, cada uno tienes sus fortalezasy limitaciones, y el desafío consiste en decidircómo combinarlos de la mejor manera en un sis-tema nacional de SyE.

Los dos componentes principales de SINERGIAson el SIGOB, un sistema de indicadores de de-sempeño que hace un seguimiento al progreso enlas Metas Presidenciales, y su agenda de evalua-ciones de impacto.

5.1 SIGOBExisten alrededor de 500 indicadores de desem-peño relacionados con 320 Metas Presidencia-les,9 y para cada indicador el SIGOB registra elobjetivo, el desempeño base, las metas anuales,el desempeño real comparado con dichas metasy las sumas invertidas por el gobierno. De esa ma-nera, SIGOB incluye un gran número de indica-

dores del desempeño del gobierno que incluyemedidas de insumos, procesos, productos y efec-tos directos (resultados). La información está de-sagregada por regiones, incluyendo por lasciudades más grandes. Además, donde no se halogrado conseguir una meta, hay una solicitud paraque el administrador de dicha meta prepare unaexplicación sobre las razones por las que no se al-canzaron las metas. Estos informes de excepciónse incluyen en la base de datos del SIGOB, quese encuentra disponible al público en general atiempo real.10 El sitio web también promueve larendición de cuentas identificando al adminis-trador de dicha meta, su ministerio y su cargo, ade-más de sus direcciones electrónicas.

Una versión inicial del SIGOB fue desarrollada enel año 2002 con apoyo del PNUD, y fue inicial-mente ubicado dentro de la Presidencia. Luego,en el 2005, se transfirió la responsabilidad al DNP,bajo el auspicio de SINERGIA, donde un nuevo pa-quete de software con mejor funcionalidad fue de-sarrollado. El DNP negocia las metas anuales con


1 1 9

Gráfico B.1 SINERGIA: Roles y Responsabilidades

Presidencia DNPM. de Hacienda Ministerios / agencias invitadas

Dirección de Evaluaciónde Políticas Públicas

Congreso

CONPESPresidente /Gobierno

PresidenciaDepartamento Nacional

de Planeación

Comité Intersectorial deEvaluación y Gestión por

Resultados

GobiernosTerritoriales

Ministerios /agencias

sectoriales


sectoriales


sectoriales

SociedadCivil

cada ministerio y agencia. La DEPP también apoyael trabajo piloto para reproducir el SIGOB en elmunicipio de Pasto.

Los datos que el SIGOB maneja son proporcio-nados por los ministerios y agencias. Además decualquier control de datos aplicado por las enti-dades que proporcionan información al SIGOB,la DEPP misma se esfuerza por identificar cualquierproblema o inconsistencia con los datos, y tieneun equipo responsable del monitoreo de la cali-dad de la información del SIGOB y del segui-miento de posibles problemas con la informaciónde las entidades que los brindan. Sin embargo,ante la ausencia de un sistema de auditoria dedatos, detallado y permanente, la confiabilidad dela información es desconocida y ciertamente noha sido demostrada. Una excepción, en parte, esel Ministerio de Educación (MEN) que, con elapoyo del Banco Mundial, estaría llevando a caboauditorias limitadas de la información propor-cionada por los departamentos y municipios.11

Como las asignaciones de los fondos para los es-tados están basados en la información de ins-cripción escolar, esto se convierte en un incentivopara que algunos estados sobre-estimen el nú-mero de inscripciones escolares.

La declaración de política del gobierno sobreSINERGIA (CONPES 3294), cuyo proyecto fue ela-borado por la DEPP/DNP, ha llamado la aten-ción sobre la necesidad de abordar los problemasrespecto a la confiabilidad de la información delSIGOB, inclusive su calidad y consistencia (es-pecialmente donde los problemas han surgidoa partir de múltiples fuentes de información nocoordinadas), su regularidad y verificación. Estadeclaración de política también presenta unaexplícita preocupación de que los ministeriosmanipulen la información que presentan aSIGOB.

5.2 Evaluaciones12

Constituyen el segundo componente principalde SINERGIA. Actualmente se han completado ose están llevando a cabo cerca de 16 evaluacionesy hay otras 17 que van a ser realizadas en el trans-curso de los próximos cinco años (Cuadro B.2).La mayoría de estas evaluaciones son evaluacio-

nes de impacto y comprenden un sofisticado aná-lisis estadístico de los beneficiarios del programay de los grupos control o comparación. Tambiénincluyen generalmente un foco en eficacia ope-racional y otros temas de gerencia. Una pequeñacantidad de otros tipos de evaluación están rea-lizados, y éstos tienden a ser enfocados estricta-mente en temas de gerencia e institucionales.

Desde el año 2002, por lo menos dos tercios deltotal gastado en SINERGIA, proveniente de todaslas fuentes – principalmente del BID, del BancoMundial y del Gobierno – han sido gastados enevaluaciones. Su costo varía desde US$15,000hasta US$2 millones para las evaluaciones de im-pacto rigurosas del componente rural de Familiasen Acción. Para aquellas evaluaciones que hanrecibido apoyo financiero del Banco Mundial, elvehículo principal para este apoyo ha sido lospréstamos sectoriales específicos, particularmenteen los sectores sociales. No se conoce el nivel deapoyo financiero suplementario de los ministeriossectoriales y agencias. CONPES ha endosado laevaluación de impacto como instrumento de la po-lítica social (CONPES 3188).

El Cuadro B.2 muestra que los costos de muchasde estas evaluaciones son altos. Esto se debe a quepara realizar estas evaluaciones, es necesaria unarecolección de datos muy detallada, debido a lafalta de información administrativa, de hogares yotra información que sea adecuada. Este tema, yla potencialmente alta costo-efectividad de estetipo de evaluación, se discuten en mayor detallemás adelante.

La DEPP ha utilizado un proceso de licitacióncompetitivo para contratar estas evaluaciones,entre el ámbito académico o empresas consulto-ras nacionales o internacionales. La contrataciónde estas evaluaciones se realiza para asegurar laobjetividad, confiabilidad y credibilidad de lasevaluaciones, y también debido a que existe unafalta de experiencia por parte del gobierno en loque se refiere a evaluaciones de impacto. Otro ob-jetivo es ayudar a construir las capacidades loca-les para evaluación. Generalmente, la DEPP y losministerios sectoriales trabajan juntos en la ad-ministración de estas evaluaciones de impacto.

1 2 0


Es así que para la DEPP, la prioridad es poder ad-ministrar y supervisar estas evaluaciones, másque conducirlas. La base de habilidades que existeen la DEPP para apoyar este trabajo es limitada.Y la confianza de la DEPP en el personal contra-tado – que llegan a ser 22 de los 31 miembros dela DEPP – puede haber funcionado como una ba-rrera para el desarrollo de las habilidades profe-sionales, por ejemplo a través del hecho de nopoder ser elegibles para becas de entrena-miento/capacitación. Un desafío para la DEPP esfortalecer su capacidad para manejar estas eva-luaciones.

Respecto a qué actividades deberían estar sujetasa rigurosas evaluaciones de impacto, el gobierno

ha declarado que las decisiones deben estar ba-sadas en 5 criterios: (1) la cantidad de recursos queconsumen; (2) las características de la poblacióna la que ellos sirven (por ejemplo, los pobres olos desplazados); (3) la importancia de la activi-dad, en términos de prioridad para el plan nacionalde desarrollo; (4) el carácter innovador de la ac-tividad (por ejemplo, un programa piloto); (5) elpotencial de reproducción del sistema. Sin em-bargo, la información de desempeño del SIGOBno parece haberse usado con el fin de detectaralgún problema en los programas gubernamen-tales para los que se justificara una evaluación,pero valdría la pena que la DEPP adopte este en-foque. Esto contrasta con la situación en Chile, porejemplo, donde las señales de un bajo desempeño


1 2 1

Evaluaciones ya completadas Evaluaciones en ejecución Evaluaciones planificadas (2006–10)

Cuadro B.2 Agenda de las Evaluaciones de Impacto y Otras Evaluaciones(El costo de cada evaluación, en dólares, se encuentra entre paréntesis)

Fuente: Departamento Nacional de Planeación.

Empleo en Acción ($1.5m)

Adulto Mayor ($50,000)

Corpomixtas ($15,000)

Programa de Apoyo Directoal Empleo — PADE($66,000)

Total: $1.631m

Familias en Acción — Rural ($2m)

Familias en Acción — Grandes Ciudades ($180,000)

Jóvenes en Acción ($670,000)

Vivienda de Interés Social —VIS ($226,800)

Programa de Renovación de la AdministraciónPública — PRAP ($311,000)

Hogares Comunitarios ($1.36m)

Fondo Colombiano para la Modernización yDesarrollo de las Micro, Pequeñas y MedianasEmpresas — Fomipyme ($88,000)

Sistema General de Participaciones — SGP (Parte1) ($419,000)

Red de Seguridad Alimentaria — RESA($125,000)

Programa de Paz y Desarrollo y Laboratorios de Paz(etapa 1) ($206,000)

Desayunos Infantiles

Estratificación Socio económica ($200,000)

Total: $5.786m

Cursos de Formación Complementaria — SENA($200,000)

SENA — Institucional ($60,000)

ICBF — Institucional ($30,000)

SENA — Otros Programas ($95,000)

Reinsertados ($119,000)

Familia Guardabosques ($119,000)

Programas del Sector Agrícola ($119,378)

Familias en Acción Desplazadas ($119,378)

Banco de Pobres ($198,000)

Red de Apoyo Contra la Pobreza Extrema — PEP($198,000)

Evaluación Programas Sector Justicia ($119,000)

DANE — Institucional ($60,000)

MinInterior — Institucional ($25,000)

Rapid evaluation pilots ($98,000)

Evaluación Plan Decenal de Cultura ($150,000)

Mujer Cabeza de Familia Microempresaria($150,000)

Programas de alimentación escolar en Colombia($600,000)

Total: $2.460m

del programa se utilizan como un impulso parajustificar una investigación más exhaustiva de lascausas del bajo desempeño a través de una eva-luación formal – ya sea una revisión de escritorioo una evaluación de impacto sofisticada.

Como se vio anteriormente, el Comité Intersec-torial de Evaluación tiene la responsabilidad for-mal de decidir las agendas, tanto la cuatrianualcomo la anual. Hasta ahora, sin embargo, la agendade evaluaciones ha sido establecida de maneraespontánea (desde las bases hacia los líderes) enlugar de una forma planificada (desde los lídereshacia las bases). La agenda de evaluación está ac-tualmente determinada sobre la base de las eva-luaciones financiadas por donantes internacionalescomo parte de sus préstamos al gobierno, en con-junto con algunas evaluaciones adicionales queestán ampliamente financiadas por los ministe-rios sectoriales y agencias individuales, y con algúnapoyo técnico y financiero de DEPP. Se esperaque este enfoque haya ayudado a lograr altos ni-veles de aceptación de los hallazgos de estas eva-luaciones, por parte de los ministerios y agenciascuyos programas han sido evaluados, por un lado;y por otro, por parte de DNP y otros ministerioscentrales. Sin embargo, ello significa que la agendade evaluación ha sido muy dependiente del apoyodel donante y de las prioridades de evaluación.Seria recomendable que el Comité Intersectorialde Evaluación jugara un rol importante en la su-pervisión del desempeño de SINERGIA y en eldesarrollo de sus futuras direcciones.

5.3 Otras actividades de SyEEl DNP/DEPP ha actuado activamente en unaserie de otros aspectos del SyE, tal como los es-fuerzos para fortalecer la rendición de cuentas pú-blica en el desempeño del gobierno, proporcionarasistencia técnica a algunos ministerios o agenciasque están tratando de desarrollar sus sistemasinternos de SyE, la formación de capacidades deSyE en el sector público y la academia, avanzandolos programas pilotos de presupuesto basado enel desempeño a nivel municipal, la preparacióndel informe de presupuesto de inversión basadoen el desempeño y el desarrollo de los linea-mientos de política del SyE. Algunos aspectos deestas iniciativas son considerados a continuación.

6. Grado de utilización de la informaciónde SyE producida por SINERGIA

6.1 Rendición de cuentas – Control político ysocialUna característica distintiva de Colombia es elfuerte compromiso del Presidente Uribe con la uti-lización de la información del SyE para mejorar elcontrol político del Poder Ejecutivo y para apoyarel control social. La base de datos del SIGOB estácargada en su computadora personal y utiliza esainformación en sus reuniones mensuales de con-trol de gestión con cada ministro y el DNP. Duranteestas reuniones, se revisa el progreso alcanzadoen relación a cada una de las metas presidencia-les, y si es el caso, se le solicita a cada ministro queexplique las razones por las que no se consiguióalcanzar el desempeño esperado. También seacuerdan los indicadores de desempeño y las ac-ciones para alcanzar estas metas. La Presidenciase reúne con los ministros para asegurarse deque todos ellos saben utilizar bien el SIGOB. ElPresidente también utiliza esta información delSIGOB en sus reuniones municipales semanalesque realiza en los diferentes municipios del país,así como en la presentación anual televisada a laciudadanía, en la que el Presidente y sus ministrosdiscuten el desempeño del gobierno y respondenlas preguntas de los ciudadanos sobre estos temas.

Este fuerte compromiso presidencial con la uti-lización de la información del SyE para monito-rear e informar sobre el desempeño del gobiernoparece ser única en América Latina y tal vez en elmundo. Envía señales poderosas a los ministrosde manera individual y a los servidores civiles ensus ministerios y agencias, y se espera que pro-mueva una cultura de desempeño. Sin embargo,todavía no se conoce la real magnitud a la cual hallegado esa cultura – este es un tema que se po-dría investigar a través de un diagnóstico ex-haustivo. Pero parece que no se ha logrado unamayor adopción de las prácticas de SyE en todoslos ministerios y en los gobiernos territoriales.Dicho esto, existen varios ministerios, agencias ygobiernos municipales, discutidos a continua-ción, que actualmente se encuentran trabajandopara fortalecer sus sistemas de SyE, algunos deellos con el apoyo activo de DEPP.

1 2 2


Otro tema desconocido es la credibilidad de la in-formación que el gobierno reporta a la sociedadcivil.13 Algunos representantes importantes de lasociedad civil han sembrado dudas en cuanto ala credibilidad de los datos del SIGOB – el prin-cipal argumento es que esos datos son produci-dos por el gobierno y que por consiguiente,inherentemente no son confiables. Por eso, laconfianza de SINERGIA en los informes de supropio desempeño es vista así por algunos comouna debilidad estructural en los acuerdos de ren-dición de cuentas (ver más abajo). La página webdel SIGOB permite que los lectores emitan sus jui-cios sobre el desempeño del gobierno frente a suspromesas (conforme están reflejadas en el plannacional de desarrollo), y sobre la accesibilidad,calidad y utilidad de toda la información delSIGOB, disponible para el público en general,con respecto al desempeño del gobierno.14 Ade-más, la DEPP encuestó a más de 3,000 hogares en13 capitales en julio de 2006 preguntándoles di-rectamente sobre una serie de temas similares, in-cluyendo también preguntas sobre transparencia,grado de respuesta y rendición de cuentas del go-bierno y de las diferentes entidades guberna-mentales, disponibilidad de la información sobreel desempeño del gobierno, la importancia sobrela participación ciudadana en la gestión públicay la calidad de una serie de servicios públicos.15

Otro aspecto del SIGOB es el hecho de ser esen-cialmente una herramienta de seguimiento. Es ne-cesario informar, a través de evaluaciones delprograma y de la política, sobre el desempeño so-bresaliente o un desempeño deficiente, lo que asu vez, necesita estar basado en políticas riguro-sas y formulación de programas vinculados a lasMetas Presidenciales y a las metas de desarrollodel país.

La DEPP ha desarrollado una serie de iniciativasambiciosas para promover aun más el control so-cial, y parece ser que la primera de éstas ha con-seguido algo de avance. Estas iniciativas incluyen:

• Colombia Líder – una asociación indepen-diente de la sociedad civil conformada por or-ganizaciones de medios de comunicación,bancarias, fundaciones y otras que promue-

ven una buena gobernabilidad y control social.Este consorcio, que ha sido impulsado y apo-yado por la DEPP, resaltará el buen desem-peño de los alcaldes municipales, y monitorearálos planes y gastos gubernamentales, y anali-zará su impacto sobre la pobreza;

• asociaciones con organizaciones de la sociedadcivil para difundir la información de SyE;

• empleo de estaciones de radio y televisiónpara producir programas sobre el desempeñodel gobierno;16 y

• contratación de expertos sectoriales para ana-lizar e informar sobre el desempeño del go-bierno. Esto también proporcionará algunagarantía de calidad complementaria de la in-formación de SyE del gobierno, tal como losdatos del SIGOB.

Aunque el progreso en las tres últimas iniciativasparece modesto, estos esfuerzos de involucrarsedirectamente con la sociedad civil podrían teneruna retribución significativa si llegan a tener éxito,y también haría que sea muy difícil retrocederen el futuro. Un buen ejemplo de una iniciativade la sociedad civil que fue desarrollado inde-pendientemente del gobierno nacional, es el pro-grama “Bogotá Cómo Vamos”. Esta iniciativa fuecreada por un consorcio de una fundación privada(la Fundación Corona), el diario más importantede la ciudad de Bogotá (El Tiempo), y la Cámarade Comercio de Bogotá, y parece estar total-mente institucionalizada.17 “Bogotá Cómo Vamos”consiste en una extensiva publicación de la in-formación sobre el desempeño del gobierno mu-nicipal junto con información de las encuestas deopinión pública. Los tres socios de esta empresaestán apoyando la reproducción de este enfoqueen Barranquilla, Cali, Cartagena y Medellín. Estainiciativa es un excelente ejemplo del tipo de me-canismo que puede ser apoyado para promoverel control social del desempeño del gobierno.

Asimismo, cada año el Presidente presenta for-malmente un informe ante el Congreso sobre el al-cance que han logrado las metas y objetivos del plannacional. Sin embargo, no está claro en qué medidael Congreso puede utilizar esta información. ElCongreso sólo juega un rol secundario en el pro-ceso de presupuesto (Banco Mundial, 2005b). Los


1 2 3

congresistas tienen muy poco apoyo técnico comopara que puedan entender los hallazgos de la eva-luación e información sobre el desempeño, y encualquier caso, la discusión en el Congreso sobreel presupuesto anual tiende a ser enfocada estric-tamente en asuntos políticos. Esta experiencia esquizá similar a la de muchos otros países. Por lotanto, la posibilidad de que el Congreso puedajugar algún rol importante en SINERGIA parece sermínima – a no ser que el Congreso tome la inicia-tiva de solicitar al gobierno la información del SyEe institucionalizar su empleo.

6.2 Apoyo para la toma de decisiones sobre elpresupuesto y la planificación nacional

Rigideces Presupuestales. El DNP es responsa-ble por la preparación de plan nacional de desa-rrollo cuatrianual, y también tiene responsabilidaden la elaboración del presupuesto de inversiónanual. Este último incluye infraestructura y otrasinversiones, así como inversiones en capital hu-mano (tal como educación y capacitación). Elpresupuesto de inversión comprende cerca del 15por ciento del presupuesto total nacional. El Mi-nisterio de Hacienda es el responsable del resto– el presupuesto corriente – el cual también in-cluye el financiamiento en curso para los servi-dores civiles y sus actividades administrativas,servicio de la deuda del gobierno, pagos de pen-sión y transferencias a los gobiernos territoriales.

No se sabe claramente en qué medida existe po-tencial para que la información de SyE pueda ejer-cer alguna influencia en la toma de decisionessobre el presupuesto y la planificación nacional enColombia. Existe considerable falta de flexibilidadpresupuestaria en Colombia por diferentes razo-nes, incluyendo las transferencias ordenadas cons-titucionalmente a los gobiernos territoriales y a unagama de derechos permanentes e ingresos eti-quetados. Como resultado, prácticamente el 95 porciento del presupuesto está etiquetado y de esamanera es inflexible en el corto plazo.18 Pero si bienla información sobre el desempeño y los hallazgosde las evaluaciones pueden ejercer sólo influen-cia limitada sobre la distribución del presupuestonacional en el corto plazo, podría haber un po-tencial considerable en el mediano y largo plazo,

especialmente si existe clara evidencia sobre el de-sempeño del gobierno en la consecución de lasMetas Presidenciales y otras prioridades guber-namentales (ver Recuadro B.1). Aún en el cortoplazo, existe el potencial para que los gobiernosterritoriales utilicen la información del SyE. Estosgobiernos son responsables de más de un terciodel gasto del presupuesto federal y tiene más fle-xibilidad en la asignación del presupuesto.

Por esta razón, los enfoques piloto del presupuestopor resultados en Medellín y en Pasto son poten-cialmente importantes. Por ejemplo, el gobiernomunicipal de Medellín conduce encuestas en al-rededor de 23,000 hogares para obtener indica-dores específicos sobre desarrollo humano. Luego,éstos son mapeados para identificar los distritos máspobres. El gasto gubernamental ha sido mayor-mente reorientado en favor de estos distritos, y laslíneas de base y metas de desempeño son esta-blecidas para ayudar en el seguimiento del de-sempeño del gobierno. La falta de evaluaciones esuna limitación para el mejor entendimiento de losresultados de este gasto, pero el gobierno empleaprofesionales académicos locales para analizar laprobable cadena de resultados de las opciones al-ternativas para el gasto del gobierno – esto ayudaal gobierno a decidir los tipos de actividades en lasque debería gastar. Con el apoyo por la DEPP, losgobiernos municipales de Pasto y Medellín hanprepradado informes del presupuesto por resul-tados para el año fiscal 2007 y están preparandoleyes orgánicas de presupuesto para formalizareste enfoque. Los trabajos del presupuesto porresultados son apoyado por las sistemas de segui-miento y herramientas similares a SIGOB. En el ladode la demanda, mecanismos para el control polí-tico y social han sido promovidos en las dos ciu-dades obteniendo lecciones de la experiencia delprograma Bogotá Cómo Vamos. En Pasto, la alianzalocal de la rendición de cuentas ha realizado unaencuesta de 1300 hogares en temas análogos a laencuesta nacional preparada por la DEPP, pero po-niendo más énfasis en los temas de la participaciónciudadana y la gobernabilidad local. Un estudio in-dependiente en servicios de la salud subvencio-nados estuvo comisionado y discutidopúblicamente con el alcalde de la ciudad y dichoproceso generó compromisos por el gobierno

1 2 4


local para mejorar varios aspectos de la entrega delservicio. Estos modelos municipales proveen lec-ciones para la introducción del presupuesto por re-sultados a los niveles federal, departamental ymunicipal a lo largo de todo el país.

Un ejemplo de la capacidad del gobierno de res-ponder hábilmente ante las prioridades que sur-gen es la creación del programa “Empleo enAcción” durante la crisis económica hacia finalesde la década del 90. El gobierno también accedióa llevar a cabo una importante evaluación de im-pacto de este programa. Sin embargo, el gobiernodecidió terminar el programa antes de que los ha-llazgos de la evaluación estuvieran disponibles. Apartir de este estudio de caso se pueden obtenermuchas lecciones valiosas en relación a la plani-ficación de la evaluación (Recuadro B.2).

Una interesante iniciativa de presupuesto por re-sultados es el contrato de gestión que ha sido pi-loteado entre el DNP y el Ministerio de Hacienday dos agencias sectoriales social, el Instituto Co-lombiano para el Bienestar Familiar (ICBF) y el Ser-vicio Nacional de Aprendizaje (SENA), con elapoyo del Banco Mundial. Estos contratos invo-lucran el establecimiento de indicadores y metasde desempeño para la entrega del servicio y la implementación administrativa.19 Cuando se al-canzan las metas, se aumenta la asignación pre-supuestal de las dos agencias permitiéndoles retener una mayor parte de los ingresos no tri-butarios que colectan. No está claro si estosprogramas pilotos se mantendrán o serán am-pliados.

Presupuesto y Planificación Basada en Resul-tados. La DEPP ha preparado informes del pre-supuesto por resultados, tanto para el 2005 comopara el 2006, para el presupuesto de inversión deColombia. Estos informes se presentan comoanexos al presupuesto habitual, que continuapresentándose en base a rubros presupuestales.Los informes basados en resultados desarrollaronuna clasificación programática de las actividadesdel gobierno de acuerdo a los objetivos comunes,que a su vez, estaban basados en las Metas Presi-denciales y el plan nacional de desarrollo. Los in-formes muestran los objetivos establecidos paracada programa, las metas de desempeño corres-pondientes (empleando los datos del SIGOB) ytambién el presupuesto de inversión correspon-diente para ese año. Sin embargo, los programasno han sido elaborados de manera rigurosa (si-guiendo metodologías con marco lógico o simi-lares) y las asignaciones de presupuesto sonfrecuentemente estimados del apoyo financierodado a tales programas bajo diferentes líneas pre-supuestales. La publicación de estos informes exante – es decir, antes de que se ejecute el presu-puesto – es una forma de presupuesto por re-sultados, aunque el del tipo más débil puestoque es poco probable que los informes tengan al-guna influencia sobre la toma de decisiones delpresupuesto ante la falta de un mecanismo ex-plícito para lograr esto. Más bien, deberían ser vis-tos como documentos de rendición de cuentas.Nótese que los otros tipos de presupuesto por


1 2 5

F amilias en Acción es un programa de transfe-rencia monetaria condicionada que proporciona

apoyo financiero a familias pobres que se compro-meten a garantizar que sus hijos recibirán cuidadosmédicos preventivos, inscribirán a sus hijos en la es-cuela y los enviarán a clases. El programa fue cre-ado en 1999 como respuesta a la crisis económica.

Se contrató consultores externos, bajo la supervi-sión del DNP, para realizar una evaluación de impactorigurosa del programa, cuya fase final debe ser com-pletada en el 2006. La evaluación encontró que el pro-grama ha conseguido impactos notables en nutrición,educación y salud. Estos hallazgos persuadieron al go-bierno del Presidente Uribe, elegido en 2002, no sóloa mantener el programa del gobierno anterior sino acomprometerse a doblar su cobertura, aumentándolade 500,000 a un millón de familias pobres. A finales del2006, el gobierno decidió aumentar la cobertura del pro-grama aún más, a 1.5 millones de familias.

La evaluación de Familias en Acción ha costadoUS$1.5 millones hasta ahora. Aunque esta es una can-tidad alta, es pequeño en relación al gasto total del go-bierno en dicho programa (alrededor de US$100millones en el tiempo de la evaluación). Debido a la im-portante influencia al gobierno, se puede decir que elprograma ha sido altamente costo-efectiva.

Recuadro B.1 Ejemplo de una evaluación influyente en Colombia

resultados que un país puede adoptar son: elpresupuesto con información de desempeño,donde la información del SyE proporciona unelemento para la toma de decisiones del presu-puesto (como en el caso de Chile y en la mayo-ría de los países de la OCDE), y directamente elpresupuesto por resultados, donde las asigna-ciones del presupuesto están basadas en una fór-mula explícita o por calificaciones (algunosejemplos serían el financiamiento de la educaciónsuperior basado en el número de estudiantes y enel tipo y tópico de su grado, y el financiamientopara la salud basado en el método casemix.20

Parece existir una significativa falta de conexiónentre el nivel de enfoque de SINERGIA – de lasMetas Presidenciales – y del enfoque, mucho másmicro, por proyecto del trabajo del DNP en la pre-paración del presupuesto de inversión anual. Al ini-cio de cada nuevo periodo cuatrianual de gobierno,el DNP, con la aprobación del Presidente, presentaante el Congreso el plan nacional de desarrollo. Estoindica las inversiones propuestas dentro del perí-odo. Las inversiones incluidas en este plan cons-tituyen el “Banco de Programas y Proyectos” delcual se pueden seleccionar inversiones específicas(y sólo ellas) para su inclusión en posteriores pre-

1 2 6


Recuadro B.2 El Programa “Empleo en Acción”: Lecciones para la planificación de la evaluación

El Gobierno solicitó el apoyo del Banco Mundial para un nuevoprograma de creación directa de puestos de trabajo basado

en obras públicas, como respuesta a la crisis económica a fi-nales de la década del 90. Se hizo efectivo un préstamo delBanco a inicios del 2001, el cual incluyó financiamiento para unaevaluación de impacto sofisticada. Esta evaluación era unacondición del Banco para otorgar el préstamo. Hubo algunosatrasos en la implementación del proyecto, pero al mismo tiempo,las condiciones económicas comenzaron a mejorar. A inicios del2004, el nuevo gobierno había decidido concluir con el pro-grama “Empleo en Acción”. Hasta ese momento, se habían gas-tado unos US$183 millones en el programa.

Los hallazgos del la evaluación de impacto, cuyo costo fue deUS$1.5 millones, estuvieron disponibles más tarde ese mismo año.La evaluación encontró que el programa había tenido éxito encuanto a la transferencia monetaria para hogares más pobres yque había incrementado la empleabilidad de los participantes delprograma. Asimismo, había realizado obras públicas que benefi-ciaron a las comunidades locales. Sin embargo, el programa noconsiguió alcanzar las metas del número de beneficiarios ni delnivel de ganancia neta anual que el programa proporcionaría a losbeneficiarios. Un informe sobre la terminación de la implementa-ción del proyecto del Banco Mundial ha concluido recientementeque el programa, en general, no fue costo-efectivo cuando se lecompara con programas similares de creación directa de pues-tos de trabajo en otros países y comparado con otros tipos de apoyopara los desempleados.

Aunque la evaluación de impacto no fue influyente, sí propor-ciona varias lecciones para la planificación de las evaluaciones,las cuales son bastante relevantes para la administración de SI-NERGIA. Una lección es la necesidad de un alto grado de cuidado

en la planificación de una evaluación, especialmente si se tratade una evaluación compleja y costosa y que tomará algún tiempopara que sus resultados estén disponibles. Siempre es posible queexistan imprevistos ajenos a la evaluación. Por lo tanto, el desa-fío está en el manejo del riesgo. También es importante planificarlas evaluaciones de manera que los hallazgos estén disponiblespara ayudar en la toma de decisiones, tal como la elección de unnuevo gobierno (cuando se prepara un nuevo plan nacional), y elciclo presupuestal anual. Otro tema relacionado a la planeaciónde las evaluaciones es priorizar las evaluaciones – decidiendo quéactividades del gobierno deberían ser evaluadas, cuándo es pro-bable que se necesiten los hallazgos y qué profundidad de análi-sis (y costo) debería ser conducida la evaluación. A primera vista,para un importante programa del gobierno como “Empleo en Ac-ción”, es altamente recomendable que se realice una rigurosa eva-luación de impacto. Aun en el caso de que esa evaluaciónproporcionase sólo una mejora marginal en el desempeño delprograma – es decir, su eficacia y su efectividad – gastar US$1.5millones en la evaluación de un programa que ha gastado US$183millones (y que potencialmente podría gastar mucho más) sería al-tamente costo-efectivo. En casos donde el financiamiento para laevaluación es limitado, o donde hay limitaciones de tiempo, en-tonces, puede ser más apropiado utilizar otros tipos de evaluacionesmás rápidas. Una lección final para SINERGIA es la importanciade realizar informes regulares exhaustivos de sus propias activi-dades de SyE para poder saber cuáles han sido eficaces y cuá-les no, y las razones para ello.

Nótese que la evaluación de impacto de “Empleo en Acción” haincrementado la biblioteca de hallazgos disponibles en el gobierno.Estos hallazgos son muy útiles para el gobierno en el actual debatesobre la posibilidad de crear un nuevo programa de obras públicas.

supuestos anuales. La Dirección de Inversiones yFinanzas Públicas (DIFP) del DNP establece los es-tándares que los proyectos deben cumplir. Las en-tidades elaboran proyectos – ellos mismos ocontratando personal externo – y los envían a laDIFP. Luego la DIFP verifica si los proyectos cum-plen los estándares establecidos y los clasifica deacuerdo a las prioridades del gobierno.

Al hacer la selección anual, la DIFP realiza una eva-luación ex ante de las inversiones individuales, aun-que en la práctica esto consiste más en unaevaluación técnica que en una evaluación formal.Recientemente se ha realizado una revisión de la me-todología de evaluación de la DIFP. Los ministeriosy las agencias deben llevar a cabo auto-evaluacio-nes ex post, pero la confiabilidad, credibilidad y rigorde las auto-evaluaciones conducidas están sujetasa cuestionamientos y la misma DIFP las han cues-tionado. No queda claro en qué medida la DIFP hapodido dar un uso importante a la información delSIGOB o a los hallazgos del pequeño número deevaluaciones de SINERGIA completadas hasta ahora.Las recientemente creadas comisiones de gastosectorial, que incluyen a la DIFP, DEPP y al Minis-terio de Hacienda, proporcionan un forum poten-cialmente importante para la utilización futura dela información de SyE de SINERGIA, particular-mente en la medida en que el volumen de hallaz-gos de las evaluaciones crezca rápidamente en losaños venideros como resultado de la ambiciosaagenda de evaluación que se está realizando.

Un examen importante de la relevancia de la in-formación de SyE que SINERGIA ha producido ala fecha será la medida en que fue utilizada en elnuevo plan de desarrollo nacional cuatrianual. ElDNP preparó y que fue entregado al Congreso ennoviembre de 2006, DEPP cree que DNP y los mi-nisterios sectoriales han alcanzado buen utiliza-ción del la información de SINERGIA para definirlas metas incluidos en el plan nacional, además dereportar el desempeño del gobierno (y el minis-terio) en terminos a la real magnitud a la cual lasmetas han sido logrados.

El trabajo de SyE de SINERGIA parece haber es-tado muy alejado de las actividades de SyE deotra dirección dentro del DNP, la Dirección de De-

sarrollo Territorial Sostenible (DDTS). La DDTSes responsable por el seguimiento y evaluación21

del trabajo de los gobiernos territoriales – los1,100 municipios y los 32 departamentos que su-pervisa – financiado a través de transferenciasdel gobierno central. Al parecer, la calidad de lainformación proporcionada por los municipios ala DDTS no es muy buena, con muchos vacíos. Nó-tese que los municipios proporcionan en formaseparada la información sobre la que se basanlos ministerios y agencias sectoriales, y que éstasa su vez alimentan al SIGOB. El trabajo de laDDTS a nivel municipal y el de la DEPP – por ejem-plo, en cuanto al presupuesto por resultados envarios municipios – no ha sido coordinado.22

El presupuesto dividido de inversión y corrientetambién tiene implicaciones para el uso de la in-formación de SyE de SINERGIA en la prepara-ción del presupuesto corriente. Se cuestionantemas como el intercambio de información, lacoordinación, y las decisiones sobre las priorida-des de la evaluación entre el DNP y el Ministeriode Hacienda. La opción de unificar la inversión ylos aspectos recurrentes del presupuesto re-cientemente fue considerada dentro del gobiernopero un consenso no fue logrado. Actualmente laestructura del presupuesto nacional en Colombiarestringe las posibilidades para usar la informaciónde SyE.

Existen otros cuatro temas/aspectos que tambiéninfluencian la capacidad del gobierno para reali-zar un presupuesto por resultados. El primero esla decisión tomada en Diciembre de 2005 de im-plementar un marco de gasto de mediano plazo(MGMP).23 Una ventaja del MGMP es que brindauna mayor seguridad en el financiamiento del si-guiente año fiscal para los ministerios y activida-des del gobierno. También brinda un ambiente enel que se le da mayor flexibilidad y responsabili-dad a los ministerios y agencias, que pueden serusadas para promover una mayor orientaciónhacia los resultados dentro del gobierno, como hasido adoptado por una serie de países de la OCDE.

Un segundo tema es la falta de estructura pro-gramática del presupuesto. Los presupuestos porresultados de la DEPP para los dos años anterio-


1 2 7

res han proporcionado un informe del gasto pla-nificado del presupuesto en base a programas, yhan preparado esta clasificación programática deactividades en base a casos específicos. Los pre-supuestos de inversión y recurrentes continúanbasándose en presupuestos convencionales ba-sados en rubros presupuestales. Sin embargo,los informes del presupuesto por resultados se ad-juntan como anexos a los informes de presu-puesto convencionales.

El enfoque del presupuesto por programa tienemuchos beneficios potenciales.24 Establece unarelación entre los ítems de costo (es decir, acti-vidades) que tienen objetivos comunes, y ayudacon la priorización del programa y del gasto.Asimismo facilita la expansión, reducción o in-clusive, la finalización de los programas y las ac-tividades que ellos comprenden. Facilita laevaluación agrupando actividades relacionadas,así como el establecimiento de una medida debase y las metas del desempeño. Ayuda a acla-rar quién es responsable por los resultados. Sinembargo, si bien un enfoque del presupuesto porprograma facilita el uso de la información deSyE durante el proceso de preparación del pre-supuesto, éste no es un prerrequisito para elbuen funcionamiento del sistema de SyE utilizadode manera intensiva por el gobierno, como lo de-muestra ampliamente el caso de Chile: Chileposee el mejor sistema de SyE de América Latina,en términos de un sistema maduro de SyE to-talmente utilizado en el proceso de preparacióndel presupuesto, y aun así, Chile continúa de-pendiendo de un presupuesto basado en ru-bros presupuestales.

Un tercer tema relacionado con Colombia es queaparentemente existen vínculos muy débiles entreel Sistema Integral de Información Financiera(SIIF), en el que se basa el presupuesto y elSIGOB. Esto hace difícil vincular el gasto del go-bierno en actividades particulares a los produc-tos, efectos directos e impactos producidos poraquellas actividades. De esta manera, los informessobre el presupuesto por resultados de la DEPPsuponen un trabajo de forma manual que vin-cula la información del desempeño del SIGOB conla información de costos producida por el SIIF.

Chile tiene que realizar similares comparacionesen forma manual – en lo cual se emplea muchotiempo – cuando estima el gasto del presupuestoen los programas que evalúa.

Relacionado a esto está el cuarto tema: la limitadainformación que la DIFP posee en relación algasto real del gobierno a nivel territorial. Si biense cuenta con información sobre la asignación delpresupuesto, la información sobre la ejecución delpresupuesto por departamentos y municipios enforma individual simplemente no está disponible.Esto hace que sea imposible comparar la pro-ducción de bienes y servicios con las cantidadesque se han gastado en ellos y es un impedimentopara el mejoramiento de la elaboración del pre-supuesto y la planificación, y para el presupuestopor resultados.

Este análisis preliminar del trabajo de la DIFP y laDDTS sugiere que las iniciativas de SyE de laDEPP no han estado generalmente muy integra-das con el trabajo del resto del DNP. Una coordi-nación más cercana puede ser un prerrequisitopara lograr un presupuesto y una planificación porresultados. De igual manera, la aparente pobre co-ordinación entre el SyE y el trabajo de presu-puesto del Ministerio de Hacienda parecería serun obstáculo para lograr un mayor énfasis en elpresupuesto por resultados por parte de dicho mi-nisterio clave.

Pilotos de Evaluaciones Rápidas. Un recientey significativo desarrollo es el trabajo de la DEPP,en conferencia con la DIFP, para llevar a cabo dosevaluaciones piloto rápidas. La intención es pro-porcionar un método de evaluación rápido y debajo costo que complementaría mejor a las eva-luaciones de impacto más sofisticadas y general-mente más costosas en las que SINERGIA se haenfocado ampliamente hasta la fecha. Estas eva-luaciones rápidas aclararán los objetivos de los dosprogramas que se evalúan, así como la lógica desu diseño e intentará evaluar sus actividades, ges-tión, costos y desempeño. La metodología inno-vadora que la DEPP ha desarrollado se basa en unacombinación de metodologías de evaluación rá-pidas utilizadas por los gobiernos de Chile y deEstados Unidos. La nueva metodología se llama

1 2 8


la Evaluación Ejecutiva (E2). Se pretende que di-chas evaluaciones puedan ser completadas enun período de 3 meses a un costo de US$15,000–US$20,000 cada una.

El Ministerio de Hacienda no está directamenteinvolucrado en el SIGOB ni en las evaluaciones,y no las utiliza directamente. Sin embargo, unprogreso significativo es el reciente acuerdo paraque el Ministerio de Hacienda pilotee dos eva-luaciones rápidas – éstas comprenderán, esen-cialmente, revisiones de escritorio empleando lametodología de las evaluaciones de los progra-mas de gobierno de Chile. El Ministerio de Ha-cienda también está investigando la posibilidad delograr elaborar un presupuesto por resultadosde manera sistemática.

Mezcla de Herramientas de SyE. Los pilotosde evaluaciones rápidas proporcionarán una im-portante adición al rango de información sobreherramientas de SyE disponible para la toma dedecisiones presupuestales y la planificación na-cional. Para hacer bien el presupuesto y la plani-ficación se requiere análisis y asesoría en eldesempeño de un gran rango de actividades delgobierno – aquellas que se están llevando acaboy actividades posibles que se estén considerando.SIGOB actualmente da información sobre el de-sempeño de todo el gasto del gobierno, y se en-foca en el nivel de las Metas Presidenciales. Talinformación es relativamente barata de produ-cir, y logra una amplia cobertura. Sin embargo, sulimitación es que provee poco o ningún enten-dimiento de las razones por las que el gobiernoha logrado, o no, las metas. En contraste, las eva-luaciones de impacto de SINERGIA tienen lasventajas de la profundidad y el rigor – puedenidentificar relaciones causales y demostrar defi-nitivamente si las acciones individuales del go-bierno son, o no, causan los resultados esperados.Pero las evaluaciones de impacto sofisticadas soncomúnmente costosas y largas.25 Es por ello quelas evaluaciones rápidas son un complementoútil para el acervo de herramientas de SyE: son rá-pidas y poco costosas de realizar, y pueden ser uti-lizadas para evaluar un espectro mucho mayor delas actividades del gobierno que las evaluacionesde impacto más grandes, que se realizan sólo una

vez. Su desventaja, como se puede observar en elRecuadro 1, es que sus hallazgos son considera-blemente menos confiables que las rigurosas eva-luaciones de impacto.

Las diferentes herramientas de SyE discutidasaquí son complementarias. Cada una tiene forta-lezas y limitaciones, y cada una tiene un papel quelograr, como parte del acervo de herramientas deSyE en Colombia. El reto para el gobierno es ele-gir la mezcla que logre el uso más costo-efectivode los recursos disponibles para SyE.

Nótese que Chile ha empleado exitosamente ungran rango de herramientas de SyE en su ciclo pre-supuestario: el Ministerio de Hacienda utiliza in-dicadores de desempeño (alrededor de 1,560),revisiones rápidas (se completan 14 para cadapresupuesto), evaluaciones de impacto sofistica-das (se completan 4 para cada presupuesto) e in-formes integrales de gastos de un sector completo(1 por presupuesto). Chile financia su sistemade seguimiento y evaluación utilizando sus pro-pios fondos del presupuesto, sin el apoyo de fi-nanciero de donantes.

6.3 Apoyo para la gestión por resultados de losMinisterios y AgenciasParecen existir varias entidades que han dedi-cado muchos esfuerzos para construir su propiosistema de SyE para sus propios propósitos in-ternos. La DEPP brinda una serie de formas deapoyo a estos ministerios, dependiendo de las cir-cunstancias. En algunos casos, esto consiste enasesorar o inclusive iniciar evaluaciones de im-pacto sofisticadas (como por ejemplo, para al-gunos componentes del programa Familias enAcción). En otros casos se trata de asistencia enla creación de sistemas de seguimiento del mi-nisterio (como en el caso del Ministerio de Pro-tección Social).

Sería muy útil investigar sobre el origen y la mo-tivación por detrás de la creación e instituciona-lización de estos sistemas de SyE de estasentidades, para identificar las lecciones que pue-den tener mayor aplicación en todo el gobierno.Estas entidades incluyen al Ministerio de Educa-ción (MEN). Tiene un sistema de información de


1 2 9

gestión que incluye metas del programa, objeti-vos, indicadores de desempeño, metas, bases einformes de excepción. Esta base de datos escomparable al SIGOB, pero al parecer incluyemuchos más indicadores de desempeño. Una delas dificultades que ha tenido el MEN ha sido lageneración de datos para el SIGOB. A pesar de ladetallada base de datos del MEN, la informaciónque proporciona no puede ajustarse directamenteal SIGOB. En lugar de eso, la información delMEN tiene que ser extraída manualmente y ajus-tada para coincidir con las definiciones del SIGOB.Es posible que esta falta de conexión se deba enparte a los diferentes niveles de enfoque de losdos sistemas: el SIGOB está claramente enfocadoa nivel de las Metas Presidenciales, mientras queel sistema del MEN está enfocado a servir a losmucho más específicos y detallados requeri-mientos de la planificación del ministerio y ges-tión de actividades. Parecería razonable asumir quela mayoría, o tal vez todos los demás ministeriosy agencias, enfrentan mayores dificultades paraproporcionar información al SIGOB. No quedaclaro si hay espacio para lograr una mayor armo-nización de los indicadores del desempeño – entérminos de definiciones de datos, periodicidad,cobertura geográfica, etc. – entre el sistema SIGOBpara todo el gobierno y los sistemas de los mi-nisterios/agencias.

Otra entidad que podríamos observar es el ICBF,que ha creado su propia oficina de evaluación paraayudar a su propia gestión y planificación. La ofi-cina de evaluación ha preparado lineamientos deevaluación y supervisa las evaluaciones de im-pacto sofisticadas que son encargadas a consul-tores y académicos. (El ICBF también lleva a cabootros tipos de evaluaciones.) Co-financia las eva-luaciones de impacto con el Banco Mundial (a tra-vés de préstamos del sector social), el BID y laDEPP. El ICBF también recibe asistencia técnica deestas entidades. Algunas de las evaluaciones de losprogramas del ICBF han sido dirigidas por do-nantes multilaterales. El ICBF cuenta con un pre-supuesto de cerca de US$500 millones y se esperaque su presupuesto de evaluación alcance a US$2millones en el 2006 (comparado con US$ 3 mi-llones en el 2005, cuando financió una extensa en-cuesta sobre nutrición). Todas las evaluaciones de

impacto del ICBF son consideradas por el DNPcomo auspiciadas por SINERGIA.

Se puede esperar que los sistemas de SyE del mi-nisterio o agencia faciliten a las entidades a satisfa-cer las necesidades de información de SINERGIA,pero ellos deberían ser vistos de una manera muydistinta a SINERGIA, cuyos objetivos están más en-focados a nivel de todo el gobierno. Sin embargo,las entidades con sistemas de SyE con buenas prác-ticas parecen ser mayormente la excepción. Comoya se hizo notar, el fuerte énfasis del presidente enla rendición de cuentas ministeriales y su uso ex-tensivo en el SIGOB no ha resultado en la adopcióngeneralizada de las prácticas de SyE en ministeriosy agencias a nivel de todo el gobierno. Sería nece-sario un diagnóstico exhaustivo para determinar silos ministerios y agencias sectoriales, de manera co-lectiva, hacen algún uso de los dos principales com-ponentes de información de SINERGIA: el SIGOBy las rigurosas evaluaciones de impacto y otras eva-luaciones. En otras palabras, ¿la mayoría de las agen-cias son simplemente abastecedoras de datos,producidos ad-hoc para SINERGIA?

7. SINERGIA: Fortalezas, desafiós ydirección futura

7.1 Fortalezas y desafíosEl gobierno de Colombia ha logrado un éxitoconsiderable con la creación y fortalecimientode SINERGIA. En América Latina, este es uno delos sistemas de SyE a nivel de todo el gobierno,más sólidos en términos de tipos de SyE que re-aliza, su credibilidad en general y su utilización.La mayor parte de su progreso ha sido logradodesde el año 2002. La creación del SIGOB para mo-nitorear el progreso de las Metas Presidencialeses destacable, así como el empleo de este sis-tema por el Presidente, la Presidencia y el DNP.Ciertamente, el rol del Presidente, como impul-sor y usuario clave de tal sistema de seguimientono tienen precedentes dentro de la región. La am-biciosa agenda de las rigurosas evaluaciones de im-pacto es algo impresionante.

El documento de política del CONPES sobre SI-NERGIA (#3294) menciona cuatro problemascon relación al sistema de SyE: (1) la falta de un

1 3 0


único marco conceptual claro; (2) la necesidad dedejar claro los roles y responsabilidades de las or-ganizaciones que dan apoyo al SINERGIA; (3) laausencia de claros vínculos entre la planificación,el presupuesto y la evaluación; (4) los problemascon la disponibilidad y frecuencia de los datos, asícomo los problemas con los controles de cali-dad de la información.

Este diagnóstico rápido confirma que estos im-portantes temas deben ser abordados. El princi-pal desafío que enfrenta cualquier sistema de SyEdel gobierno es su total institucionalización. Estoconsiste no sólo en la creación de un sistemaque proporcione información de buena calidad,sino también que la información sea utilizada in-tensivamente para apoyar una buena gobernabi-lidad y que el sistema pueda ser totalmentesostenible – en otras palabras, un sistema quetenga probabilidades de subsistir ante los cambiosde gobierno y que éstos puedan seguir confiandoen dicho sistema. Esta definición de sistema deSyE exitoso proporciona la medida contra la queSINERGIA puede ser comparado. También brindael destino hacia el que se debe orientar las op-ciones para enmarcar el futuro desarrollo del sis-tema, y para el apoyo del Banco Mundial.

La utilización de la información de SINERGIA hasido sustantiva para fines de rendición de cuen-tas: la rendición de cuentas del Presidente antela sociedad civil y el Congreso, y la rendición decuentas de los ministros (y sus ministerios) anteel Presidente. A primera vista, parece poco pro-bable que este énfasis excepcional sobre la ren-dición de cuentas continúe a tan alto nivel cuandoel actual Presidente termine su mandato en elaño 2010. A pesar de eso, si mientras llega ese mo-mento, se establecen los procesos y el apoyo po-pular hacia la rendición de cuentas presidencial,habrá una demanda continua por el tipo de in-formación proporcionada por el SIGOB. La DEPPrecientemente ha preparado un documento pre-liminar de un CONPES que pretende establecerlineamientos de política para la rendición decuentas del gobierno y el control social.

La DEPP cree que la información de SINERGIAtambién ha sido utilizada por el área de planifi-

cación de DNP y los ministerios sectoriales paraasistir en su trabajo en preparar el plan nacionalde desarrollo 2006–2010. Este tema aún no ha sidosujeto a una investigación detallada.

Existe poca evidencia de que los otros cuatrousos potenciales de la información de SyE pro-ducida por SINERGIA hayan sido llevados a caboen algún grado significativo hasta ahora: (1) apo-yar la asignación de recursos y la toma de deci-siones en el presupuesto nacional; (2) garantizarla cohesión de la acción del gobierno alrededorde aquellas prioridades de desarrollo; (3) ayudara los ministerios sectoriales en sus políticas de de-sarrollo y su trabajo de planificación; (4) apoyarla actual gestión de actividades del gobierno porparte de los ministerios y agencias. Una revisiónexhaustiva de la utilización de la información deSyE realizada por los ministerios y agencias sec-toriales bien podría revelar que la utilización dela información del SIGOB por el Presidente inducea algunos a considerar seriamente esta informa-ción para su trabajo de planificación y política dedesarrollo. Inclusive es posible que en los próxi-mos años se complete un número cada vez mayorde evaluaciones de impacto sofisticadas y eva-luaciones rápidas que serán utilizadas cada vez máspara fines de presupuesto y planificación nacio-nal – aunque sería un error asumir que la dispo-nibilidad de hallazgos de evaluación auto-máticamente llevaría a su utilización.26

Un tema constante es la calidad, disponibilidad ycosto de la información utilizada por SINERGIAy los ministerios y agencias para su propio trabajo.Una dificultad es la falta de armonización de lasdefiniciones de los datos. Otra es la ausencia sus-tancial de auditorias formales de la información.Además, el costo de las evaluaciones de impactoha aumentado debido a la necesidad de infor-mación más detallada que la disponible, ya sea através de encuestas permanentes de hogares re-alizadas por el Departamento Administrativo Na-cional de Estadística (DANE),27 o de la informaciónadministrativa producida por otras entidades. Aprimera vista, tanto el DANE como la comisión decoordinación de información de alto nivel(COINFO),28 que fue creada en el año 2003, po-drían jugar aquí un rol importante. El gobierno


1 3 1

sabe de estas dificultades y ha decidido dar ex-trema prioridad al fortalecimiento de la informa-ción administrativa y otras informaciones, porejemplo, promoviendo una mayor armonizaciónde la información, la recolección regular de in-formación fundamental socio-económica, de saludy de nutrición; y el desarrollo de estándares mí-nimos de información. También se ha señalado lanecesidad de mejorar la coordinación de la in-formación a través del apoyo tanto al DANE comoa la COINFO.

La agenda de evaluación también es costosa. Elcosto de las evaluaciones de impacto que se estánllevando a cabo o recientemente completadas esde US$7.42 millones, y de unos US$2.46 millonesque se gastarán en nuevas evaluaciones planea-das para los siguientes cinco años. Aunque a pri-mera vista esta agenda de evaluación parecieracostosa, su costo representa solo un pequeñoporcentaje del gasto total del gobierno en esosprogramas – por lo que los resultados de las eva-luaciones solamente tendrían que conducir a pe-queñas mejoras en la eficacia del gasto delgobierno para que sean altamente costo-efectivas.

Dicho esto, existen formas en que el costo de lasevaluaciones puede ser reducido considerable-mente, aunque algunas de estas opciones tomenvarios años en lograrse.29 Varias de las mayores eva-luaciones tienen que recolectar datos a través deencuestas a gran escala, que se llevan a cabo unasola vez y son muy costosas. La necesidad de esasencuestas hechas a la medida podría reducirse através de una expansión de la recolección de es-tadísticas nacionales, tales como bases de datos lon-gitudinales que siguen a muestras de la poblacióna través del tiempo. Una mayor disponibilidad dela información también reduciría el tiempo nece-sario para conducir una evaluación de impacto. Laexpansión de la recolección de estadísticas na-cionales sería muy costosa y tomaría muchos añosen completarse, pero ayudaría a aumentar aúnmás la costo-efectividad de SINERGIA. Otra opciónes contar más con los consultores colombianos deevaluación. La DEPP está utilizando el mayor nú-mero de evaluaciones de impacto realizadas comouna oportunidad para aumentar la oferta domés-tica de evaluadores capaces.

El gobierno ha adoptado una estrategia ambi-ciosa y de amplio rango para fortalecer SINERGIA.Entre algunas de estas iniciativas se incluyen:

• el SIGOB;• el apoyo a la reproducción de mejor base de

datos tipo SIGOB en un piloto municipal (Me-dellín y Pasto);

• la agenda de evaluaciones de impacto y otrasevaluaciones, conducidas junto con el DNP yla DEPP, ministerios y agencias del sector so-cial, y donantes;

• el desarrollo de los pilotos de evaluación rápidade metodología planificados por la DEPP y laDIFP y en el Ministerio de Hacienda:

• los esfuerzos para relacionarse directamentecon la sociedad civil, y así propiciar la utiliza-ción de la información de SyE;

• la preparación de informes para el Presidente,el Congreso y la sociedad civil sobre el de-sempeño del gobierno;

• la preparación de informes de presupuestopor resultados vinculando las actividades delplan nacional de desarrollo con sus costos in-sumidos a manera de pilotos programaticos;

• el apoyo a los esfuerzos por realizar el presu-puesto por resultados a nivel municipal (Me-dellín y Pasto); incorporando dichos pilotosdentro de las actividades ordinarias.

• los esfuerzos para coordinar la generación dela información que alimenta el sistema de SyE,y para garantizar la calidad de la información– con particular énfasis en el registro de in-formación para los programas de subsidio;

• las disposiciones Constitucionales para la eva-luación, las leyes, reglamentos, decretos y la de-claración de política del CONPES respecto alSyE;

• el apoyo del Comité Intersectorial para Eva-luación y Gestión por Resultados; y

• el apoyo de la COINFO.

Esta estrategia de amplio rango ha sido oportunistay esto es totalmente apropiado por dos razones.Primero, es importante intentar una serie de ini-ciativas para ver cual de ellas tiene más éxito den-tro del contexto colombiano: elaborar un sistemade SyE para todo el gobierno es un arte, no unaciencia, y generalmente es difícil juzgar qué ini-

1 3 2


ciativas probablemente tendrán éxito. Ningunode los gobiernos que ha creado un sistema deSyE exitoso lo hizo con un modelo linear, prede-cible, donde se visualizaba todo el sistema clara-mente desde el inicio y el progreso era de poco apoco, paso a paso, para conseguir esta visión. Envez de eso, los países que tuvieron éxito comoChile, Australia y Canadá comenzaron con algunasideas de lo que sería un sistema exitoso, perotambién han trabajado para crear un sistema anivel de todo el gobierno de una manera oportu-nista, adecuando sus planes conforme se presen-tan nuevas oportunidades o determinadosobstáculos. Estas oportunidades u obstáculos nosólo son específicos para cada país sino tambiénson específicas para cada gobierno, según las for-talezas y debilidades de cada ministerio y otras en-tidades (tal como la entidad nacional de auditoria),y de acuerdo a la profundidad del compromiso conlos resultados de las partes interesadas claves enel gobierno. La llegada o salida de un impulsor delSyE como el Presidente Uribe es de gran influen-cia, pero también es algo fortuito. De igual forma,la consideración del Ministerio de Hacienda res-pecto a la posibilidad de lograr un presupuesto porresultados brinda una ventana de oportunidaddiscreta de lograr este uso potencialmente signi-ficativo de la información de SINERGIA.

La desventaja de este enfoque oportunista es laaparentemente falta de vinculación entre las di-ferentes iniciativas. Desde esta perspectiva, sepodría argumentar que SINERGIA no es tanto unsistema integrado de SyE sino una colección deactividades relacionadas al desempeño con doscomponentes principales (y vagamente relacio-nados entre ellos): el SIGOB y la agenda de eva-luaciones de impacto. Paralelo a estas múltiplesiniciativas, parece ser a primera vista que la ayudade donantes ha sido altamente balcanizada. Dadala prioridad de que SINERGIA entre ahora a un pe-ríodo de consolidación (se discute a continua-ción), se debería hacer énfasis en el logro de unamejor coordinación entre los donantes.

Una característica de buena práctica de la gestiónde la DEPP de SINERGIA ha sido su voluntad parallevar a debate público los enfoques, métodos y re-sultados de SINERGIA a través de conferencias in-

ternacionales que auspicia la DEPP – en el 2004,2006, y anualmente en el futuro.30 Éstas también pro-porcionan un foro donde se puede discutir los pla-nes para el futuro fortalecimiento de los sistemasnacionales de SyE. Sería muy conveniente queexista una revisión continua y un ajuste de las es-trategias en que se basa el sistema nacional de SyE.

Un segundo argumento para una estrategia deamplio rango es que se puede esperar que la ins-titucionalización de SINERGIA sea más fuertecuanto mayor sea la orientación hacia resultadosde las diversas partes interesadas tanto dentrocomo fuera del gobierno – tales como ministeriosy agencias sectoriales, gobiernos territoriales, laContraloría, el Congreso, y la sociedad civil. Es pro-bable que la demanda de información de SyE porparte de estas partes interesadas sea acumulativay que se refuerce mutuamente. También es pro-bable que conduzca a esfuerzos para fortalecer ellado de la oferta de SyE – tal como las mejoras enla calidad de la información que alimenta al SIGOBy la disponibilidad de información necesaria paralas evaluaciones. De esa manera, cuanto másgrande sean las sinergias entre todas las iniciativasde SyE orientadas al desempeño, mayor será la pro-babilidad de que SINERGIA progrese. Sin em-bargo, la desventaja de esta complejidad es uncreciente problema para la DEPP en términos degestión y desafíos en la coordinación. Por lo tanto,es necesario alcanzar un balance cuidadoso entrela amplitud y la profundidad.

Existen muchas actividades relacionadas al desem-peño que no caen directamente bajo los auspiciosde SINERGIA – tal como el trabajo de evaluación deproyectos de la DIFP y las entidades, la evaluacióndel desempeño municipal por la DDTS y los siste-mas de SyE creados por entidades del sector socialpara su propio uso interno. En la medida que estasotras actividades relacionadas al desempeño se for-talezcan, entonces esto podría brindar útiles de-mostraciones del valor del SyE, lo que a su vezpodría fortalecer las lecciones para otros ministeriosy agencias y también ayudaría a legitimizar aun másel SyE (y SINERGIA) dentro del gobierno. El DNPtendrá que considerar cuidadosamente en qué me-dida puede llegar a comprometerse el DEPP enestos esfuerzos, muchos de los cuales no están


1 3 3

relacionados directamente con el desarrollo de SI-NERGIA. La más clara relación entre SINERGIA y estasotras actividades de SyE nacen de la necesidad delograr algún tipo de armonización en el requeri-miento de los datos, estándares y procedimientos.Sin embargo, no es claro el grado de superposi-ción real (o potencial) entre SINERGIA y los otrossistemas y actividades de SyE. Este es otro temaque se beneficiaría con una revisión más exhaustiva.

Los esfuerzos de la DEPP para institucionalizar SI-NERGIA pueden ser clasificados en tres categoríasdentro de una cadena secuencial: demostración, ex-pansión y consolidación (Cuadro B.3). Esto a su vezpodría recategorizarse en aquellos que parecenhaber tenido algo de éxito, aquellos cuyo nivel deéxito no está muy claro y aquellos que han encon-trado desafíos reales. Sin embargo, el grado deéxito no puede ser medido claramente, y sería idealhacer un diagnóstico exhaustivo para lograr una eva-luación más definitiva. Ciertamente, algo que se ob-serva es que el progreso en la institucionalizaciónde SINERGIA debería estar sujeto a un continuo se-guimiento, a través de indicadores de desempeñoy metas acordadas y una evaluación regular. Deesta manera el gobierno debería de tener altas ex-pectativas sobre SINERGIA en términos de su se-guimiento y evaluación realizados de forma creíbley regular. Este es un rol potencial y muy importantepara el Comité Intersectorial.

Claramente, las actividades de demostración sólodeberían ser ampliadas una vez que hayan lo-grado algún grado de éxito importante, y las ac-tividades que se encuentran en el estado deexpansión, tales como los informes de presu-puesto (de inversión) por resultados, podríanser ampliados de manera útil para incluir el pre-supuesto recurrente. Las actividades al final del pe-ríodo final de maduración, tal como el trabajodel Comité Intersectorial – cuyo rol, responsabi-lidad y membresía todavía tienen que ser total-mente definidos – debe ser apoyado para quemejore y se consolide rápidamente.

7.2 Opciones para la consolidación deSINERGIADentro de este marco y dada la oportunidad ex-clusiva de los próximos tres y medio años du-rante el segundo periodo de gobierno delPresidente Uribe, ¿qué pasos podrían ofrecer elmayor potencial para lograr un alto nivel de ins-titucionalización de SINERGIA, y de maximizarsus perspectivas de sostenibilidad? Las priorida-des de consolidación de SINERGIA pareceríanincluir lo siguiente:

• asegurar un enfoque estratégico más dirigidohacia la planificación de la evaluación, bajo losauspicios del Comité Intersectorial de Evalua-ción, para asegurar que el rango y profundidad

1 3 4


Demostración Expansión Consolidación

Cuadro B.3 Estados de maduración de las actividades de SINERGIA

Más exitoso

Incierto

Menos exitoso

• Pilotos del SIGOB enmunicipios

• Pilotos de evaluaciones rápidas• pilotos de presupuestos por

resultados en municipios• incentivos institucionales que

involucran el reconocimientopúblico de organizaciones yservidores civiles con buendesempeño

• conexión directa con lasociedad civil

• informes de presupuesto porresultados

• informes fáciles de leer sobrelos hallazgos del SyE (para lasociedad civil y el Congreso)

• marco institucional para larendición de cuentas(documento preliminar CONPES)

• SIGOB• Evaluaciones de impacto

• marco legal, incluyendo al ComitéIntersectorial de Evaluación

de las evaluaciones de SINERGIA apoyen mejorla toma de decisiones presupuestales y de pla-nificación nacional;

• fomentar un mayor apropiamiento de la in-formación de SyE de SINERGIA por parte delos ministerios y agencias sectoriales a travésde un mayor participación en el Comité In-tersectorial de Evaluación, y a través de roles,responsabilidades y funciones más claros en elComité;

• dar responsabilidad al Comité Intersectorialde considerar y decidir las recomendacionesde un gran número de evaluaciones que de-berán ser completadas en los próximos años,y asegurar la implementación de esas reco-mendaciones a través de un seguimiento muycercano;

• para lograr un efecto de demostración, alen-tar a una mayor cantidad de ministerios y agen-cias sectoriales para que realicen evaluaciones,a través de la creación de un fondo central definanciamiento para apoyar evaluaciones rápi-das y de impacto. Dicho financiamiento quesería supervisado, de manera ideal, por el Co-mité Intersectorial, también ayudaría a garan-tizar la continuidad de la agenda de evaluacióndel gobierno. Asimismo, podría atraer finan-ciamiento de donantes;

• apoyar los programas pilotos de evaluaciones rá-pidas que el Ministerio de Hacienda y el DNPestán probando, con vistas a su rápida expansióny consolidación, si se encuentra que los pilotostienen éxito. Buscar una colaboración cercanaentre los dos ministerios en este sentido;

• identificar enfoques de buenas prácticas deSyE adoptados por entidades del sector social(tal como, posiblemente, el MEN y el ICBF), yutilizar éstos como bases sobre las cuales el Co-mité Intersectorial ordenaría funciones espe-cíficas de SyE, que todos los ministerios yagencias estarían obligadas a llevar a cabo;

• fortalecer los pilotos municipales que buscanun presupuesto por resultados, y aumentar lospilotos para incluir algunos municipios menosfuertes, en vistas a una eventual consolidacióndel enfoque a nivel territorial – involucrando es-tándares y requisitos centralmente determina-dos – si se encuentra que los pilotos sontotalmente exitosos y replicables;

• asegurar una mayor garantía de la calidad dela información que los ministerios, agencias ygobiernos territoriales proporcionan al SIGOB– si se quiere conseguir un alto nivel de cre-dibilidad de la información del SIGOB, será ne-cesario realizar auditorias independientes;

• revisar los diferentes sistemas de informaciónque mantienen los ministerios centrales, envista a buscar una mayor armonización, sim-plificación y coordinación que prepare un con-junto de estándares básicos para la informaciónadministrativa;

• asegurar que tanto el DANE como la COINFOtengan un rol importante para garantizar lacalidad de la información utilizada por SI-NERGIA – en el SIGOB y en las evaluaciones –y para reducir sus costos;

• explorar formas para reducir aún más el costode la evaluaciones de impacto que se llevan acabo bajo SINERGIA – tal como la expansiónde la recolección de estadísticas nacionales yuna mayor dependencia en consultores loca-les de evaluación;

• establecer los vínculos necesarios entre lasmetas de desarrollo del país, las políticas, losprogramas y proyectos (estructurados ade-cuadamente); sólo cuando estos vínculos esténestablecidos puede haber una evaluación apro-piada de las Metas Presidenciales. Dichas eva-luaciones de política deberían realizarse deforma piloto.

8. ConclusionesSINERGIA es un sistema de SyE a nivel de todoel gobierno que funciona bien. El principal desa-fío que ahora enfrenta es su total institucionali-zación para que continúe progresando y apoyandouna buena gobernabilidad después de un cambiode gobierno. Para que SINERGIA sea totalmentesostenible en este sentido será necesario el for-talecimiento tanto del lado de la demanda comoel de la oferta de SyE; ambos están estrechamenterelacionados. El lado de la oferta puede ser for-talecido mejorando la calidad y la credibilidad dela información del seguimiento, reduciendo cos-tos en la disponibilidad de datos e incremen-tando el volumen y amplitud de los tipos deevaluaciones que se llevan a cabo. Se puede for-talecer el lado de la demanda promoviendo una


1 3 5

mayor toma de conciencia y mayor confianza enla información del seguimiento y en los hallazgosde las evaluaciones que produce el sistema –toma de conciencia entre los ministros, servido-res públicos y en la sociedad civil. Para una mayorutilización de la información del SyE será necesarioque los ministros claves y sus ministerios – es-pecialmente el de la Presidencia, el DNP y el deHacienda – jueguen un rol de liderazgo y hastaenérgico para defender la utilidad de la informa-ción del SyE producida por SINERGIA. Este apoyotendrá que ser mucho más que sólo abogar porel sistema y será necesario que incluya algunospasos para garantizar la utilización de la infor-mación del SyE para apoyar la toma de decisionesde la planificación nacional y del presupuesto yde la rendición de cuentas social.

Los Ministros sectoriales y sus ministerios tam-bién tienen un rol a jugar en cuanto a garantizar

la utilización de la información del SyE, en la po-lítica de desarrollo y planificación del ministeriosectorial, y en las actividades corrientes de lagestión gubernamental por los ministerios yotras entidades. Se esperaría que el empleo dela información del SyE englobe tanto la infor-mación producida por SINERGIA, como la in-formación de SyE que sus propios ministeriosdeben recolectar.

Tanto por el lado de la demanda como el de laoferta existe una necesidad de mayor claridad yenfoque de los roles del SyE, responsabilidadesy rendición de cuentas. Se puede argumentarque el CONPES y el Comité Intersectorial de Eva-luación y Gestión por Resultados deben jugar unrol importante en la supervisión de SINERGIA yen garantizar su total institucionalización para asílograr un mayor fortalecimiento y una buena go-bernabilidad.

1 3 6


1 3 7

IntroducciónEl Gobierno de Colombia ha venido trabajandodesde 1990 para crear un sistema de SyE robustoy sostenible. El Banco Mundial y otros donantes hanproporcionado una serie de formas de apoyo paraeste fin, que incluyen préstamos y asistencia técnica.

El objetivo de la actual tarea es preparar un diag-nóstico de las fortalezas y desafíos que enfrentala institucionalización del SyE en Colombia. Se daráatención especial, pero no exclusiva, al sistema deSyE del gobierno, SINERGIA. El Banco Mundial hapublicado una guía que brinda una visión gene-ral de los conceptos y temas, que ayudará en estediagnóstico.

TareasEstos términos de referencia especifican las tareasque se deben llevar a cabo en este encargo.

1. Preparar un diagnóstico, de aproximadamente60 a 80 páginas, proporcionando una visión ge-neral del enfoque del SyE del gobierno colom-biano, con un énfasis particular en SINERGIA.Se espera que el documento aborde los si-guientes tipos de temas (una lista más extensade estos temas se proporciona en el Adjunto):

• origen del enfoque del gobierno• marco legal e institucional• utilización del SyE para el control político y

social• rol del SyE en la elaboración del presupuesto• rol del SyE en la preparación del plan na-

cional de desarrollo

• utilización del SyE por los ministerios y en-tidades sectoriales

• SyE y la gestión por resultados • tipos y calidad de SyE conducidos por

SINERGIA• otros trabajos de SyE bajo el auspicio de

SINERGIA• estrategia de SyE de Colombia en general• conclusiones y resumen de recomendaciones

2. Se espera que la preparación del documentode diagnóstico comprenda una revisión de losactuales análisis e informes sobre SINERGIA,y sobre las reformas del sector público. Tam-bién será necesaria una gran familiaridad conlos productos de SINERGIA y el trabajo de launidad en el Departamento Nacional de Pla-neación (la Dirección de Evaluación de Políti-cas Públicas) que maneja el sistema. El actualjefe de la unidad, Sr. /Sra. [XXXXX], será elprincipal punto de enlace para los fines dediagnóstico. Se espera que pueda haber en-trevistas con informantes claves del gobierno,del congreso, de la sociedad civil, y de la co-munidad de donantes.

3. Usted completará el documento, que debe serredactado en inglés, el [xxxx]. También se lebrindará pasajes aéreos clase ejecutiva paraviajar a Colombia, y se le reembolsará los gas-tos de hotel y otros gastos relacionados, deacuerdo a las tarifas estándar del Banco Mun-dial. Usted recibirá un pago de US$[yyyy] luegode completar satisfactoriamente el documentode diagnóstico.

ANEXO C: TÉRMINOS DE REFERENCIA PARA EL DIAGNÓSTICO

EXHAUSTIVO DEL SISTEMA DE SYE DE COLOMBIA

Origen del enfoque del Gobierno¿Cuales son los orígenes del SyE en Colombia?¿Quién lanzó la iniciativa y por qué? ¿Cómo se de-sarrolló SINERGIA en el tiempo, y cuáles han sidolos principales eventos y circunstancia de estaevolución? ¿Cuáles han sido los propósitos esta-blecidos de SINERGIA (es decir, planeación sec-torial o nacional; toma de decisiones sobre elpresupuesto; la gestión de un programa actual ola gestión basada en resultados, relaciones derendición de cuentas entre el DNP y el Ministe-rio de Hacienda, la oficina del Presidente, el Con-greso, los ministerios sectoriales, la sociedad civil–control social)?, además, ¿estos propósitos hancambiado a través del tiempo? ¿Cómo ha sido de-clarada la prioridad del SyE, en términos de en-laces directos o indirectos, en el contexto de lasreformas del principal sector público en Colom-bia? ¿Qué tipos de SyE han sido enfatizados con-forme SINERGIA ha evolucionado a través de lastres etapas en este período (es decir, de 1991 ala fecha)?

Marco legal e institucional¿Qué leyes, reglamentación, etc. gobiernan el sis-tema de SyE en Colombia (por ejemplo, requisi-tos constitucionales, el documento de políticadel CONPES, etc.)? ¿Quién ha sido el responsablede monitorear la aplicación de ellos, y qué tantohan sido aplicados? ¿Qué brechas o superposi-ciones existen entre ellos? ¿Cuál es el marco ins-titucional bajo el cual el SyE tiene lugar? ¿Cuálesson los roles del DNP, el Comité Intersectorial deEvaluación y Gestión por Resultados, el CONPES,los ministerios sectoriales, etc. en relación a lasevaluaciones? ¿Cuáles son los otros roles/res-ponsabilidades de las partes claves interesadas enSINERGIA? – el DNP, el Ministerio de Hacienda, laOficina del Presidente, los ministerios y entidadessectoriales, la Contraloría, los niveles menoresdel Gobierno y el Congreso? ¿Qué incentivos exis-ten para que estas partes interesadas tomen se-riamente el SyE? – ¿qué tan fuerte es la demandade la información del SyE?

Utilización del SyE para control político ysocial¿Qué tan importante ha sido el apoyo del actualPresidente para SINERGIA? ¿De qué manera hautilizado el Presidente la información de SI-NERGIA? ¿Qué tan efectivo ha sido el SyE entérminos de mejorar la calidad de la implemen-tación de políticas públicas? ¿Cuáles han sidosus mayores éxitos/fracasos hasta ahora? ¿El Con-greso solicita información del desempeño delsector público? ¿Utiliza la información de SyEproporcionada por SINERGIA? ¿Cuenta con unaestructura de incentivos apropiada? ¿Qué infor-mación está disponible para el público y cómoes utilizada? ¿Qué tan creíble es la informacióndel SyE de SINERGIA para la sociedad civil?¿Cómo se puede mejorar la utilización de la in-formación de SyE a fin de promover una mayorrendición de cuentas?

Rol del SyE en la elaboración delpresupuesto¿Cuál es el uso real de la información de SyE deSINERGIA que utiliza el DNP (la DIFP) y el Mi-nisterio de Hacienda durante las diversas etapasdel proceso de elaboración de presupuesto? – esdecir, para apoyar el asesoramiento de políticasy la planificación; en la toma de decisiones sobreel presupuesto; en la revisión del desempeño yel informe del presupuesto. ¿Cuáles son las im-plicancias de la inversión dividida / presupuestorecurrente, y del alto grado de rigidez presu-puestal de corto plazo, para SINERGIA? ¿Qué tanútil ha sido la iniciativa del DNP en cuanto a pre-sentar un documento suplementario para el pre-supuesto de inversión, dando informes sobre losproductos del presupuesto del gobierno de ma-nera programática? ¿Qué tipo de presupuestopor resultados podrían ser posibles en Colombia?¿Existe alguna falta de conexión entre el trabajode SyE de los ministerios sectoriales y la utiliza-ción de dicha información en el proceso del pre-supuesto? ¿Qué oportunidades existen parafortalecer el rol del SyE en el presupuesto?

1 3 8


ADJUNTO

Diagnóstico del Sistema de SyE colombiano – Temas en detalle

Rol del SyE en la preparación del PlanNacional de Desarrollo¿Cuál es el alcance del uso real de la informaciónde SyE de SINERGIA realizado por el DNP y losministerios sectoriales en el desarrollo de Plan Na-cional de Desarrollo 2006–2010? ¿Cuál es el alcanceque tiene el Plan para resaltar la información deseguimiento y los hallazgos de la evaluación?

Utilización del SyE por los Ministerios yentidades sectoriales¿Los ministerios sectoriales utilizan la informa-ción de SyE producida por SINERGIA? Si es así, ¿dequé manera? (por ejemplo, para desarrollo y pla-nificación de políticas; para asignación del pre-supuesto; para gestión de programas; comorequerimientos de rendición de cuentas dentrodel sector o de manera externa). Si no se utilizala información de SyE o se utiliza muy poco, ¿porqué esto es así? ¿Existen islas de buenas prácti-cas de SyE en los ministerios/entidades sectoria-les? Presente en detalle por lo menos dos sistemasexitosos de SyE de ministerios/agencias (por ejem-plo, ICBF, MEN). ¿Qué tan persuasivas son estasislas para otros ministerios? ¿En qué medida SI-NERGIA ha contribuido a su desarrollo?

SyE y el Desempeño del Gobierno¿El gobierno puede esperar razonable que su sec-tor público se dirija hacia la utilización del SyE?¿Qué cambios en la administración pública (pre-supuesto, gestión de recursos humanos, audito-ria y control, etc.) deben ser realizados para queesto suceda? ¿Existe un interés genuino y demandade hacer la utilización de la información de SyE in-tensiva por parte de las partes claves interesadas?

Tipos y calidad de SyE conducidos porSINERGIA

Tipos de SyE¿Qué tipo de herramientas de SyE son enfatizadasen SINERGIA – indicadores de desempeño; revi-siones o evaluaciones rápidas; rigurosas y ex-haustivas evaluaciones de impacto; otros tipos?¿Cuánto cuesta cada uno de estos tipos de eva-luaciones de SyE? Informe sobre el costo total decada rigurosa evaluación de impacto y de todos losotros tipos de evaluaciones conducidas hasta

ahora, además, proporcione el costo desagregadoen: (1) recolección de datos, (2) análisis de datos,(3) gestión, y (4) difusión. ¿Cuál ha sido el costoanual de SINERGIA en estos últimos años? ¿Cuá-les son las implicancias de confiar ampliamente enel financiamiento de donantes para SINERGIA?

Indicadores de desempeño y Sistema deinformación¿Existe alguna falta de conexión entre el enfoquedel SIGOB sobre las Metas Presidenciales y el en-foque de los ministerios/agencias sectoriales – lasentidades se enfocan más en lo micro, asuntos anivel de proyecto? ¿Existen sistemas múltiples deindicadores de desempeño a nivel sectorial o deagencia? ¿En qué medida se encuentran armoni-zados los sistemas de información de los minis-terios/entidades y de SINERGIA? ¿Pueden ser éstosarmonizados (en términos de definición de la in-formación, periodicidad, cobertura geográfica,etc.) y cuáles son las implicancias para la coordi-nación del SyE y los problemas a nivel de instala-ciones? ¿Cómo se definen los requerimientos deinformación? ¿En qué se enfocan los indicadoresde desempeño del SIGOB: gasto; procesos ad-ministrativos; productos y entrega de servicios,efectos directos, impactos nacionales? ¿Cómo serecolecta la información a nivel de entidades?¿Están controlados de manera adecuada por cali-dad y contenido? ¿Se ha realizado alguna audito-ria de la información por parte de los ministerioso entidades sectoriales, o por el DNP, o por algúnotro organismo? ¿Se han procesado los datos demanera adecuada por SINERGIA, y se han pre-sentado en forma útil? ¿Cómo se transfiere la in-formación para el DNP? Utilización de lainformación – ¿es demasiado, muy poco o sufi-ciente? ¿Y el tiempo disponible? ¿Cómo se puedemejorar el manejo de la información? ¿Cómo sepreparan y presentan los informes finales ante elPresidente, el Congreso, la sociedad civil?

Evaluaciones de Impacto¿Quién encarga y administra las evaluaciones de im-pacto? ¿Qué partes interesadas están involucradas enla decisión de los programas que deberían ser eva-luados, y qué temas deberían ser investigados –están enfocados en programas-problema, progra-mas piloto, programas de alto gasto o de alta

ANEXO C: TÉRMINOS DE REFERENCIA PARA EL DIAGNÓSTICO EXHAUSTIVO DEL SISTEMA DE SyE DE COLOMBIA

1 3 9

visibilidad, o están basados en una agenda de in-vestigación sistemática para responder preguntassobre la efectividad del programa? ¿Quién conducelas evaluaciones de impacto, y qué procesos de ga-rantía de calidad se siguen? ¿Qué programas del go-bierno han sido sometidos a evaluaciones deimpacto? ¿Se han identificados algunas deficienciasen las evaluaciones de impacto realizadas hasta ahorapor SINERGIA? ¿Estas evaluaciones de impacto hantenido algún impacto observable sobre las decisio-nes de política o sobre la gestión del programa?¿Qué sectores son buenos candidatos para tales eva-luaciones en el futuro? ¿Cuáles son las fortalezas y de-bilidades de una oferta local de SyE? ¿Cuáles son laslimitaciones claves de capacidad y cuáles son lasprioridades para la construcción de capacidades?

Otros tipos de evaluacionesEvaluar la utilidad de las evaluaciones piloto rá-pidas (basadas en el enfoque de la evaluación delos programas de evaluación gubernamentalde Chile) que se llevan a cabo por el Ministeriode Hacienda y por el DNP. ¿Qué tipos de proce-sos gubernamentales – planificación nacional,toma de decisiones sobre el presupuesto, gestióndel ministerio/entidad, control social – podrían serrespaldados por una mayor variedad de tipos deevaluación llevados a cabo bajo los auspicios deSINERGIA? ¿Qué tipos de problemas o desafíos en-frentaría el gobierno si decidiera ampliar la va-riedad de tipos de evaluación que encarga?

Otros trabajos de SyE bajo el auspicio deSINERGIAHaga una evaluación rápida de todas las otras ac-tividades de SyE que construyen la capacidad y que

son llevadas a cabo por el DNP/ la DEPP. Inclu-yendo los pilotos del SIGOB en las municipios; pi-lotos en la elaboración del presupuesto porresultados en municipios; los incentivos institu-cionales; etc.

La estrategia de SyE de Colombia engeneral ¿Qué tan integral y apropiada es la estrategiapropuesta por el documento de política de laCONPES sobre SyE (CONPES 3294)? ¿Cuálesson sus fortalezas y debilidades? ¿Cuánto faltapara su implementación? ¿Qué temas necesitanser resueltos para hacerla más efectiva? ¿Hay su-ficiente aceptación por el lado de las partes in-teresadas? ¿Qué oportunidades existen paraque se lleven a cabo otros tipos de evaluacio-nes y revisiones adicionales de mucho menorcosto? ¿Cuál es el equilibrio apropiado entre lasevaluaciones independientes y las auto-evaluaciones, o se puede obtener beneficiosde ambas sin incurrir en perjuicios de cual-quiera de ellas? ¿Cuáles son las amenazas parala sostenibilidad de SINERGIA?

Conclusiones y resumen de lasrecomendaciones¿Cuáles son las principales fortalezas de SINERGIAy los desafíos que quedan por enfrentar? ¿Cuálesson los factores de éxito críticos y las opciones cla-ves que enfrenta la institucionalización de SI-NERGIA y de manera más amplia el SyE, en elgobierno? ¿Cómo se puede garantizar la sosteni-bilidad de SINERGIA luego de un eventual cam-bio de gobierno? Brevemente, ¿cuáles son laslecciones claves para otros países?

1 4 0


1 4 1

Temas de evaluación y metodologíaEn 2004, el GEI completó una autoevaluación delapoyo que brindó a los gobiernos para ayudar ainstitucionalizar sus sistemas de SyE (GEI, 2004a).La metodología utilizada en esta evaluación y eltipo de problemas encontrados probablementesean de interés para otros donantes que tratan deevaluar actividades similares. Tales actividadespodrían ser conducidas por las propias oficinas deevaluación o por las áreas operacionales de los do-nantes. Los problemas metodológicos se rela-cionan con la evaluación de los esfuerzos porinstitucionalizar un sistema de SyE.

MagnitudUna característica contextual importante de laevaluación realizada por el GEI fue la magnitudrelativamente pequeña del apoyo para la crea-ción de capacidad en la cual la evaluación estabaenfocada. Como una sección de evaluación in-dependiente del Banco Mundial, el GEI tiene,desde hace muchos años, un programa de apoyoen esta área.1 El nivel de recursos involucrados hasido modesto, con dos miembros del personal detiempo completo y un presupuesto total de cercade $1 millón de dólares en los últimos años. Re-cursos que han sido utilizados para ayudar a va-rios países alrededor del mundo.

La magnitud de este apoyo es pequeña comparadacon el tamaño de los préstamos de los donantesy los subsidios individuales a los países. Los prés-tamos de los donantes con componentes para lainstitucionalización de sistemas de SyE bien po-drían llegar a varios millones de dólares, y algu-nas veces más, dependiendo de las actividadesespecíficas que se estén financiando. De esta ma-nera, podría esperarse que la magnitud de las ac-tividades, productos, efectos directos e impactos

del apoyo a dichos países sean considerablementemayores; también podrían existir sinergias fuer-tes entre varias actividades por realizarse.

Contribución versus atribuciónCuando se realiza una evaluación del apoyo de undonante a un gobierno, es relativamente fácil darseguimiento a varios productos (como el diag-nóstico de país) y a efectos directos intermedios(por ejemplo, el establecimiento gubernamental deun marco formal del SyE) con los que el donanteha contribuido. (Véase la gráfica 13.1 para una listade posibles actividades, productos, efectos direc-tos intermedios, efectos directos finales e impac-tos). Pero, por lo general, es mucho más difícilatribuir esos resultados a un donante individual, es-pecialmente cuando varios donantes están invo-lucrados o cuando el apoyo del donante enpromedio es pequeño en comparación con losesfuerzos del mismo gobierno –como es el caso deChile. Factores externos, como un cambio en el go-bierno o la partida de un promotor clave del SyE,también pueden afectar significativamente el éxitode los esfuerzos de los donantes.2

Ausencia de un enfoque normalizado para lainstitucionalización del SyEComo se ha insistido en repetidas veces en estaobra, no existe un conjunto de acciones normali-zadas para el fortalecimiento de un sistema deSyE. En vez de eso, el conjunto apropiado paracualquier país dependerá del punto de partida ydel destino deseado, en términos de los posiblesdiversos usos de la información del SyE. Como nohay un conjunto de normas para las acciones, nopuede haber un solo parámetro para evaluarlas. Elenfoque de evaluación debe ser adaptado deacuerdo con el conjunto específico de accionesadoptadas, sus dimensiones y el contexto del país.

ANEXO D: EVALUACIÓN DEL APOYO DEL GEI PARA LA

INSTITUCIONALIZACIÓN DE SISTEMAS DE SyE

Heterogeneidad de accionesLos esfuerzos para institucionalizar el SyE gene-ralmente incluyen una larga lista de acciones,como la presentada en el cuadro 13.1. Cada ac-ción podría evaluarse de manera específica y, a me-nudo, diferente. Las actividades individuales,como una conferencia de alto nivel, podrían teneruna contribución muy útil al incrementar la con-ciencia entre funcionarios de alto nivel sobre losusos del SyE. Sin embargo, en una evaluación esdifícil identificar separadamente la contribuciónde esta actividad relativamente pequeña (Perriny Mackay, 1999). Las actividades de capacitaciónson un componente básico de la mayoría de losesfuerzos para institucionalizar el SyE, que pue-den ser fáciles de evaluar, especialmente cuandoson de mayor magnitud. También existe una me-todología bastante reconocida para llevar a caboese tipo de evaluaciones (Kirkpatrick y Kirkpatrick,2006).3, 4 Actividades tales como diagnósticos y eva-luaciones experimentales pueden valorarse entérminos de su calidad y profundidad.

Cadena de resultadosUn enfoque de evaluación consiste en centrarseen la cadena de resultados para desarrollar o con-solidar un sistema de SyE gubernamental (Gráfica13.1). Esto comprende una serie de actividades,productos, efectos directos intermedios, efectosdirectos finales e impactos. Es posible recopilarindicadores de desempeño en cada etapa. Porejemplo, se pueden abordar temas de evaluaciónmás profundos mediante entrevistas o encuestasa funcionarios de alto nivel, estudios de casosmás detallados, entre otros.

Éste fue el enfoque que siguió la evaluación delGEI. Queda entendido que la medida básica deéxito de todos los esfuerzos para crear un sis-tema de SyE es el grado de utilización de la in-formación del SyE que el sistema produce. Dichainformación puede ser obtenida por medio de en-cuestas a funcionarios relacionados con el pre-supuesto, parlamentarios y similares.

DiagnósticosEl tipo de evaluación que se considera es similaren muchas formas al diagnóstico de un sistemade SyE de un país (Capítulo 12). Por supuesto que

una evaluación es generalmente algo de natura-leza más formal y podría comprender un diag-nóstico base y uno de seguimiento para medir elgrado de cambios en el tiempo. Una evaluacióntambién puede incluir revisiones de asuntos es-pecíficos (véase la lista de diagnósticos a profun-didad planeados para Colombia, en el capítulo 13).

La evaluación del GEILa autoevaluación del GEI proporcionó un mediopara aclarar los objetivos del GEI y su estrategiade ocho puntos para ayudar a los gobiernos (y asus contrapartes del Banco) a fortalecer sus sis-temas de SyE (GEI, 2004a). Contribuyó con in-formación de las cantidades que el GEI gastótratando de alcanzar estos objetivos, categoriza-dos de acuerdo con diversos tipos de actividadescomo seminarios, capacitación en SyE y becas, ytrabajo de apoyo dentro del mismo país. Tam-bién esquematizó una cadena de resultados paraestos esfuerzos, y presentó indicadores de de-sempeño para los efectos directos y los efectos di-rectos intermedios de este trabajo. (La mayoría deéstos fueron parcialmente atribuibles al GEI –véaseel análisis anterior). Estos indicadores incluye-ron lo siguiente:

• El número de países para los que se han rea-lizado diagnósticos;

• Si la prioridad del SyE gubernamental habíasido incluida en la estrategia del Banco paracada país que el GEI apoyó;

• Si el Banco había acordado otorgar un prés-tamo al gobierno para este fin; y

• Si se había establecido un marco para el SyEgubernamental.

Se llevaron a cabo revisiones exhaustivas de losesfuerzos del GEI en dos países –Uganda y Egipto–realizadas por un consultor externo. Estas revi-siones comprendían un informe, entrevistas afuncionarios de alto nivel del gobierno y al per-sonal de alto nivel del Banco y de otros donantes.El consultor calificó la labor del GEI en cada paíscomparándola con los criterios normalizados paraevaluaciones de cualquier proyecto del Banco: re-levancia, eficacia (es decir, efectividad), eficiencia,efectos directos, sostenibilidad y desempeño delGEI.

1 4 2


Además, la evaluación del GEI se basó en unaserie de evaluaciones realizadas con anterioridaden su principal programa de capacitación (Pro-grama Internacional de Capacitación en Evalua-ción del Desarrollo). La evaluación incluyóinformación del desempeño sobre una serie dedocumentos de investigación preparados por elGEI en este tema y sobre el nivel de demanda deestos documentos.

Basándose en toda esta información del SyE, laevaluación se esforzó por identificar los produc-tos específicos y los efectos directos correspon-dientes a cada uno de los ocho puntos de laestrategia del GEI. Concluyó con un análisis de va-rias opciones estratégicas que el GEI debería con-siderar en el momento de planificar su futurotrabajo en esta área. Esta evaluación fue presen-tada formalmente al Directorio del Banco Mun-dial y se encuentra disponible al público en general(véase http://www.worldbank.org/ieg/edc/evaluating_institutionalization_efforts.html).

Evaluación del GEI: Resumen ejecutivoNótese que en el siguiente resumen se utiliza laexpresión “desarrollo de la capacidad de evalua-ción” (DCE) para describir los esfuerzos destina-dos a crear o fortalecer un sistema de SyEgubernamental. Este término no describe bien lanaturaleza de estos esfuerzos. Pone énfasis en laevaluación, mientras que la mayoría de sistemasgubernamentales dependen tanto del seguimientocomo de la evaluación. El uso de la frase “desa-rrollo de la capacidad” sugiere un acercamientopor el lado de la oferta. De hecho, apreciar el as-pecto de la demanda y los temas de institucio-nalización es quizás más importante. La expresióndesarrollo de la capacidad de evaluación todavíaes utilizada por el GEI y otras organizaciones mul-tilaterales y algunas bilaterales de ayuda.

La comunidad para el desarrollo está otor-gando premios por el logro de resultados,y está comprometida en ayudar a los paísesprestatarios a reforzar sus capacidades paramedirse y administrarse por resultados. Paralograrlo se exige realizar esfuerzos para ayu-dar a que los países creen sus propios sis-temas de seguimiento y evaluación (SyE).

Los sistemas de SyE fuertes pueden realizaruna contribución importante para la buenagobernabilidad en los países; así las capaci-dades más fuertes para SyE de los paísestambién contribuirían a la calidad del SyE delBanco mismo –en las autoevaluaciones delas operaciones del Banco en las interven-ciones de desarrollo que ellos diseñan y su-pervisan, así como de las propias eva-luaciones independientes del GEI.

Desde su creación en 1973, el GEI ha sidoun fuerte defensor del desarrollo de la ca-pacidad de evaluación y éste ha sido partede su mandato formal desde 1986. Paracumplir con ello, el GEI tiene un programade DCE con dos personas de tiempo com-pleto que proporcionan asesoría y otrostipos de apoyo a los países y a las áreas ope-rativas del Banco. El propósito de este in-forme de autoevaluación es valorar la laborde desarrollo de la capacidad de evaluacióndel GEI, y determinar así en qué medida estácumpliendo con el mandato de desarrollode la capacidad de evaluación.

Este informe describe y explica la estrategiade desarrollo de la capacidad de evaluación–la manera en la que el GEI ha trabajado paracumplir su mandato. En la aplicación deesta estrategia, el GEI ha desempeñado unafunción catalítica prevista con el fin de in-tegrar el DCE a las actividades habituales delBanco y en los países, y establecer buenasprácticas de desarrollo de la capacidad deevaluación. Los tres componentes estre-chamente vinculados de esta estrategia sonel apoyo interno que brinda al Banco, suapoyo externo y la creación de una basepara el desarrollo de la capacidad de eva-luación.

El GEI ha desempeñado con éxito un papeldeterminante en mantener el SyE y el DCEen la agenda del Banco, con el fuerte res-paldo del Directorio del Banco y su Comitépara la Efectividad en el Desarrollo. La cam-biante Agenda de Resultados del Banco, asu vez, está consolidando el foco de las

ANEXO D: EVALUACIÓN DEL APOYO DEL GEI PARA LA INSTITUCIONALIZACIÓN DE SISTEMAS DE SyE

1 4 3

Operaciones del Banco en los resultadosde su trabajo, y esto está proporcionandoun cierto enfoque adicional en el DCE.Desde 1999, cuando el GEI aumentó sus re-cursos dedicados al desarrollo de la capa-cidad de evaluación, ha habido uncrecimiento sustancial en el número deequipos del Banco a cargo de países quebuscan el desarrollo de la capacidad de eva-luación con los prestatarios; el respaldo yempuje del GEI para casi todos ha sido unfactor de contribución. Por lo menos 31 deestos equipos a cargo de países (de entreaproximadamente 150) están involucradosactualmente en actividades de DCE. Estecrecimiento constituye un progreso signi-ficativo hacia la inclusión del DCE dentro delBanco, aunque haya claramente todavíamucho por hacer.

En este informe se identifica una serie de li-mitaciones para evaluar el trabajo del GEIen el DCE, como las dificultades de atribu-ción; la naturaleza heterogénea del trabajo;la carencia de un acercamiento normali-zado; la pequeña magnitud de muchas ac-tividades; el hecho de que parte de estetrabajo se encuentre en las primeras fases.Sin embargo, en este informe también se re-salta la valoración del trabajo de DCE me-diante la esquematización de las cadenas deresultados; la articulación de los indicado-res de desempeño; y la preparación de cri-terios normalizados para la calificación enlos países. Por tanto, el informe presenta evi-dencia de un número de productos y efec-tos directos del trabajo de desarrollo de lacapacidad de evaluación del GEI.

El GEI ha dado apoyo para llevar a cabo elDCE en 34 países (y a los correspondientesequipos del Banco a cargo de los países)desde 1999: se ha proporcionado ayuda in-tensa a dos países (Uganda y Egipto), de me-diana intensidad a 15 países y ayudaindirecta a otros 17 países. Semejante“marca” de este apoyo del GEI ha ayudadoa elevar el perfil del DCE dentro del Banco,llevando a la posibilidad de algún efecto de

demostración hacia otros equipos a cargode países. Este trabajo enfocado en el paísconstituye una parte clave de la estrategiadel DCE del GEI. Un hallazgo importante deeste informe es que muchos de los paísespara los cuales el GEI ha proporcionadoapoyo de alta o mediana intensidad han re-alizado grandes progresos en desarrollo dela capacidad de evaluación –en términosde efectos directos del desarrollo de la ca-pacidad de evaluación, como diagnósticose identificación del desarrollo de la capaci-dad de evaluación como una prioridad enlas estrategias de asistencia del Banco a lospaíses, y la creación de proyectos del Bancocon componentes de DCE, y en términos deefectos directos intermedios como el for-talecimiento de la demanda del país porSyE y de las capacidades del país de conduciry utilizar el SyE . Si bien no todo el progresopuede ser atribuido al GEI, este grupo hacontribuido de manera importante a estosresultados del desarrollo de la capacidadde evaluación.

Revisiones exhaustivas de los dos paísesdonde el GEI ha proporcionado un apoyomuy intenso –Uganda y Egipto– confirmanel liderazgo del GEI en el desarrollo de la ca-pacidad de evaluación en los últimos años;su funcionamiento en ambos países estácalificado como satisfactorio. Una fortalezaen Uganda ha sido el hecho de contar conapoyo intenso y sostenido, que logró si-nergia entre una serie de diferentes activi-dades de DCE y que han dado resultadossignificativos. La revisión exhaustiva con-cluyó que la labor de desarrollo de la capa-cidad de evaluación en Uganda representauna buena práctica. Sin embargo, la situa-ción de Egipto es algo diferente –en ciertamedida, la insuficiente demanda de las par-tes clave interesadas dentro del gobiernofrustró el trabajo. Esta experiencia refuerzala lección aprendida por varios países dondela demanda ha sido muy débil: esa demandatan baja puede llevar a que los esfuerzos dedesarrollo de la capacidad de evaluaciónsean muy frágiles. Por esta razón, el GEI

1 4 4


necesita prestar mucha atención al lado dela demanda en su trabajo de desarrollo dela capacidad de evaluación del país, en laetapa de diagnóstico inicial y en el trabajoposterior de creación de capacidad.

El establecimiento de los fundamentos deldesarrollo de la capacidad de evaluación delGEI ha incluido la preparación de materialde apoyo, el compartir enseñanzas de la ex-periencia, el otorgar capacitación en SyE yen DCE, y varias iniciativas de colaboracióncomo evaluaciones conjuntas y armonizacióndel SyE de los donantes. El GEI ha tenido unafunción determinante en la identificación ydifusión de las enseñanzas de la experienciadel desarrollo de la capacidad de evalua-ción –realmente, de la investigación en DCE–y esto se ve reflejado en el alto nivel de de-manda del material de apoyo del desarrollode la capacidad de evaluación. Una recienteevaluación del GEI del Programa Interna-cional de Capacitación en Evaluación delDesarrollo, su curso insignia en SyE, en-contró altos niveles de satisfacción de los par-ticipantes con la capacitación y aumentos deaprendizaje significativos. También hay ha-llazgos de evaluación altamente positivosen los otros cursos de SyE y DCE que el GEIha patrocinado. Sin embargo, existe unaserie de brechas en la información evaluativadel GEI en relación con los resultados de sutrabajo en el desarrollo de la capacidad deevaluación que necesitan ser tomadas encuenta.

No hay evidencia de que se presenten con-flictos de intereses en lo referente a las ac-tividades de desarrollo de la capacidad deevaluación del GEI. Existen importantesprecedentes dentro y fuera del Banco,

donde las responsabilidades legales y fidu-ciarias se reconcilian con la disposición dela ayuda a la creación de capacidades en eltrabajo operacional. Esta reconciliación sealcanza con un acercamiento simple de lasbarreras legales.

Esta autoevaluación presenta tres opcionesclave para que la administración del GEIconsidere al preparar su estrategia de DCEfutura. Éstas son: (1) una opción de salidapara transferir las actividades de desarrollode la capacidad de evaluación del GEI; (2)una opción ampliada que involucre una es-trecha colaboración con las unidades cen-trales del Banco, y un enfoque másorientado a la labor de desarrollo de la ca-pacidad de evaluación con el equipo delbanco para el país y con las unidades de laVicepresidencia Regional del Banco; y (3) unenfoque renovado en el aprendizaje de lasenseñanzas de DCE.

La conclusión de este informe es que, dadoel modesto nivel de recursos comprometi-dos en el DCE, el GEI ha participado muyactivamente en el desarrollo de la capacidadde evaluación, y su estrategia para dichofin ha contribuido a una serie de resultadosde DCE –productos y efectos directos– du-rante los últimos cinco años. La tarea queahora enfrenta el GEI es fortalecer aún másla labor de desarrollo de la capacidad de eva-luación –para alcanzar los objetivos de in-tegrarlo con las actividades normales deldesarrollo de la capacidad de evaluación yestablecer más ampliamente uno de altacalidad. Cada vez hay más oportunidadespara lograr una orientación hacia los resul-tados dentro del Banco y en los países, y laprioridad por el DCE nunca ha sido tan alta.

ANEXO D: EVALUACIÓN DEL APOYO DEL GEI PARA LA INSTITUCIONALIZACIÓN DE SISTEMAS DE SyE

1 4 5

1 4 7

Fuente: Comité de Asistencia para el Desarrollo(CAD). 2002. Glosario de los principales térmi-nos sobre evaluación y gestión basada en re-sultados. Paris: OCDE. Este glosario estádisponible en chino, español, francés, inglés, ita-liano, japonés, portugués y ruso.

Para mayor información, diríjase a OCDE, Direc-ción de la Cooperación para el Desarrollo, 2 rueAndré-Pascal, 75775 Paris Cedex 16, Francia. Sitioweb: www.oecd.org/dac/evaluation.

ActividadAcciones emprendidas o labor realizada mediantelas cuales se movilizan los insumos, como son losfondos, la asistencia técnica y otros tipos de re-cursos, para generar productos determinados.

Término conexo: intervención para el desarrollo.

Análisis de riesgosAnálisis o evaluación de factores (llamados “su-puestos” en el marco lógico) que afectan o que pue-den afectar el logro de los objetivos de unaintervención. Examen detallado de las conse-cuencias indeseables y negativas que podría teneruna intervención para el desarrollo en la vida hu-mana, la salud, la propiedad o el medio ambiente;proceso sistemático que proporciona informaciónsobre esas consecuencias indeseables; proceso decuantificación de las probabilidades de que apa-rezcan los riesgos identificados y sus repercusio-nes previstas.

AsociadosParticulares y/u organismos que colaboran para lo-grar los objetivos mutuamente acordados.

Nota: El concepto de asociación denota metascompartidas, responsabilidad común por losefectos directos, clara rendición de cuentas yobligaciones recíprocas. Los asociados puedenser gobiernos, entidades de la sociedad civil,organizaciones no gubernamentales, universi-dades, asociaciones profesionales y empresa-riales, organismos multilaterales, empresasprivadas, etc.

AtribuciónImputación de un vínculo causal entre cambiosobservados (o que se espera observar) y una in-tervención específica.

Nota: La atribución se refiere a la acción que ex-plica los cambios observados o los resultados ob-tenidos. Representa la medida en que los efectosde desarrollo observados pueden atribuirse a unaintervención específica o a la actuación de una omás partes teniendo en cuenta otras interven-ciones, factores exógenos (previstos o imprevis-tos) o choques externos.

AuditoríaActividad de control independiente y objetivaque tiene como fin añadir valor y mejorar las ope-raciones de una organización. Ayuda a la organi-zación a lograr sus objetivos aportando unenfoque sistemático y disciplinado para evaluar ymejorar la eficacia de la gestión de riesgos, elcontrol y los procesos de dirección.

Nota: Se debe distinguir entre la auditoría de re-gularidad (financiera), que se centra en el cum-plimiento de los estatutos y regulacionesaplicables, y la auditoria de resultados, que se

ANEXO E: GLOSARIO DE TÉRMINOS CLAVES EN SYE

ocupa de la pertinencia, la economía, la eficien-cia y la eficacia. La auditoría interna constituye unaevaluación de los controles internos realizados poruna unidad que rinde cuentas a la dirección, entanto que la auditoría externa es realizada poruna entidad independiente.

AutoevaluaciónEvaluación por parte de los responsables del di-seño y la implementación de una intervenciónpara el desarrollo.

BeneficiariosIndividuos, grupos u organismos que se benefi-cian, directa o indirectamente, de una interven-ción para el desarrollo, hayan sido o no losdestinatarios de la intervención.

Términos conexos: destinatarios, grupo meta.

Cadena de resultadosLa secuencia causal de una intervención para eldesarrollo que estipula la secuencia necesariapara lograr los objetivos deseados, comenzandocon los insumos, pasando por las actividades y losproductos, y culminando en el efecto directo, elimpacto y la retroalimentación. En algunos orga-nismos, los destinatarios (o el “alcance”) formanparte de la cadena de resultados.

Términos conexos: supuestos, marco deresultados.

ConclusionesLas conclusiones señalan los factores de éxito yfracaso de la intervención evaluada, prestandoatención especial a los resultados y repercusionesintencionales o no y, de manera más general, aotras fortalezas y debilidades. Una conclusión seapoya en los datos recopilados y en los análisis re-alizados mediante una cadena transparente deenunciados.

ContrafactualSituación o condición que podría presentarse hi-potéticamente para las personas, las organiza-ciones o los grupos si no hubiera una intervenciónpara el desarrollo como la evaluada.

Desempeño

Medida en que una intervención para el desa-rrollo o una entidad que se ocupa de fomentar eldesarrollo actúa conforme a criterios/normas/di-rectrices específicos u obtiene resultados de con-formidad con metas o planes establecidos.

Destinatarios (o “alcance”)Beneficiarios y otras partes interesadas de una in-tervención para el desarrollo.

Término conexo: beneficiarios.

EconomíaAusencia de desperdicio en la obtención de un re-sultado determinado.

Nota: Se dice que una actividad es económicacuando los costos de los recursos escasos utili-zados se aproximan al mínimo necesario para lo-grar los objetivos planeados.

EfectoCambio intencional o no intencional debido di-recta o indirectamente a una intervención.

Términos conexos: resultados, efecto directo.

Efecto directoRepresenta el conjunto de resultados a corto y me-diano plazo probables o logrados por los pro-ductos de una intervención.

Términos conexos: resultados, producto, im-pacto, efecto.

EficaciaMedida en que se lograron o se espera lograr losobjetivos de la intervención para el desarrollo, to-mando en cuenta su importancia relativa.

Nota: Se utiliza también como medida agregadao juicio sobre el mérito o el valor de una activi-dad, es decir, el grado al cual una intervención halogrado, o se espera que logre, sus principales ob-jetivos pertinentes de manera eficaz, en forma sos-tenible, y con un impacto institucional positivo enel desarrollo.

1 4 8


Término conexo: eficiencia, efectividad.

EficienciaMedida en que los recursos/insumos (fondos,tiempo, etc.) se han convertido económicamenteen resultados.

Enseñanzas aprendidasGeneralizaciones basadas en las experiencias deevaluación de proyectos, programas o políticas encircunstancias específicas, que se aplican a situa-ciones más amplias. Con frecuencia, las ense-ñanzas destacan los puntos fuertes o débiles enla preparación, el diseño y la puesta en prácticaque afectan al desempeño, los resultados y elimpacto.

Estudio de baseAnálisis que describe la situación previa a una in-tervención para el desarrollo, en relación con lacual puede medirse el avance o pueden efec-tuarse comparaciones.

Evaluación de conjuntoEvaluación de un conjunto de actividades, pro-yectos y/o programas relacionados entre sí.

Evaluación del programa de país/ Evaluaciónde la asistencia al paísEvaluación de la cartera de intervenciones para eldesarrollo de uno o más donantes o instituciones,y de la estrategia de asistencia que la sustenta, enun país determinado.

Evaluación ex anteDeterminación general de la pertinencia, la fac-tibilidad y la sostenibilidad potencial de una in-tervención para el desarrollo antes de tomar ladecisión de otorgar financiamiento.

Nota: En los organismos, bancos, etc. de desa-rrollo, el propósito de la evaluación ex ante es pre-sentar información durante el proceso de tomade decisiones para determinar si la actividad re-presenta el uso adecuado de los recursos de la ins-titución.

Término conexo: preevaluación.

EvaluabilidadMedida en que puede evaluarse una actividad oun programa de manera fiable y creíble.

Nota: Para determinar la evaluabilidad es necesarioun examen anticipado de una evaluación pro-puesta para determinar si sus objetivos están de-finidos adecuadamente y si sus resultados puedenser objeto de verificación.

EvaluaciónApreciación sistemática y objetiva de un proyecto,programa o política en curso o concluido, de sudiseño, su puesta en práctica y sus resultados. Elobjetivo es determinar la pertinencia y el logro delos objetivos, así como la eficiencia, la eficacia, elimpacto y la sostenibilidad para el desarrollo. Unaevaluación deberá proporcionar información cre-íble y útil, que permita incorporar las enseñanzasaprendidas en el proceso de toma de decisionesde beneficiarios y donantes.

La evaluación también se refiere al proceso de de-terminar el valor o la significación de una activi-dad, política o programa. Se trata de unaapreciación, tan sistemática y objetiva como seaposible, de una intervención para el desarrollo pla-neada, en curso o concluida.

Nota: En algunos casos, la evaluación entraña ladefinición de normas adecuadas, el examen de losresultados en función de esas normas, una apre-ciación de los resultados efectivos y previstos y laidentificación de lecciones pertinentes.

Término conexo: revisión.

Evaluación conjuntaEvaluación en la que participan distintas entida-des donantes y/o asociados.

Nota: Existen varios grados de “asociación”, de-pendiendo de la medida en que cada parte coo-pera en el proceso de evaluación, y combina susrecursos de evaluación y sus mecanismos de de-claración de información. Las evaluaciones con-juntas pueden ayudar a superar problemas deatribución al evaluar la eficacia de los programas

A N E XO E : G L O S A R I O D E T É R M I N O S C L AV E S E N S y E

1 4 9

y las estrategias, el carácter complementario de losesfuerzos respaldados por diferentes asociados, lacalidad de la coordinación de la asistencia, etc.

Evaluación de procesosEvaluación de la dinámica interna de los orga-nismos de ejecución, sus instrumentos de política,sus mecanismos de prestación de servicios, susprocedimientos de gestión y los vínculos queexisten entre todos estos componentes.

Término conexo: evaluación formativa.

Evaluación de programasEvaluación de un conjunto de intervenciones es-tructuradas para alcanzar objetivos específicosde desarrollo a nivel global, regional, de país osectorial.

Nota: Un programa de desarrollo es una inter-vención de duración limitada que comprendemúltiples actividades que pueden abarcar variossectores, temas y/o zonas geográficas.

Términos conexos: evaluación del programa/es-trategia del país.

Evaluación de programas sectorialesEvaluación de un conjunto de intervenciones parael desarrollo dentro de un país o un grupo de pa-íses en un sector, todas las cuales contribuyen allogro de un objetivo específico de desarrollo.

Nota: Un sector incluye actividades de desarro-llo que se agrupan comúnmente para fines de ac-ción pública, tales como la salud, la educación, laexplotación agropecuaria, el transporte, etc.

Evaluación de proyectosEvaluación de una intervención individual para eldesarrollo que tiene por objeto alcanzar objetivosespecíficos con recursos especificados y dentrode calendarios de ejecución determinados, a me-nudo enmarcada en un programa más amplio.

Nota: El análisis de costos y beneficios es uno delos principales instrumentos de evaluación de

proyectos con beneficios mensurables. Cuando nopuedan cuantificarse los beneficios, el enfoqueadecuado sería el de eficacia en función de loscostos.

Evaluación de término medioEvaluación que se efectúa a mediados del períodode implementación de la intervención.

Término conexo: evaluación formativa.

Evaluación ex anteEvaluación que se efectúa antes de poner en prác-tica una intervención para el desarrollo.

Términos conexos: evaluación inicial, evaluaciónprevia, pre-evaluación.

Evaluación ex postEvaluación de una intervención para el desarro-llo que se efectúa una vez que ha concluido.

Nota: Puede emprenderse inmediatamente omucho después de su conclusión.

La intención es identificar los factores de éxito ofracaso, evaluar la sostenibilidad de los resultadosy las repercusiones, y extraer conclusiones quepuedan ser útiles para otras intervenciones.

Evaluación externaEvaluación de una intervención para el desarro-llo realizada por entidades y/o individuos ajenosa los organismos donantes y de ejecución.

Evaluación formativaEvaluación cuyo objeto es mejorar el desempeñoy que generalmente se realiza durante la fase deimplementación de un proyecto o programa.

Nota: También pueden realizarse evaluacionesformativas por otras razones como la verificacióndel cumplimiento, por exigencias legales o comoparte de una iniciativa de evaluación de mayorenvergadura.

Término conexo: evaluación de proceso.

1 5 0


Evaluación independienteEvaluación realizada por entidades y personasque no están bajo el control de los responsablesdel diseño y la implementación de la intervenciónpara el desarrollo.

Nota: La credibilidad de una evaluación de-pende en parte del grado de independenciacon la que se llevó a cabo. La independencia sig-nifica que la evaluación no está sujeta a nin-guna influencia política ni a presiones deninguna organización. Se cuenta con pleno ac-ceso a la información y total autonomía para lle-var a cabo las investigaciones y notificar lo quese haya determinado.

Evaluación internaEvaluación de una intervención para el desarro-llo realizada por una unidad y/o personas quedependen de la gerencia o dirección de un or-ganismo donante, asociado o de ejecución.

Término conexo: autoevaluación.

Evaluación participativaMétodo de evaluación en la que los represen-tantes de entidades y partes interesadas (inclui-dos los beneficiarios) trabajan conjuntamente enel diseño, implementación e interpretación deuna evaluación.

Evaluación sumativaEstudio que se realiza al final de una intervención(o de una fase de esa intervención) para deter-minar en qué medida se produjeron los resulta-dos previstos. El objetivo de la evaluación sumativaes proporcionar información sobre el valor delprograma.

Término conexo: evaluación del impacto.

Evaluación temáticaEvaluación de un conjunto determinado de in-tervenciones para el desarrollo, todas las cualesse refieren a una prioridad específica de desa-rrollo que abarca distintos países, regiones ysectores.

FiabilidadEs la coherencia de los datos y los juicios deevaluación, y la medida en que se puede confiaren ellos, con referencia a la calidad de los ins-trumentos, procedimientos y análisis emplea-dos para recopilar e interpretar datos deevaluación.

Nota: La información de una evaluación es fiablesi observaciones repetidas utilizando instrumen-tos similares, en condiciones similares dan lugara resultados similares.

Garantía de calidadLa garantía de calidad abarca toda actividad quetenga por objeto evaluar y mejorar el mérito o elvalor de una intervención para el desarrollo o sucumplimiento con normas establecidas.

Nota: Cabe citar como ejemplos de actividades degarantía de calidad la evaluación ex ante, la ges-tión basada en resultados, los exámenes durantela ejecución, las evaluaciones, etc. La garantía decalidad también puede referirse a la evaluación dela calidad de una cartera y de su eficacia en tér-minos del desarrollo.

Gestión basada en resultadosEstrategia de gestión que se centra en el de-sempeño y el logro de productos, efectos eimpacto.

Término conexo: marco lógico.

Grupo metaIndividuos u organismos específicos en cuyo be-neficio se lleva a cabo la intervención para eldesarrollo.

Hallazgo (Constatación)Un hallazgo (o una constatación) utiliza eviden-cias obtenidas de una o más evaluaciones para re-alizar afirmaciones basadas en hechos.

Herramientas analíticasMétodos empleados para procesar e interpretarinformación durante una evaluación.


1 5 1

Herramientas de recolección de datosMetodologías empleadas para identificar fuentesde información y recopilar datos durante unaevaluación.

Nota: Cabe citar como ejemplos las encuestas in-formales y formales, la observación directa y par-ticipativa, las entrevistas en comunidades, losgrupos de control, la opinión de expertos, losestudios de casos y la investigación bibliográfica.

Impacto en el desarrollo institucionalMedida en que una intervención mejora o debi-lita la capacidad de un país o región de hacer usomás eficiente, equitativo y sostenible de sus re-cursos humanos, financieros y naturales, porejemplo, a través de: mecanismos institucionalesmejor definidos, más estables, transparentes yaplicados de manera eficaz y previsible y/o (b)mejor ajuste de la misión y la capacidad de unaorganización con su mandato, que se deriva deestos mecanismos institucionales. Estos impactospueden incluir los efectos intencionales o no in-tencionales de una acción.

ImpactosEfectos de largo plazo positivos y negativos, pri-marios y secundarios, producidos directa o indi-rectamente por una intervención para eldesarrollo, intencionalmente o no.

IndicadorVariable o factor cuantitativo o cualitativo queproporciona un medio sencillo y fiable para medirlogros, reflejar los cambios vinculados con una in-tervención o ayudar a evaluar los resultados de unorganismo de desarrollo.

Indicador del desempeño (o de los resultados)Variable que permite verificar cambios debidos ala intervención para el desarrollo o que muestraresultados en relación con lo que se ha planeado.

Términos conexos: seguimiento del desempeño,medición de los resultados.

InsumosRecursos financieros, humanos y materiales em-pleados en una intervención para el desarrollo.

Intervención para el desarrolloInstrumento de asistencia utilizado por un orga-nismo (donante o no donante), con el objeto defomentar el desarrollo.

Nota: Cabe citar como ejemplos el asesoramientoen materia de políticas, los proyectos y losprogramas.

Marco de resultadosLógica del programa que explica la forma en quedeberá lograrse el objetivo de desarrollo, que in-cluye las relaciones causales y los supuestossubyacentes.

Términos conexos: cadena de resultados, marcológico.

Marco lógicoHerramienta que se utiliza para mejorar el di-seño de las intervenciones, más frecuentementea nivel del proyecto. Comprende la identifica-ción de elementos estratégicos (insumos, pro-ductos, efectos, impacto) y sus relaciones causales,indicadores y los supuestos o riesgos que puedeninfluir en el éxito o el fracaso. De esa manera fa-cilita la planeación, la ejecución y la evaluación deuna intervención para el desarrollo.

Término conexo: gestión basada en resultados.

Medición de los resultadosSistema para evaluar los resultados de las inter-venciones para el desarrollo en función de los ob-jetivos declarados.

Términos conexos: seguimiento del desempeño,indicador.

MetaObjetivo global hacia el cual se prevé que contri-buya una intervención para el desarrollo.

Término conexo: objetivo de desarrollo.

MetaevaluaciónEste término se utiliza para evaluaciones cuyoobjeto es sintetizar constataciones de un con-junto de evaluaciones. También puede utilizarse

1 5 2


para indicar la evaluación de otra evaluación a finde juzgar su calidad y/o medir el desempeño delos evaluadores.

Norma de referenciaBase de comparación o norma (standard) en re-lación con la cual pueden medirse los resultadoso los logros obtenidos.

Nota: Una norma se refiere a los resultados lo-grados en el pasado reciente por otros organis-mos similares, o a lo que razonablemente puedeinferirse que se ha logrado en circunstanciassimilares.

Objetivo de desarrolloImpacto intencional esperado que contribuye a ge-nerar beneficios físicos, financieros, institucionales,sociales, ambientales o de otra índole a una socie-dad, una comunidad o un grupo de personas me-diante una o más intervenciones para el desarrollo.

Objetivo del proyecto o programaSe refiere a los resultados físicos, financieros, ins-titucionales, sociales, ambientales o de otra índoleque se espera que el proyecto o programa con-tribuya a lograr.

Partes interesadasEntidades, organizaciones, grupos o particularesque tienen un interés directo o indirecto en la in-tervención para el desarrollo o en su evaluación.

PertinenciaMedida en que los objetivos de una intervenciónpara el desarrollo son congruentes con los re-quisitos de los beneficiarios, las necesidades delpaís, las prioridades globales y las políticas de losasociados y donantes.

Nota: En retrospectiva, la cuestión de la perti-nencia suele referirse a si los objetivos o el diseñode una intervención siguen siendo adecuadosaún cuando hayan cambiado las circunstancias.

ProductoComprende los productos, los bienes de capitaly los servicios que resultan de una intervenciónpara el desarrollo; puede incluir también los cam-

bios resultantes de la intervención que son per-tinentes para el logro de los efectos directos.

PropósitoObjetivos declarados públicamente del programao proyecto de desarrollo.

RecomendacionesPropuestas que tienen por objeto mejorar la efi-cacia, la calidad o la eficiencia de una intervenciónpara el desarrollo, rediseñar los objetivos y/o re-asignar los recursos. Las recomendaciones de-berán estar vinculadas a las conclusiones.

Rendición de cuentasObligación de demostrar que se ha efectuado el tra-bajo cumpliendo con las reglas y normas acordadaso de declarar de manera precisa e imparcial los re-sultados obtenidos en comparación con las fun-ciones y/o planes encomendados. Esto puede exigiruna demostración cuidadosa, que pueda defen-derse incluso judicialmente, de que la labor reali-zada es congruente con los términos contractuales.

Nota: La rendición de cuentas en materia de desa-rrollo puede referirse a las obligaciones de las par-tes de actuar de conformidad con responsabilidades,funciones y expectativas de resultados claramentedefinidas, a menudo con respecto al uso prudentede los recursos. Para los evaluadores, denota la res-ponsabilidad de proporcionar informes de segui-miento y evaluaciones de resultados precisos,imparciales y creíbles. Los administradores y eje-cutivos del sector público, deben rendir cuentas antelos contribuyentes y/o los ciudadanos.

ResultadosProducto, efecto o impacto (intencional o no,positivo y/o negativo) de una intervención parael desarrollo.

Términos conexos: efecto directo, repercusión,impacto.

RetroalimentaciónTransmisión de las constataciones (hallazgos) a las quese arribó en el proceso de evaluación a aquellas par-tes para quienes son pertinentes y útiles con objetode facilitar el aprendizaje. Puede abarcar la recopila-


1 5 3

ción y divulgación de observaciones, conclusiones,recomendaciones y lecciones de la experiencia.

RevisiónEvaluación de los resultados de una interven-ción, periódicamente o de manera ad hoc.

Nota: Con frecuencia, se realiza una “evaluación”para tener una determinación más completa y/oprofunda que la que produce una revisión. Las re-visiones tienden a hacer hincapié en los aspectosoperativos. En ocasiones, los términos “revisión”y “evaluación” se utilizan como sinónimos.

Término conexo: evaluación.

SeguimientoFunción continua que utiliza una recopilaciónsistemática de datos sobre indicadores especifi-cados para proporcionar a los administradores ya las partes interesadas principales de una inter-vención para el desarrollo, indicaciones sobre elavance y el logro de los objetivos así como de lautilización de los fondos asignados.

Términos conexos: seguimiento del desempeño,indicador.

Seguimiento del desempeñoProceso continuo de recolección y análisis dedatos para comparar en qué medida se está eje-cutando un proyecto, programa o política en fun-ción de los resultados previstos.

SostenibilidadContinuación de los beneficios de una interven-ción para el desarrollo después de concluida.

Probabilidad de que continúen los beneficios enel largo plazo. Situación en la que las ventajasnetas son susceptibles de resistir los riesgos conel correr del tiempo.

SupuestosHipótesis sobre los factores o riesgos que puedenafectar el avance o éxito de una intervención parael desarrollo.

Nota: Este término puede también aplicarse alas condiciones hipotéticas que inciden en la va-lidez de la evaluación misma, por ejemplo, lascaracterísticas de la población de la cual se ex-trae una muestra para una encuesta. Los su-puestos se plantean de manera explícita enevaluaciones basadas en la teoría, cuando las mis-mas son verificadas sistemáticamente medianteuna comparación con la cadena de resultadosprevista.

Términos de referenciaDocumento escrito que presenta el propósito yel alcance de la evaluación, los métodos que se hande utilizar, la norma con la que se evaluarán losresultados o los análisis que se han de realizar, losrecursos y el tiempo asignado, y los requisitos depresentación de informes. A veces se utilizan tam-bién las expresiones “alcance del trabajo” o “man-dato de la evaluación”.

TriangulaciónUso de tres o más teorías, fuentes o tipos de in-formación, o tipos de análisis para verificar y sus-tentar una evaluación.

Nota: Al combinar múltiples fuentes de datos,métodos, análisis o teorías, los evaluadores pro-curan eliminar el sesgo que surge cuando se re-curre a una sola fuente de información, a un solométodo, a un único observador o a una teoríaúnica.

ValidezMedida en que las estrategias y los instrumentosde recopilación de datos miden lo que tienenpor objeto medir.

1 5 4


1 5 5

Capítulo 31. El Steering Committee for the Review of Go-

vernment Service Provision ofrece un buen ejemplo

práctico de la comparación de desempeño entre nive-

les de gobierno federales, estatales o territoriales en Aus-

tralia (2007).

2. Conocido también como la “nueva administra-

ción pública” (véase, por ejemplo, OCDE, 1995).

3. Algunos conceptos relacionados con la participa-

ción de la sociedad civil en el SyE son SyE participativo,

en el que ciudadanos comunes son participantes acti-

vos en el SyE y no sólo fuentes de información, y ren-

dición de cuentas social, la cual abarca una amplia

variedad de mecanismos, como son varios tipos de SyE

que permiten que los ciudadanos puedan exigir al Es-

tado que rinda cuentas. Estos otros tipos de SyE com-

prenden tarjetas comunitarias de puntaje, encuestas

de seguimiento del gasto público y auditorías sociales.

Véase Banco Mundial (2006b).

4. http://www.bogotacomovamos.org/bogotacv/

scripts/index.php. Véase también Sánchez (sin fecha) y

Fiszbein (2005, p. 42)

5. El Ministro de Hacienda de Chile, quien maneja

todo el sistema de evaluación del gobierno, ha llamado

a licitación on-line para encargar las evaluaciones que

quiere llevar a cabo. Los términos de referencia de las

evaluaciones, los licitadores que obtengan la adjudica-

ción (personas naturales o jurídicas) y el informe final

de evaluación son publicados en el portal del ministe-

rio en el momento de la selección de los licitadores. Esto

ayuda a reforzar la transparencia de los procesos de eva-

luación y la objetividad de las mismas evaluaciones.

Capítulo 41. La mayoría de los sistemas de SyE gubernamen-

tales no evalúan proyectos de los donantes. Dos ex-

cepciones son Chile y Colombia.

2. http://www.mfdr.org/.

3. http://wwwadb.org/MfDR/CoP/about.asp.

4. http://www.afrea.org/; http://www.preval.org/

mapa.php?idioma=8; http://www.ideas-int.org/; http://

internationalevaluation.com/index.shtml.

Capítulo 51. Para un criterio de evaluación de la calidad de los

indicadores de desempeño, véase, por ejemplo, Hatry

(2006) y Wholey (2006). Para parámetros de evalua-

ción, véase, por ejemplo, Wholey, Hatry y Newcomer

(2004).

Capítulo 61. El MdH analiza y procura verificar la información

contenida en estos informes. Algunas informaciones

de las bases de datos de ministerios son sometidas a au-

ditorías realizadas por el Consejo de Auditoría Interna

General de Gobierno (ver Blondal y Curristine, 2004).

2. Estas metas incluyen productos de bienes y ser-

vicios, su calidad y niveles de satisfacción del usuario.

3. Algunas razones de que no se logran las metas es-

tablecidas son factores externos fuera del control de la

organización, metas muy altas poco realistas y bajo de-

sempeño en la gestión dentro de la organización (Guz-

mán, 2006).

4. Una de las formas en que los ministerios sectoriales

utilizan la información del SyE en el proceso presu-

puestario es cuando ellos solicitan recursos adicionales

al fondo para licitaciones del MdH. Este fondo ha sido

utilizado en algunos presupuestos recientes -no en

todos- para asignar recursos adicionales disponibles al

final del proceso presupuestario normal. Si los minis-

terios sectoriales desean acceder a este fondo, los mi-

nistros tienen que presentar sus licitaciones utilizando

el enfoque de marco lógico, mostrando los objetivos de-

seados del gasto propuesto, los indicadores de de-

sempeño y metas, la población objetivo, los resultados

esperados y la probable contribución a las metas es-

tratégicas. El MdH revisa estas licitaciones basándose en

criterios técnicos, especialmente su relevancia para las

NOTAS

prioridades del gobierno. La decisión final sobre la asig-

nación de los fondos la toma el presidente (Blondal y

Curristine, 2004).

5. Las evaluaciones de los programas de gobierno y

las evaluaciones de impacto de Chile no siempre re-

portan su metodología u otorgan suficiente atención a

la lógica del programa (marco lógico). Algunas de las eva-

luaciones de impacto no cumplen con los propios pa-

rámetros de calidad del MdH debido a problemas como

la ausencia de un grupo control o la falta de datos de

referencia. Estas evaluaciones tendían a dar más valor

a los métodos cuantitativos, mientras que subutilizaban

la información cualitativa, como el nivel de satisfacción

del beneficiario.

6. Esta cantidad excluye los costos asumidos por

entidades del sector, los cuales consisten básicamente

en el costo de recopilación, procesamiento y transmi-

sión de la información de desempeño al MdH, y el

costo de preparar los balances de gestión integral.

Capítulo 71. Los sistemas SIGOB en Guatemala y Honduras y

el sistema de indicadores de desempeño del estado de

Ceará en Brasil se utilizan para calificar el desempeño

del programa, con un enfoque tipo semáforo: califica-

ción verde, ámbar o roja. Este enfoque resalta claramente

el desempeño de cada programa. El gobierno mexi-

cano está considerando introducir un sistema similar.

2 . El departamento de planeación, el cual adminis-

tra SINERGIA, ha desarrollado una metodología para las

evaluaciones rápidas basada en una combinación de la

metodología de las evaluaciones de programas guber-

namentales de Chile y la de PART, del gobierno de los

Estados Unidos de América. Para mayores detalles,

véase Mackay y otros (2007). Se espera que estas eva-

luaciones del departamento de planeación (llamadas

“evaluaciones ejecutivas”) cuesten cerca de $25.000

cada una. Las pruebas experimentales de las evalua-

ciones rápidas del ministerio de hacienda se basan en

la metodología de las evaluaciones de programas gu-

bernamentales de Chile y cuestan alrededor de $15.000

cada una.

3. El gobierno actualmente está financiando sólo

12% de los $11,1 millones de la agenda de evaluación.

4. El costo estimado para Colombia es aproximado.

Los estimados tanto para Colombia como para Chile no

incluyen los costos asumidos por los ministerios sec-

toriales y dependencias para proporcionar seguimiento

y otro tipo de información para el sistema de SyE.

Capítulo 81. Las reformas australianas incluyen, por ejemplo, una

reducción del número de departamentos y el otorga-

miento de mucho mayor autonomía a los departamentos

consolidados; reemplazo del presupuesto por rubro con

un sistema de costos corrientes (que incluye un rubro para

los salarios y otro para los gastos administrativos), además

del gasto por programas, una introducción al presupuesto

por programa; la introducción de un marco de gastos a me-

diano plazo con estimados para tres años.

2. El desarrollo del sistema de evaluación de Australia

lo analiza Mackay (1998a), y una comparación con el sis-

tema de gestión del desempeño al cual reemplazó la pre-

senta Mackay (2004).

3. Aunque las relaciones de rendición de cuentas son

tradicionalmente vistas en términos de la rendición de

cuentas de los ministerios y departamentos al parla-

mento; en el caso de Australia, otra relación de este tipo

ha probado ser más poderosa: la rendición de cuentas

de los departamentos al DdF.

4. El costo anualizado de estas evaluaciones fue

equivalente, en promedio, a menos de 1% del gasto total

del gobierno en los programas evaluados.

5. Algunas veces los mismos ministerios sectoriales

prepararon opciones de ahorro como una forma de ayu-

dar en el pago de las nuevas propuestas de gasto. Cerca

de un tercio de todas las opciones de ahorro fueron pre-

paradas por ministerios sectoriales; las restantes fueron

preparadas por el DdF.

6. En varias oportunidades, las propuestas de nue-

vas políticas de los ministerios sectoriales no fueron res-

paldadas por los hallazgos de evaluación, aun cuando

el DdF argumentó que podrían haberlo sido y, por

tanto, el gabinete solicitó que se realizara una evalua-

ción antes de considerar la propuesta. Y cada vez que

había una disputa entre el DdF y los departamentos sec-

toriales en relación con la calidad o confiabilidad de los

hallazgos de una evaluación importante –un tema que

demostró ser cierto para atraer la ira del gabinete– el

asunto era devuelto a los funcionarios para que los re-

solvieran mediante una nueva evaluación. Esto gene-

ralmente tomaba algún tiempo; en consecuencia, la

propuesta del ministerio sectorial debía esperar otro año

para ser reconsiderada. Estos atrasos otorgaban a los mi-

nisterios sectoriales un incentivo real para evitar disputas

con el DdF acerca de la calidad de sus evaluaciones.

7. Para un análisis detallado de estas reformas y sus

impactos en SyE en el gobierno federal, véase Mackay

(2004).

1 5 6


8. Los ejemplos incluyen el departamento de la fa-

milia; servicios comunitarios y asuntos indígenas; em-

pleo y relaciones laborales; educación, ciencia y

capacitación; y salud y envejecimiento.

9. En ausencia de fuertes presiones de rendición de

cuentas en los departamentos sectoriales y en un am-

biente en el que los procesos de políticas y de presu-

puesto han sido debilitados, cualquier incentivo para que

los departamentos sectoriales tomen seriamente el SyE

del desempeño tendrá que ser generado internamente.

Esto a su vez dependerá de las prioridades y compro-

miso de las secretarías permanentes de los ministerios.

Capítulo 91. Mundialmente, cerca de 64 países han preparado

un PRSP o un PRSP provisional. Véase http://www.world

bank.org/prsp.

2. Esta sección se basa ampliamente en trabajos de con-

sultoría encomendados por el GEI. Véanse Hauge (2001,

2003), GEI (2004a, anexo D) y Schiavo-Campo (2005).

3. Conocida como Joint Assistance Strategy (Estra-

tegia de asistencia conjunta). Véase Banco Mundial y

otros (2006).

4. http://web.worldbank.org/external/projects/main?

pagePK=64283627&piPK=73230&theSitePK=

40941&menuPK=228424&Projectid=P050440

Capítulo 101. Nótese también la importancia de los datos re-

copilados por las oficinas nacionales de estadística,

como los censos de población y las encuestas de ho-

gares. Un buen ejemplo de un examen de los datos exis-

tentes recopilados por los ministerios y la oficina nacional

de estadística de Uganda lo proporciona Kiryegyera, Nu-

wagaba y Ochen (2005).

2. Esto ha sucedido con información de listas de es-

pera en hospitales del Reino Unido (Schick, 2001).

3. Un interesante, y quizás hasta controvertido, aná-

lisis de la naturaleza e impacto de la aplicación de las leyes

napoleónicas en los países en desarrollo se presenta en

Beck, Dermiguc-Kunt y Levine (2002). En comparación,

países con un sistema de gobierno de Westminster tien-

den a interpretar las decisiones del gobierno, como se

ve reflejado, por ejemplo, en las decisiones del Gabinete,

de una manera más pragmática, resaltando su adaptación

conforme cambian las circunstancias. Una fortaleza de

las decisiones del Gabinete es que ellas son decisiones

colectivas que involucran a muchos ministros del go-

bierno. El apoyo colectivo del Gabinete para el sistema

de evaluación en Australia fue un importante factor de

éxito en ese país (Mackay, 1998a).

4. Existen otras ventajas de tener una legislación para

el SyE. La legislación puede asegurar que los ministerios

centrales tengan acceso a la información recopilada y man-

tenida por los ministerios sectoriales y las dependen-

cias. La legislación también puede asegurar que los

informes de evaluación estén disponibles al público, y ga-

rantizar la confidencialidad de la información personal.

5. Los informes de evaluación están disponibles

desde el portal del ministerio: http://www.dipres.cl/

fr_control.html.

6. Una de las primeras guías fue publicada por el De-

partamento de Evaluación de Operaciones del Banco

Mundial (que se convirtió en el Grupo de Evaluación

Independiente desde 2005). Véase Mackay (1998b).

Otro ejemplo característico se encuentra en Bedi y

otros (2006).

Capítulo 111. Esta tricotomía -premios, castigos y consejos- fue de-

sarrollado originalmente por Vedung (1991) al presentar

una taxonomía de los instrumentos de políticas (regla-

mentos, incentivos económicos e información). También

se ha utilizado para desarrollar una taxonomía de incen-

tivos para conducir el SyE por Toulemonde (1999).

Capítulo 121. Compton, Baizerman y Stockdill (2002) han ca-

racterizado la creación de capacidades de SyE como si tu-

vieran elementos de un arte, de un oficio y de una ciencia.

2. Una guía detallada para evaluar sistemas de se-

guimiento de la pobreza ha sido preparada por Bedi y

otros (2006).

3. Esto podría implicar una revisión de los indicadores

de desempeño existentes comparándolos con los cri-

terios de prácticas recomendables como el SMART (por

las iniciales en inglés de las características que lo defi-

nen) para evaluar si los indicadores son específicos,

medibles, atribuibles, realistas y oportunos (véase Aus-

tralian National Audit Office, 2001). También podría im-

plicar una revisión de datos existentes recopilados por

los ministerios y la oficina nacional de estadística, para

encontrar la información que está disponible en relación

con las áreas prioritarias del gobierno (como salud o edu-

cación primaria) y en qué medida la información está

armonizada o se sobrepone. (Un buen ejemplo para

Uganda lo proporciona Kiryegyera, Nuwagaba y Ochen,

2005). También podría implicar una serie de auditorías

N OTA S

1 5 7

de datos específicos de los sistemas de información de

los ministerios del sector. Los parámetros de evaluación

de la calidad de la información que utiliza el Fondo

Monetario Internacional proporcionan una marco de

diagnóstico muy ilustrativo: http://dsbb.imf.org/Appli

cations/web/dqrsdqaf/.

4. Argentina, por ejemplo, tiene tres sistemas na-

cionales de SyE que están coordinados (Zalstman,

2006a), dos de ellos integran a todo el gobierno y el ter-

cero abarca todo el gasto social.

Capítulo 131. Ésta es una manera de lograr la armonización de

múltiples requerimientos del SyE frecuentemente con-

flictivos por parte de varios donantes. También brinda

un punto de partida -una “posición estratégica”- para una

futura extensión de un sistema de SyE para todas las ac-

tividades del gobierno, incluidas todas las financiadas

por su propio presupuesto.

2. Sin embargo, según lo mencionado en el capítulo

6, aun el sistema de SyE de Chile, regido de manera cen-

tralizada y que es administrado por el hábil y poderoso

Ministerio de Hacienda, produce algunas evaluaciones

que tienen problemas de calidad.

Capítulo 141. El criterio de evaluación aplicado por el Banco

Mundial a su proyecto comprende (1) efecto directo real

o probable - (a) importancia de los objetivos del pro-

yecto y diseño, (b) eficacia (es decir, logro de objetivos),

y (c) eficiencia; (2) riesgo de desarrollo de efectos di-

rectos (es decir, el riesgo de que los efectos directos re-

ales o probables no se mantengan); (3) desempeño

del Banco; (4) desempeño del prestatario; (5) diseño,

implementación y utilización del SyE; y (6) otros temas

-cumplimiento de salvaguardas, cumplimiento fiducia-

rio e impactos positivos y negativos no intencionados.

2. Un ejemplo proviene del apoyo del Banco Mun-

dial a los esfuerzos del gobierno de Egipto para intro-

ducir el presupuesto por resultados. El efecto directo

de estos esfuerzos ha sido calificado como moderada-

mente insatisfactorio (GEI, 2004a, Anexo G). Este in-

forme presenta una lista que incluye varias enseñanzas

a partir de esta experiencia.

3. Véase por ejemplo, la labor de creación de capa-

cidad estadística del Banco Mundial, y la labor de la So-

ciedad de Estadística para el Desarrollo en el siglo XXI

(PARIS21,un consorcio líder de donantes internacio-

nales, gobiernos, instituciones profesionales, y acadé-

micos: http://intranet.worldbank.org/WBSITE/INTRA-

NET/ UNITS/DEC/DATA/SCBINTRANET/0,,content

MDK:20100922~pagePK:229337~piPK:232609~theSite

PK:239411,00.html http://www.paris21.org/.

4. http:/www.who.int/healthmetrics/en/ Los objetivos de

esta red son relevantes para otros sectores y también para

los sistemas de información nacionales: Un sistema de in-

formación de salud de un país comprende múltiples

subsistemas y fuentes de información que juntos con-

tribuyen a la generación de información sobre salud, que

abarcan datos del registro civil, censos y encuestas, vi-

gilancia y respuesta a enfermedades, estadísticas de ser-

vicios e información de la gestión en salud, datos

financieros y seguimiento de las fuentes. La ausencia de

consenso en las fortalezas relativas, utilidad, factibilidad

y la eficacia en función de los costos de diversos enfoques

de recopilación de datos ha resultado en una abun-

dancia de sistemas independientes pero a menudo su-

perpuestos. Muy frecuentemente se utilizan métodos de

recolección de datos de manera inapropiada, por ejem-

plo, el uso de encuestas de hogares para producir in-

formación sobre la mortalidad de adultos. Los socios de

la HMN están de acuerdo en alinearse alrededor de un

marco común que establezca los parámetros para los sis-

temas de información. El marco de la HMT servirá para

definir los sistemas necesarios en los niveles nacional y

mundial, junto con los par*metros, capacidades y pro-

cesos para generar, analizar, difundir y utilizar infor-

mación de salud ... [Se] enfoca en los insumos de los

donantes y organismos técnicos alrededor del plan de

un país para el desarrollo de la información en salud,

y así reducir la duplicación y superposición.

5. El instrumento de la Red de la Métrica en Salud para

la evaluación y seguimiento del fortalecimiento de los sis-

temas de información de salud en los países se encuen-

tra disponible en: htpp://www.who.int/healthmetrics/docu

ments/hmn_assessment_tool_guide_english_vl_96.pdf.

6. Véase la Red de Evaluación del CAD de la OCDE:

http://www.oecd.org/document/60/0,2340,en_21571361_

34047972_38242748_1_1_1_1,00.html.

7. Véase el análisis previo sobre la creación de ca-

pacidad estadística (especialmente PARIS21) y la Red de

la Métrica en Salud. Los criterios para evaluar sistemas

de gestión financiera fueron desarrollados por la co-

munidad de donantes para garantizar que los países que

iban a beneficiarse de la iniciativa de alivio de la deuda

tuvieran sistemas suficientemente confiables -esto es,

un requerimiento fiduciario, conocido como la inicia-

tiva del gasto público y rendición de cuentas. Véase

1 5 8


http://web.worldbank.org/WBSITE/EXTERNAL/

TOPICS/EXTPUBLICSECTORANDGOVERNANCE/

EXTPUBLICFINANCE/0,,contentMDK:20687844~pa

gePK:148956~piPK:216618~theSitePK:1339564,00.htm.

PyR: Preguntas frecuentes1. En Australia, el gobierno clausuró su Oficina de In-

vestigación del Mercado Laboral en 1986, después de que

la oficina organizó el lanzamiento, ante los medios de co-

municación más conocidos, de la evaluación del principal

programa de gobierno para la generación de empleo; la

evaluación presentó muchas críticas al programa (el go-

bierno canceló el programa al año siguiente). Esta ex-

periencia no es, definitivamente, un argumento para

llevar a cabo evaluaciones que no sean honestas u ob-

jetivas, sino que es un argumento para manejar los re-

sultados de las evaluaciones con tacto. Si el organismo

gubernamental que realiza una evaluación ha sido re-

cientemente establecido, sería prudente seleccionar

cuidadosamente los programas que deben ser evaluados.

2. El grado en que los resultados de una evaluación

son aplicables o relevantes para otros países -y de esta

manera no sólo reflejan una serie especial de circuns-

tancias locales- refleja su validez externa.

3. Véase los artículos publicados en el Boston Review

en 2006 y Davison (2006), Cook (2006) y Scriven (2006).

White (2006a, 2006b,) ha argumentado que la porción

de ayuda para el desarrollo que puede estar sujeta a una

evaluación de impacto al azar está severamente limitada.

4. La desigualdad en la disponibilidad de información

del SyE es abordada explícitamente en Estados Unidos

de América por medio del Program Assessment Rating

Tool - PART (Recuadro 3.2). De esta manera, programas

con una evidencia débil de SyE en relación con su de-

sempeño reciben un puntaje considerablemente bajo.

5. Esto es bastante más fácil de realizar dentro de un

departamento, comparado con una situación donde

un programa abarca varios departamentos.

6. Un instrumento analítico muy útil que facilita este

enfoque estratégico es el análisis de marco lógico. Una

versión más sofisticada de este enfoque la proporciona

la evaluación basada en la teoría. Se puede encontrar

un visión general de estos dos enfoques en Monito-

ring and Evaluation: Some Tools, Methods and Approa-

ches (GEI, 2004b).

Anexo BEl grupo que ayudo a preparar el diagnóstico in-

cluye Gladys Lopez-Acevedo, Fernando Rojas, Miguel

Mercado-Diaz, Wendy Cunningham, Jairo Arboleda,

Tarsicio Castañeda, Rodrigo García, Marcela Rubio, y

Juan Manuel Quesada, con Keith Mackay como el

autor líder.

1. SINERGIA —Sistema Nacional de Evaluación de

Resultados de la Gestión Pública.

2. Los documentos del proyecto para estos présta-

mos del Banco Mundial y otros más se encuentran lis-

tados en la bibliografía.

3. Ver CONPES, 2004; Castro, 2006.

4. SIGOB—Sistema de Programación y Gestión por

Objetivos y Resultados.

5. Directiva Presidencial 10 de 2002.

6. CONPES (Consejo Nacional de Política Econó-

mica y Social) (2004) Renovación de la Administración

Publica: Gestión por Resultados y Reforma del Sistema

Nacional de Evaluación. CONPES 3294.

7. Ley 819 de 2003 o Ley de Responsabilidad Fiscal.

8. Este bajo nivel de personal permanente refleja el

control estricto del gobierno en el número total de ser-

vidores civiles.

9. Programas de Acción Gubernamental. Estos están

reflejados en el plan nacional de desarrollo.

10. http://www.sigob.gov.co/ini/

11. Colombia es una república unitaria con 32 de-

partamentos (a nivel territorial) más el distrito de Bo-

gotá. Cada departamento supervisa varios municipios.

Hay cerca de 1100 municipios en Colombia.

12. Son conocidas también como “Evaluaciones Es-

tratégicas”.

13. Además de la base de datos del SIGOB disponi-

ble para el público, todas las evaluaciones de SINERGIA

y una serie de informes sobre el desempeño del go-

bierno se encuentran disponibles para el público desde

la página web del DNP (www.dnp.gov.co). La habilidad

de los ciudadanos en general para utilizar esta informa-

ción no es clara, sin embargo, las instituciones educati-

vas y algunas ONGs tienen el potencial para utilizar dicha

información.

14. El cuestionario se encuentra disponible en:

http://sinergia.dnp.gov.co/sinergia/opi

15. Se espera publicar los resultados de esta en-

cuesta a inicios del 2007.

16. La DEPP ha apoyado una serie de 20 programas

radiales sobre los resultados de las políticas sociales

del gobierno, y sobre las formas en que los ciudadanos

pueden solicitar apoyo al gobierno. Los programas ra-

diales han sido transmitidos a través de 80 estaciones

radiales comunitarias en todo el país.

N OTA S

1 5 9

17. http://www.bogotacomovamos.org/bogotacv/

scripts/index.php

18. Sin embargo, parece ser que el Ministerio de

Hacienda aplica un considerable poder discrecional en

la liberación de los fondos para gastos autorizados. En

la medida que esto ocurra, aumenta la flexibilidad del

presupuesto a corto plazo.

19. Un enfoque similar al establecimiento de metas

de desempeño son los “acuerdos de eficacia” que deben

ser decididos dentro del contexto de los “Planes Indi-

cativos” que los ministerios y agencias tienen que acor-

dar con el DNP y el Ministerio de Hacienda. Ver CONPES,

1999. No queda claro si es que existen consecuencias

en caso las entidades no logren cumplir sus metas.

20. El método casemix es una forma de clasificar

pacientes del hospital según la manera de sus diagnós-

ticos y el nivel del servicio de salud que es requerido. El

financiamiento proporcionado para cada hospital son ba-

sados en los números de categoría del paciente que re-

cibe tratamiento, y el costo promedio de obtener el

nivel de tratamiento correspondiente. Los costos pro-

medios son basados en el sistema de salud como un todo.

21. El trabajo de evaluación de la DDTS parece con-

sistir en evaluaciones del desempeño municipal basa-

das en la información recolectada sobre el desempeño.

22. Una forma en que el SyE a nivel municipal se ha

desarrollado en otros países es publicando compara-

ciones de referencia de la cantidad y calidad de la pro-

visión territorial de servicios. Esto permite identificar a

los gobiernos con relativamente alto y bajo desempeño.

23. Medium-term expenditure framework.

24. Esta discusión se enfoca en una estructura del pro-

grama basada en los objetivos. Se pueden elaborar es-

tructuras de programas alternativos, como por ejemplo,

basados en el tipo de actividad (por ejemplo, hospitales)

o en grupos objetivo (por ejemplo, adultos mayores).

25. La DEPP ha estimado que la agenda de evalua-

ción de SINERGIA cubre alrededor del 24 por ciento del

presupuesto de inversión. Esta figura relaciona con las

actividades del gobierno que ha sido sujeto de algunas

clases de evaluaciones debajo de SINERGIA. Induda-

blemente, este estadístico no debería ser interpretado

para sugerir que una mayor evaluación de estas activi-

dades no son garantizados: raramente, si acaso, una eva-

luación de impacto costosa puede evaluar com

prensivamente todos los temas posibles relacionas con

la implementación de un programa, productos, entrega

de servicios, eficacia de la focalización, efectos directos

e impactos, incluyendo la cobertura geográfica total

del programa. De esa manera, la mayoría de evaluacio-

nes aborda sólo un parte de estos temas. Por otra parte,

aún en actividades buenas establecidas del gobierno re-

quiere evaluación periódica y repetida.

26. Existen muchas barreras para lograr la utilización

de los hallazgos de las evaluaciones. Para que ellos se uti-

licen se debe lograr ciertas características del lado de la

oferta, tal como lo oportuno de una evaluación y su

credibilidad. Además el lado de la demanda es clave: toma

de conciencia de los hallazgos de evaluación y grado de

preparación para su utilización por analistas políticos, en-

cargados de la toma de decisiones y administradores de

las actividades del gobierno. Ver Banco Mundial, In-

fluential Evaluations: Detailed Case Studies (Evalua-

ciones Influyentes: Estudios de casos detallados), 2005.

27. El Banco Mundial está proporcionando una do-

nación para el desarrollo institucional, de US$0.29m, para

ayudar a que el DANE mejore sus encuestas de hogares.

28. Comisión Intersectorial de Políticas y Gestión de

Información para la Administración Pública.

29. Bamberger (2006) discute algunas opciones téc-

nicas.

30. Estas dos conferencias realizadas en el 2004 y en

el 2006 atrajeron alrededor de 800 participantes cada

una, un número extraordinariamente alto que indica la

importancia dada al seguimiento y evaluación del de-

sempeño del gobierno.

Anexo D1. La historia de la participación del GEI en la crea-

ción de sistemas de SyE gubernamentales lo presenta

Mackay (2003).

2. El personal donante generalmente argumenta que

por esta razón ellos no deberían ser considerados res-

ponsables por los efectos directos e impactos de sus es-

fuerzos, sino que sólo sería razonable hacerlos

responsables de sus propias actividades y productos. Sin

embargo, este argumento no tiene sustento. Aunque el

personal donante típicamente no tiene un control di-

recto sobre los efectos directos e impactos de su trabajo,

de todas maneras realizan alguna contribución a estos re-

sultados, y siempre es posible formarse una opinión vá-

lida sobre su contribución a dichos resultados. Esas

opiniones pueden generarse de sus colegas -otros miem-

bros del equipo de donantes que trabajen en el mismo

país y sus contrapartes del gobierno- y posiblemente de

la sociedad civil. (Una analogía sería si los administrado-

res prepararan un informe evaluador o una evaluación de

trabajo de todo su equipo).

1 6 0


3. Esta metodología identifica cuatro niveles de eva-

luación de capacitación: reacciones de los participan-

tes y opiniones sobre la capacitación; grado de

aprendizaje del participante (medido, por ejemplo, por

una prueba antes y después de la capacitación); cam-

bios en el comportamiento de los participantes (es

decir, cambios en su desempeño en el trabajo); y los re-

sultados dentro de la organización donde trabajan los

participantes (es decir, qué diferencias hay en el de-

sempeño de la organización gracias a la capacitación que

recibieron sus empleados).

4. Por ejemplo, Buchanan (2004) ha llevado a cabo una

evaluación en cuatro niveles del Programa Internacional

de Capacitación en Evaluación del Desarrollo del GEI.

N OTA S

1 6 1

1 6 3

Adrien, Marie-Hélène. 2003. Guide to Conducting Re-

views of Organizations Supplying M&E Training. No.

9 of Evaluation Capacity Development Working

Paper Series. Washington, DC: Banco Mundial.

http://www.worldbank.org/ieg/ecd/.

———. 2001. “Assessment of Ghanaian Organizations

Involved in the Delivery of Monitoring and Evalua-

tion Training.” Report prepared for Independent

Evaluation Group. Banco Mundial, Washington, DC.


African Development Bank and World Bank. 1998. Eva-

luation Capacity Development in Africa. Washing-

ton, DC: Banco Mundial. http://www.worldbank

.org/ieg/ecd/

Australian National Audit Office. 2001. Performance

Information in Portfolio Budget Statements (Re-

port No. 18, 2001–02). Canberra: AGPS.

———. 1997. Program Evaluation in the Australian

Public Service (Report No. 3, 1997–98). Canberra:

AGPS.

Bamberger, Michael. 2006. Realización de Evaluacio-

nes de Impacto de Calidad con Limitaciones de Pre-

supuesto, Tiempo e Información. Washington, DC:

Banco Mundial.

Bamberger, Michael, Keith Mackay, y Elaine Ooi. 2005.

Influential Evaluations: Detailed Case Studies. Was-

hington, DC: Banco Mundial.

———. 2004. Evaluaciones Influyentes: Evaluacio-

nes que Mejoraron el Desempeño y los Efectos de

los Programas de Desarrollo. Washington, DC:

Banco Mundial.

Barberie, Alain. 1998. Indonesia’s National Evalua-

tion System. No. 3 of Evaluation Capacity Deve-

lopment Working Paper Series. Washington, DC:

Banco Mundial.

Barrett, Pat. 2001. “Evaluation and Performance Audi-

ting: Sharing the Common Ground. A Review of De-

velopments.” Address to the Australasian Evaluation

Society, Canberra, 10 October. http://www.anao.gov

.au/uploads/documents/Evaluation_and_Perfor

mance_Auditing_Sharing_the_Common_Ground.pdf.

Beck, Thorsten, Asli Demirguc-Kunt, y Ross Levine.

2002. Law and Finance: Why Does Legal Origin

Matter? (Paper No. 9379). Cambridge, UK: National

Bureau of Economic Research.

Bedi, Tara, Aline Coudouel, Marcus Cox, Markus Golds-

tein, y Nigel Thornton. 2006. Beyond the Numbers:

Understanding the Institutions for Monitoring Pov-

erty Reduction Strategies. Washington, DC: Banco

Mundial.

Blondal, Jon R., y Teresa Curristine. 2004. “Budgeting in

Chile.” OECD Journal on Budgeting 4 (2): 7–45.

Booth, David, y Henry Lucas. 2001a. Desk Study of Good

Practice in the Development of PRSP Indicators and

Monitoring Systems: Initial Review of PRSP Docu-

mentation. London: Overseas Development Institute.

———. 2001b. Desk Study of Good Practice in the De-

velopment of PRSP Indicators and Monitoring Sys-

tems: Final Report. London: Overseas Development

Institute.

Boston Review. 2006. “Making Aid Work.” http://

bostonreview.net/BR31.4/contents.html

Boyle, Richard. 2005. Evaluation Capacity Develop-

ment in the Republic of Ireland. No. 14 of Evalua-

tion Capacity Development Working Paper Series.

Washington, DC: Banco Mundial.

Brushett, Stephen. 1998. Evaluation Capacity Devel-

opment in Zimbabwe: Issues and Opportunities.

No. 2 of Evaluation Capacity Development Working


Buchanan, Heather. 2004. “Evaluation of the Interna-

tional Progam for Development Evaluation Training.”

Consultant report prepared for Independent Eval-

uation Group and Carleton University, World Bank,

Washington, DC. http://www.ipdet.org/IPDET2004

%20Evaluation%20Report.pdf.

Castro, Manuel Fernando. 2006a. “Colombia’s National

System for Evaluating Management and Results.”

BIBLIOGRAFÍA

Towards the Institutionalization of Monitoring and

Evaluation Systems in Latin America and the Ca-

ribbean: Proceedings of a World Bank/Inter-

American Development Bank Conference, ed.

Ernesto May, David Shand, Keith Mackay, Fernando

Rojas, and Jaime Saaverdra, 29–35. Washington, DC:

Banco Mundial.

———. 2006b. ”Performance-based management of

country planning and budgeting: The case of Co-

lombia.” Presentation at the International Confe-

rence on Monitoring and Evaluation of Country

Planning and Politics, Beijing, October 2006.

Compton, Donald W., Michael Baizerman, y Stacey H.

Stockdill, eds. 2002. The Art, Craft, and Science of

Evaluation Capacity Building. San Francisco: Jos-

sey-Bass.

CONPES (Consejo Nacional de Política Económica y

Social). 2004. “Renovación de la administración:

Gestión por resultados y reforma del sistema nacional

de evaluación.” CONPES 3294.

———. 2002. “Evaluación de impacto de programas so-

ciales.” CONPES 3188.

———. 1999. “Acuerdos de eficiencia: Estrategia de

evaluación del plan nacional de desarrollo ‘Cambio

para Construir la Paz.’” CONPES 3048.

Cook, Thomas D. 2006. “Describing What Is Special

about the Role of Experiments in Contemporary

Educational Research: Putting the ‘Gold Standard’

Rhetoric into Perspective.” Journal of MultiDisci-

plinary Evaluation 6 (November): 1–7.

Curristine, Teresa. 2005. “Performance Information in

the Budget Process: Results of the OECD 2005 Ques-

tionnaire.” OECD Journal on Budgeting 5 (2):

87–131.

DAC (Development Assistance Committee of the Or-

ganisation for Economic Co-operation and Devel-

opment). 2006. The Challenge of Capacity

Development: Working Towards Good Practice.

Paris: OECD.

———. 2002. Glosario de los Principales Términos

sobre Evaluación y Gestión basada en Resultados.

Paris: OECD. http://www.oecd.org/dataoecd/29/

21/2754804.pdf

DAC Network on Development Evaluation. 2006. Fact-

Finding Survey on Evaluation Capacity Develop-

ment (ECD) in Partner Countries. Paris: OEDC.

Davidson, E. Jane. 2006. “The RCTs-Only Doctrine:

Brakes on the Acquisition of Knowledge?” Journal

of MultiDisciplinary Evaluation 6 (November): ii–v.

Department of National Planning. 2005. “Strategic Plan

for Strengthening and Consolidating Information

and Performance-Based Monitoring and Evaluation

2005–2010.” Discussion paper, Department of Na-

tional Planning, Bogotá.

Departmento Nacional de Planeacion y Alta Conserje-

ría Presidencial. 2005. Presupuesto de inversión por

resultados 2006. Bogotá: Government of Colombia.

Development Bank of Southern Africa, African Devel-

opment Bank, y World Bank. 2000. Monitoring and

Evaluation Capacity Development in Africa. Jo-

hannesburg: Development Bank of Southern Africa.


———. 2001. Desarrollo de la Capacidad Africana de

Seguimiento y Evaluación.No. 213 of Précis.Wash-

ington, DC: Banco Mundial. http://lnweb18.world-

bank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256

808006a0046/32fcb6685f664bd685256b9600662416/$

FILE/Precis_213_Spanish.pdf

Fiszbein, Ariel, ed. 2005. Citizens, Politicians and Pro-

viders: The Latin American Experience with Service

Delivery Reform. Washington, DC: Banco Mundial.

GAO (Government Accountability Office). 2004. “Per-

formance Budgeting: OMB’s Program Assessment Ra-

ting Tool Presents Opportunities and Challenges for

Budget and Performance Integration.” Highlights

of GAO-04-439T, testimony before the Subcommit-

tee on Government Efficiency and Financial Mana-

gement, Committee on Government Reform, House

of Representatives. http://www.gao.gov/new.items/

d04439t.pdf.

———. 1987. “Federal Evaluation: Fewer Units, Redu-

ced Resources, Different Studies from 1980.” PEMD-

87-9. Washington, DC: General Accounting Office.

Government of Colombia. 2006. Visión Colombia 2019.

Bogotá: Government of Colombia.

Government of Tanzania. 2001. Poverty Monitoring

Master Plan. Dar es Salaam: Government of Tanzania.

Government of Uganda. 2006. The National Integrated

Monitoring and Evaluation Strategy Framework.

Kampala: Office of the Prime Minister, Government

of Uganda. http://www.nimes.go.ug/index.php?op-

tion=com_frontpage&Itemid=1.

———. 2004. Poverty Eradication Action Plan

(2004/5–2007/8). Kampala: Ministry of Finance, Plan-

ning and Economic Development, Government of

Uganda.

Guerrero, R. Pablo O. 1999. Comparative Insights from

Colombia, China and Indonesia. No. 5 of Evalua-

1 6 4


tion Capacity Development Working Paper Series.


Guzmán, Marcela S. 2007. “Monitoring and Evaluation.”

Presentation to a World Bank-Government of Boli-

via Workshop on Managing for Results, La Paz, Bo-

livia, January 22–23.

———. 2006. “The Chilean Experience.” Towards the

Institutionalization of Monitoring and Evaluation

Systems in Latin America and the Caribbean: Pro-

ceedings of a World Bank/Inter-American Devel-

opment Bank Conference, ed. Ernesto May, David

Shand, Keith Mackay, Fernando Rojas, and Jaime Sa-

averdra, 11–16. Washington, DC: Banco Mundial.

http://www.worldbank.org/ieg/ecd/

———. 2005. Sistema de control de gestión y presu-

puestos por resultados: La experiencia Chilena.

Santiago: Ministry of Finance, Budget Directorate, Go-

vernment of Chile. http://www.dipres.cl/control_ges

tion/publicaciones/Control_Gestion_Presupues

tos_Exp_Chilena_Sept_2005.html

———. 2003. Systems of Management Control and

Results-Based Budgeting: The Chilean Experience.

Santiago: Ministry of Finance, Government of Chile.

Hatry, Harry P. 2006. Performance Measurement: Get-

ting Results, 2nd ed. Washington, DC: The Urban Ins-

titute Press.

Hauge, Arild. 2003. Desarrollo de la Capacidad de Se-

guimiento y Evaluación para Mejorar el Desem-

peño Del Estado en Uganda. No. 10 de Serie de

Documentos de Trabajo sobre Desarrollo de la Ca-

pacidad de Evaluación. Washington, DC: Banco

Mundial. http://lnweb18.worldbank.org/oed/oed-

doclib.nsf/DocUNIDViewForJavaSearch/C240D7C6F1

30078A85256F190054A0D5/$file/ecd_uganda

_10_spanish.pdf

———. 2001. Fortalecimiento de las Capacidades de

Seguimiento y Evaluación en Uganda: Una Pers-

pectiva de Gestión basada en Resultados. No. 8 de

DCE Serie de Documentos de Trabajo. Washington,

DC: Banco Mundial. http://lnweb18.worldbank.org/

oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808006a0

046/3a28d1cf9d98afe385256d7f00752e58/$FILE/

ecd_uganda_spanish.pdf

Hauge, Arild, Wenkere Kisembo, Med Makumbi, y Omiat

Omongin. 2002. “Effective Implementation of Ugan-

da’s Poverty Eradication Action Plan: The Role of Mo-

nitoring and Evaluation in the Health, Education and

Water Sectors.” Paper prepared for the Ministry of Fi-

nance, Planning and Economic Development, Kampala.

Hentschel, Jesko. 2004. “Using Rapid City Surveys to In-

form Municipal Social Policy—An Application in Cali,

Colombia.” World Bank Policy Research Working

Paper No. 3369, Banco Mundial, Washington, DC.

Hernandez, Gonzalo. 2007. “The Monitoring and Eva-

luation System in Mexico: 2007.0 Version.” Presen-

tation at World Bank, Washington, DC, March 12.

———. 2006. “M&E of Social Programs in Mexico.” To-

wards the Institutionalization of Monitoring and

Evaluation Systems in Latin America and the Ca-

ribbean: Proceedings of a World Bank/Inter-

American Development Bank Conference, ed.

Ernesto May, David Shand, Keith Mackay, Fernando

Rojas, and Jaime Saaverdra, 47–52. Washington, DC:

Banco Mundial. http://www.worldbank.org/ieg/

ecd/docs/proceedings_la_eng.pdf.

High Level Forum on Harmonisation, Alignment, Results.

2005. Paris Declaration on Aid Effectiveness: Own-

ership, Harmonisation, Alignment, Results and Mu-

tual Accountability. Paris: High Level Forum on

Harmonisation, Alignment, Results. http://www.oecd

.org/document/18/0,2340,en_2649_3236398_354015

54_1_1_1_1,00.html.

IEG (Independent Evaluation Group). 2006. 2006 An-

nual Report on Operations Evaluation. Washington,

DC: Banco Mundial.

———. 2004a. Evaluation Capacity Development:

OED Self-Evaluation. Washington, DC: Banco Mun-

dial. http://www.worldbank.org/ieg/ecd/.

———. 2004b. Seguimiento y Evaluación: Instru-

mentos, Métodos y Enfoques, Washington, DC: Banco

Mundial. http://lnweb18.worldbank.org/oed/oed

doclib.nsf/DocUNIDViewForJavaSearch/722775D995F

926AA85256BBF0064F019/$file/ME_Spanish.pdf

———. 2004c. The Poverty Reduction Strategy Initiative:

An Independent Evaluation of the World Bank’s Sup-

port through 2003. Washington, DC: Banco Mundial.

———. 2003a. Toward Country-Led Development: A

Multi-Partner Evaluation of the Comprehensive

Development Framework. Washington, DC: Banco

Mundial.

———. 2003b. World Bank Operations Evaluation

Department: The First 30 Years. Washington, DC:

Banco Mundial.

———. 2002. Annual Report on Evaluation Capacity

Development. Washington, DC: Banco Mundial.


———. 2002. El Desarrollo de la Capacidad de Eva-

luation: Una prioridad cada vez Más Importante.

B I B L I O G R A F Í A

1 6 5

No. 229 of Précis. Washington, DC: Banco Mundial.

http://lnweb18.worldbank.org/oed/oeddoclib.nsf/

DocUNIDViewForJavaSearch/507B4E5117817840852

56CA700770FAA/$file/Precis_229_Spanish.pdf

Joyce, Philip G. 2004. Linking Performance and Bud-

geting: Opportunities in the Federal Budget Pro-

cess. Washington, DC: IBM Center for The Business

of Government. http://www.businessofgovern

ment.com/pdfs/Joyce_Report.pdf.

Kim, Dong Yeon, William Dorotinsky, Feridoun Sarraf,

y Allen Schick. 2006. “Paths toward Successful In-

troduction of Program Budgeting in Korea.” From

Line-Item to Program Budgeting: Global Lessons

and the Korean Case, ed. John M. Kim, 23–134.

Seoul: Korea Institute of Public Finance and World

Bank. http://www1.worldbank.org/publicsector/

pe/bookprogrambudget.pdf.

Kirkpatrick, Donald L., y James D. Kirkpatrick. 2006. Eval-

uating Training Programs: The Four Levels, 3rd ed.

San Francisco: Berrett-Koehler Publishers.

Kiryegyera, Ben, Augustus Nuwagaba, y Eric A. Ochen.

2005. ”Results-Based Monitoring and Evaluation Plan

for the Poverty Eradication Action Plan.” Unpub-

lished Report Prepared for the Office of the Prime

Minister, Uganda, Kampala.

Lahey, Robert. 2005. “A Comparative Analysis of Moni-

toring and Evaluation in Four Selected Countries:

Canada, United States, Australia and United King-

dom.” Unpublished manuscript.

Mackay, Keith. 2004. Two Generations of Performance

Evaluation and Management Systems in Australia.

No. 11 of Evaluation Capacity Development Work-

ing Paper Series. Washington, DC: Banco Mundial.

———. 2003. “Evaluation Capacity Development.”

World Bank Operations Evaluation Department:

The First 30 Years, ed. Partick G. Grasso, Sulaiman

Wasty, and Rachel Weaving, 105–114. Washington, DC:

Banco Mundial.

———. 2002. Evaluation Capacity Development (ECD)

and the Poverty Reduction Strategy Initiative: Emerg-

ing Opporunities. Proceedings of the AfrEA 2002

Conference. Nairobi: African Evaluation Association.

———. 1999. Fortalecimiento de la Capacidad de

Evaluación: Guía para el Diagnóstico y Marco

para la Acción. Documento No. 6 de la Serie de Do-

cumentos de Trabajo sobre el Fortalecimiento de la

Capacidad de Evaluación . Washington, DC: Banco

Mundial. http://lnweb18.worldbank.org/oed/oed

doclib.nsf/a4dd58e444f7c61185256808006a0008/76bc

ad4c3238f2f2852568cc006efdf2/$FILE/DGsp.pdf

———. 1998a. The Development of Australia’s Eval-

uation System. No. 4 of Evaluation Capacity De-

velopment Working Paper Series. Washington, DC:

Banco Mundial.

———. 1998b. Lessons from National Experience. No.



———. 1998c. Public Sector Performance—The Criti-

cal Role of Evaluation. Washington, DC: Banco

Mundial. http://www.worldbank.org/ieg/ecd/.

Mackay, Keith, y Sulley Gariba, eds. 2000. The Role of Civil

Society in Assessing Public Sector Performance in

Ghana. Washington, DC: Banco Mundial. http://

www.worldbank.org/ieg/ecd/.

Mackay, Keith, Gladys Lopez-Acevedo, Fernando Rojas,

Aline Coudouel, y otros. 2007. Diagnostico del Sis-

tema Nacional de SyE de Colombia: SINERGIA. No.

17 de Desarrollo de la Capacidad de Evaluacion

Serie de Documentos de Trabajo. Washington, DC:

Banco Mundial. http://www.worldbank.org/ieg/ecd/

docs/Sinergia_esp.pdf

May, Ernesto, David Shand, Keith Mackay, Fernando

Rojas, y Jaime Saavedra, eds. 2006. Hacia la Insti-

tucionalización de los Sistemas de Monitoreo y

Evaluación en America Latina y el Caribe: Actas

de una Conferencia del Banco Mundial/Banco In-

teramericano de Desarrollo. Washington, DC: Banco

Mundial. http://www.worldbank.org/ieg/ecd/docs/

proceedings_la_sp.pdf

Mayne, John, y Peter Wilkins. 2005. “Believe It or Not:

The Emergence of Performance Information Audi-

ting.” Quality Matters: Seeking Confidence in Eval-

uating, Auditing, and Performance Reporting, ed.

Robert Schwartz and John Mayne, 237–260. Edison,

NJ: Transaction Publishers.

OECD (Organisation for Economic Co-operation and De-

velopment). 2005. Modernizing Government: The

Way Forward. Paris: OECD.

———. 2004. “Public Sector Modernisation: Governing

for Performance.” OECD Policy Brief, OECD, Paris.

———. 2002. “Public Sector Modernisation: A New

Agenda.” GOV/PUMA(2002), 2, OECD, Paris.

———. 1998a. “Best Practice Guidelines for Evalua-

tion.” PUMA Policy Brief No. 5, OECD, Paris.

———. 1998b. Public Management Reform and Eco-

nomic and Social Development. Paris: OECD.

1 6 6


———. 1997a. In Search of Results: Performance Man-

agement Practices. Paris: OECD.

———. 1997b. Issues and Development in Public Man-

agement: Survey 1996–1997. Paris: OECD.

———. 1997c. Promoting the Use of Programme Eval-

uation. Paris: OECD.

———. 1995. Governance in Transition: Public Man-

agement Reforms in OECD Countries. Paris: OECD.

OECD y Banco Mundial. Buenas Prácticas Reciente-

mente Identificadas de Gestión Para Resultados de

Desarrollo. Primera Edición. Paris: OCDE. http://

www.mfdr.org/Sourcebook/Versions/MfDRSource

bookSpanish.pdf

Office of the Auditor-General of Canada. 2003. “Rating

Department Performance Reports.” 2003 Status Re-

port. Office of the Auditor-General, Ottawa.

http:/ /www.oag-bvg.gc.ca/domino/reports

.nsf/html/20030501ce.html.

OMB (Office of Management and Budget). 2003. Per-

formance Measurement Challenges and Strategies.

Washington, DC: OMB. http://www.whitehouse.gov/

omb/part/index.html.

Ospina Bozzi, Sonia, y Doris Ochoa. 2003. “El sistema

nacional de evaluación de resultados de la gestión

pública (SINERGIA) de Colombia.” Evaluación de

resultados para una gestión pública moderna y de-

mocrática: Experiencias Latinoamericanas, ed.

Nuria Cunill Grau and Sonia Ospina Bozzi. Caracas:

CLAD.

Patton, Michael Quinn. 1997. Utilization-Focused Eval-

uation: The New Century Text, 3rd ed. Thousand

Oaks, CA: Sage Publications.

Perrin, Burt, y Keith Mackay. 1999. What Makes for Suc-

cessful Conferences? Lessons Learned from an Eval-

uation of Six Conferences Sponsored by the World

Bank Institute. Washington, DC: Instituto del Banco

Mundial.

Ravindra, Adikeshavalu. 2004. An Assessment of the Im-

pact of Bangalore Citizen Report Cards on the Per-

formance of Public Agencies. No. 12 of Evaluation

Capacity Development Working Paper Series. Wash-

ington, DC: Banco Mundial.

Roberts, John. 2003. Managing Public Expenditure for

Development Results and Poverty Reduction. No.

203, Overseas Development Institute Working Papers

Series. London: Overseas Development Institute.

http://www.odi.org.uk/Publications/working_papers/

wp203.pdf.

Rojas, Fernando, Keith Mackay, Yasuhiko Matsuda,

Geoffrey Shepherd, Azul del Villar, Ariel Zaltsman, y

Philipp Krause. 2005. Chile: Análisis del Programa

de Evaluación del Gasto Público. Washington, DC:

Banco Mundial. http://www.worldbank.org/ieg/ecd/

docs/Chilefinal.pdf.

Sánchez, María Fernanda. Undated. “Evaluation of Chan-

ges in the Quality of Life in Bogotá, Colombia, from

a Civil Society Perspective—Bogotá Cómo Vamos.”

Unpublished paper.

Sandoli, Robert L. 2005. “Budgeting for Performance in

the United States Using the Program Assessment

Rating Tool (PART).” Presented at a World Bank-

Korea Development Institute conference, “Improving

the Public Expenditure Management System,” De-

cember 8.

Schacter, Mark. 2000. Sub-Saharan Africa: Lessons from

Experience in Supporting Sound Governance. No.



Schiavo-Campo, Salvatore. 2005. Building Country Ca-

pacity for Monitoring and Evaluation in the Public

Sector: Selected Lessons of International Experience.

No. 13 of Evaluation Capacity Development Work-

ing Paper Series. Washington, DC: Banco Mundial.

Schick, Allen. 2001. “Getting Performance Measures to

Measure Up.” Quicker, Better, Cheaper? Managing

Performance in American Government, ed. Dall

Forsythe. Ithaca, NY: Rockefeller Institute Press.

Scriven, Michael. 2006. “Converting Perspective to Prac-

tice.” Journal of MultiDisciplinary Evaluation 6

(November): 8–9.

Shand, David. Forthcoming. “Performance Auditing and

Performance Budgeting.” Performance Budgeting:

Linking Funding and Results, ed. Marc Robinson. Ba-

singstoke, Hampshire: Palgrave Macmillan.

———. 2006. “Institutionalizing Monitoring and

Evaluation—Issues and Experience in OECD Coun-

tries and in Latin America.” Towards Institutionali-

zing Monitoring and Evaluation Systems in Latin

America and the Caribbean: Proceedings of a World

Bank/Inter-American Development Bank Confer-

ence, ed. Ernesto May, David Shand, Keith Mackay,

Fernando Rojas, and Jaime Saaverdra, 57–66. Wash-

ington, DC: Banco Mundial. http://www.world

bank.org/ieg/ecd/.

Social Impact. 2006. Monitoring, Evaluation and

Learning for Fragile States and Peacebuilding Pro-


1 6 7

grams: Practical Tools for Improving Program Per-

formance and Results. Arlington, VA: Social Impact.

Ssentongo, Peter. 2004. “The National Integrated Mon-

itoring and Evaluation Strategy.” Presentation to the

2004 Conference of the African Evaluation Associa-

tion, Cape Town.

Steering Committee for the Review of Government Ser-

vice Provision. 2007. Report on Government Services

2007. Canberra: Productivity Commission. http://

www.pc.gov.au/gsp/reports/rogs/2007/index.html.

Stout, Susan. 2001. “Tanzania: Rapid Assessment of

Monitoring and Evaluation in the Health Sector.”

Draft report, Banco Mundial, Washington, DC.

Toulemonde, Jacques. “Incentives, Constraints and

Culture-Building as Instruments for the Develop-

ment of Evaluation Demand”. Building Effective

Evaluation Capacity: Lessons from Practice, ed.

Richard Boyle y Donald Lemaire, 153–174. New

Brunswick, NJ: Transaction Publishers.

Uhr, John, y Keith Mackay. 1996. Evaluating Policy Ad-

vice: Learning from Commonwealth Experience.

Canberra: Federalism Research Centre (Australian Na-

tional University) and the Department of Finance.

UNDP (United Nations Development Programme).

2000. Evaluation Capacity Development in Asia.

New York: UNDP. http://lnweb18.worldbank.org/oed/

oeddoclib.nsf/DocUNIDViewForJavaSearch/C273DB

BB7BC5898085256B1B005494A8/$file/ecd_china.pdf.

United Kingdom National Audit Office. 2006. “PSA Tar-

gets: Performance Information.” NAO Survey Re-

port, NAO, London. http://www.nao.org.uk/publi

cations/nao_reports/05-06/Acting_on_Information

.pdf.

United Kingdom Treasury. Undated. Outcome Focused

Management in the United Kingdom. London: Trea-

sury. http://www.hm-treasury.gov.uk/documents/

public_spending_and_services/publicservice_

performance/pss_perf_index.cfm.

Vedung, Evert. 1991. Utvärdering i politik och förvalt-

ning. Lund: Studentlitteratur. (Translation: 1997.

Public Policy and Program Evaluation. New Bruns-

wick, NJ: Transactions Publishers).

White, Howard. 2006a. Impact Evaluation—The Ex-

perience of the Independent Evaluation Group of

the World Bank. Washington, DC: Banco Mundial.

———. 2006b. “Technical Rigor Must Not Take Prece-

dence over Other Kinds of Valuable Lessons.” Bos-

ton Review, July/August. http://bostonreview.net/

BR31.4/white.html.

Wholey, Joseph S. 2006. “Quality Control: Assessing the

Accuracy and Usefulness of Performance Measure-

ment Systems.” Performance Measurement: Get-

ting Results, 2nd ed., ed. Harry P. Hatry. Washington,

DC: The Urban Institute Press.

Wholey, Joseph S., Harry P. Hatry, y Kathryn E. Newco-

mer. 2004. Handbook of Practical Program Eval-

uation, 2nd ed. San Francisco: Jossey-Bass.

World Bank. 2007. “Colombia: Monitoring, Evaluation

and Information Project.” Project Appraisal Docu-

ment, Banco Mundial, Washington, DC.

———. 2006a. “Colombia: Community Works and Em-

ployment Project.” Implementation Completion Re-

port No. 37294, Banco Mundial, Washington, DC.

———. 2006b. Social Accountability: Strengthening the

Demand Side of Governance and Service Delivery.

Washington, DC: Banco Mundial. http://www-

esd.worldbank.org/sac/contact_welcome/welcome

.html.

———. 2005a. Chile: Análisis del programa de eva-

luación del gasto público. Washington, DC: Banco

Mundial.

———. 2005b. “Colombia: Third Programmatic Fiscal

and Institutional Structural Adjustment Loan Project.”

Project Appraisal Document, Banco Mundial, Wash-

ington, DC.

———. 2005c. “Colombia: Social Safety Net Project.” Pro-

ject Appraisal Document, Banco Mundial, Washing-

ton, DC.

———. 2004a. “Colombia: Proposed Second Pro-

grammatic Labor Reform and Social Structural Ad-

justment Loan Project.” Program Document, Banco

Mundial, Washington, DC.

———. 2004b. “Colombia: Technical Assistance Loan to

Support the Second Programmatic Labor Reform

and Social Structural Adjustment Loan Project.” Pro-

ject Appraisal Document 29332, Banco Mundial,

Washington, DC.

———. 2004c. “Readiness Assessment—Toward

Performance-Based Monitoring and Evaluation in

Mexico: The Case of SEDESOL.” Unpublished paper.

Banco Mundial, Washington, DC.

———. 2004d. The World Bank Annual Report 2004.


———. 2003. World Development Report 2004: Making

Services Work for Poor People. Oxford: Oxford Uni-

versity Press.

———. 1998. Public Expenditure Management Hand-

book. Washington, DC: World Bank. http://site

1 6 8


resources.worldbank.org/INTPEAM/Resources/pem9

8.pdf.

———. 1997a. Colombia: Paving the Way for a Results-

Oriented Public Sector. Washington, DC: Banco

Mundial.

———. 1997b. World Development Report 1997: The

State in a Changing World. New York: Oxford Uni-

versity Press. http://www.worldbank.org/html/extpb/

wdr97/english/wdr97con.htm.

World Bank, African Development Bank, Austria, Ger-

many, The Netherlands, Norway, Sweden, y UK De-

partment for International Development. 2006. Joint

Assistance Strategy for the Republic of Uganda

(2005–2009). http://siteresources.worldbank.org/

INTUGANDA/Resources/UJAS.pdf.

World Bank y International Monetary Fund. 2004. Po-

verty Reduction Strategy Papers—Progress in Imple-

mentation. Washington, DC: World Bank and

International Monetary Fund. http://siteresources.world

bank.org/INTPRS1/Resources/prsp_progress _2004.pdf.

Zaltsman, Ariel. 2006a. Experiencia con la Institucio-

nalización de Sistemas de Monitoreo y Evaluación

en Cinco Países Latinoamericanos: Argentina,

Chile, Colombia, Costa Rica and Uruguay. No. 16

de Desarrollo de la Capacidad de Evaluación Serie

de Documentos de Trabajo. Washington, DC: Banco

Mundial. http://lnweb18.worldbank.org/oed/oed-

doclib.nsf/24cc3bb1f94ae11c85256808006a0046/6428

72e26761c164852572040069370b /$F ILE /

ecd_wp16_spanish.pdf

———. 2006b. “The Monitoring and Evaluation Func-

tion in Colombia.” Unpublished paper, Banco Mun-

dial, Washington, DC.

Sitios de InteresAfrican Evaluation Association (AfrEA): http://www

.afrea.org/

Asian Development Bank Web site on the Asian com-

munity of practice on managing for development re-

sults: http://www.adb.org/MfDR/CoP/about.asp

CLAD (Centro Latinoamericano de Administración Para

el Desarrollo): http://www.clad.org.ve/siare/inno

tend/innotend.html

Citizen’s Report Card (PAC, India): http://www.pacindia

.org/

International Development Evaluation Association

(IDEAS): http://www.ideas-int.org/

International Organisation for Cooperation in Evalua-

tion (IOCE): http://internationalevaluation.com/

index.shtml

Latin American evaluation associations: http://www.pre

val.org/mapa.php?idioma=8

Managing for Development Results initiative:

http://www.mfdr.org/

U.S. PART: http://www.whitehouse.gov/omb/part/

index.html


1 6 9

1. Mackay, Keith. 1998. “Lessons from Experience.”

2. Brushett, Stephen. 1998. “Evaluation Capacity Development in Zimbabwe: Issues and Opportunities.”

3. Barberie, Alain. 1998. “Indonesia’s National Evaluation System.”

4. Mackay, Keith. 1998. “The Development of Australia’s Evaluation System.”

5. Guerrero, R. Pablo O. 1999. “Comparative Insights from Colombia, China and Indonesia.”

6. Mackay, Keith. 1998. “Fortalecimiento de la Capacidad de Evaluación: Guía para el Diagnóstico y Marcopara la Acción.”

7. Schacter, Mark. 2000. ”Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance.”

8. Hauge, Arild. 2001. “Fortalecimiento de la Capacidades de Seguimiento y Evaluación en Uganda: UnaPerspectiva de Gestión basada en los Resultados.”

9. Adrien, Marie-Hélène. 2003. “Guide to Conducting Reviews of Organizations Supplying M&E Training.”

10. Hauge, Arild. 2003. “Desarrollo de la Capacidad de Seguimiento y Evaluación para Mejorar el DesempeñoDel Estado en Uganda.”

11. Mackay, Keith. 2004. “Two Generations of Performance Evaluation and Management System in Australia.”

12. Ravindra, Adikeshavalu. 2004. “An Assessment of the Impact of Bangalore Citizen Report Cards on thePerformance of Public Agencies.”

13. Schiavo-Campo, Salvatore. 2005. “Building Country Capacity for Monitoring and Evaluation in the PublicSector: Selected Lessons of International Experience.”

14. Boyle, Richard. 2005. “Evaluation Capacity Development in the Republic of Ireland.”

15. Mackay, Keith. 2006. “Institucionalización de los Sistemas de Seguimiento y Evaluación para Mejorar laGestión Del Sector Publico.”

16. Zaltsman, Ariel. 2006. “Experiencia con la Institucionalización de Sistemas de Monitoreo y Evaluación enCinco Países Latinoamericanos: Argentina, Chile, Colombia, Costa Rica y Uruguay.”

17. Mackay, Keith, Gladys Lopez-Acevedo, Fernando Rojas, Aline Coudouel, y otros. 2007. “Diagnóstico delSistema Nacianal de SyE de Colombia: SINERGIA.”

Estos reportes del Grupo de Evaluación Independiente (GEI) estan disponibles en linea en el sitiohttp://www.worldbank.org/ieg/ecd.

Serie de Documentos de Trabajo del Grupo GEI Sobre Desarrollo de la Capacidad de Evaluación

Cómo crear sistemas de SyE que contribuyan a un buen gobierno

El seguimiento y la evaluación (SyE) son parte central de los acuerdos para una buena gober-nabilidad y son necesarios para lograr la formulación de políticas basadas en la evidencia, latoma de decisiones presupuestarias, la administración y la rendición de cuentas.

No existe un modelo “perfecto” de lo que debería ser un sistema de SyE. Éste dependemayormente de los diferentes usos potenciales de la información que proporciona;dichos usos constituyen las razones más importantes para desarrollar esta clase desistema.

Es útil comenzar con un análisis de las funciones del SyE que ya existen: sus fortalezasy desafíos en términos de demanda (el uso real de la información) y de oferta (la calidad técnica de la información del seguimiento y los informes de evaluación).

Los análisis también pueden ayudar a crear conciencia y a establecer acuerdos en rela-ción con la prioridad del SyE.

El siguiente paso consiste en desarrollar un plan de acción –la orientación que regirá el sistema de SyE–, el cual debe involucrar a las partes interesadas clave de losministerios centrales y sectoriales, a los donantes, a las universidades, entre otros.

Los elementos clave de un plan de acción son los promotores entusiastas e influyentes; la generación de incentivos poderosos para conducir el SyE y utilizar lainformación; la capacitación en SyE y en el uso de la información que proporciona; los acuerdos estructurales para asegurar la objetividad y calidad del SyE, y además un compromiso de largo plazo para institucionalizarlo.

Existen muchas enseñanzas de países que han desarrollado exitosos sistemas de SyEgubernamentales; sin embargo, hay muchos errores que se pueden evitar. El primerode ellos es la complejidad excesiva en un sistema de SyE que no sólo significa esfuerzoperdido sino que puede llegar a socavarlo.

Otro error es creer que el SyE tiene un valor intrínseco; la información del SyE es valiosa sólo si es ampliamente utilizada.

Es una buena práctica supervisar y evaluar en forma periódica el desarrollo del sistemade SyE y su funcionamiento. Tal vez sea necesario realizar continuas correccionesdurante el camino.

El criterio básico del éxito está en la medida en que la información del SyE se utilizapara mejorar la actuación del gobierno.




BANCO MUNDIAL

BANCO MUNDIAL

BA

NC

OM

UN

DIA

LC

óm

o crear sistem

as de SyE

qu

e con

tribu

yan a u

n b

uen

gob

ierno

Có

mo

crear sistemas d

e SyE q

ue co

ntrib

uyan

a un

bu

en go

biern

o

Keith Mackay

Elogios otorgados al libro Cómo crear sistemas de SyE que contribuyan a un buen gobierno

“Desde hace mucho tiempo, el Grupo de Evaluación Independiente (GEI) del Banco Mundial cuenta conun programa que da apoyo a países en vías de desarrollo para que éstos puedan fortalecer sus sistemasde SyE. Esta experiencia proviene de una amplia diversidad de países y de variados ámbitos del sectorpúblico. Gran parte de esta experiencia ha sido documentada a través de publicaciones del GEI perorecién ahora es finalmente resumida en un solo documento. Este libro será una referencia muy valiosatanto para funcionarios del gobierno como para donantes involucrados con la institucionalización de lossistemas de SyE gubernamentales.”

Ajay ChhibberDirector, GEI-Banco Mundial

”El argumento primordial de este libro se refiere a que la utilización de la información del SyE es una con-dición necesaria para el manejo eficaz del gasto público en la reducción de la pobreza. Dicho de otramanera, el SyE es necesario para que la evidencia sea la base de la implementación de políticas, de laadministración pública, y de la rendición de cuentas. Este libro brinda una valiosa contribución para aque-llos involucrados en la creación de sistemas de SyE los cuales son una buena base para alcanzar unagobernabilidad sólida.”

David ShandEx Consejero de Administración Financiera

El Banco Mundial

“Este es un excelente informe. El contenido es muy sólido y probablemente será muy útil para aquellos paí-ses interesados en desarrollar o mejorar sus sistemas de SyE. Los estudios de casos son muy útiles y muybien elaborados. Este tipo de información difícilmente se encuentra en otro lugar.”

Harry HatryDirector, Programa de Administración Publica

El Instituto Urbano

“El Banco Mundial cada día dedica más recursos para apoyar a los países en vías de desarrollo en susesfuerzos para fortalecer la orientación de sus resultados. Nosotros vemos esto como un camino impor-tante para mejorar la efectividad del desarrollo. Este libro es un compendio del creciente conocimiento delBanco sobre la institucionalición de los sistemas de SyE gubernamentales. Recomiendo este libro a losfuncionarios de gobierno, a nuestras contrapartes en el desarrollo, y al equipo del Banco que trabaja conlos gobiernos en crear capacidad, y así ayudar a los diferentes países a conocer más sobre el tema ylograr resultados en este campo.”

Susan StoutGerente, Secretaría de Resultados

El Banco Mundial

SKU 17191

ISBN 978-0-8213-7191-6


Documents

M&E Cover-Spanish 1/9/08 10:35 AM Page 1 BANCO MUNDIAL ...€¦ · Elogios otorgados al libro Cómo crear sistemas de SyE que contribuyan a un buen gobierno “Desde hace mucho tiempo,