La evaluación de resultados en el sector público …unpan1.un.org/intradoc/groups/public/documents/CLAD/clad0047612.pdf · De acuerdo con los promotores de la NGP, en el marco de

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003

La evaluación de resultados en el sector público argentino: un análisis a la luz del debate sobre la ‘Nueva Gestión Pública’

y de otras experiencias de evaluación en América Latina

Ariel Zaltsman Introducción A partir de la década del ’90, el sector público argentino ha venido adoptando una serie de innovaciones y reformas que, en mayor o menor medida, se apoyan en el uso de la evaluación de resultados como práctica sistemática. Mas allá de los rasgos específicos que la incorporación de la evaluación de resultados presentó en cada caso, la adopción de este tipo de práctica en el sector público argentino tuvo un correlato en los procesos de reforma que encararon otros países latinoamericanos y, con algunos años de antelación, también varios países industrializados. En el ámbito de América Latina, estos procesos de reforma del Estado se han conocido generalmente como “reformas de segunda generación” (Naím, 1995; Oszlak, 1999) mientras que, en un contexto más amplio, la expresión más comúnmente usada para aludir a estas reformas es la de “Nueva Gestión Pública” (NGP) (Hood, 1991; Kettl, 1997; Kettl, 2000).1 Al igual que en el resto de la región, tanto el interés como la incorporación de mecanismos concretos de evaluación constituyen un hecho novedoso en la Argentina, que despierta expectativas frente a la posibilidad de encontrar en ellos una herramienta de enorme potencial para la formulación de políticas y programas, y para la gestión del sector público en general. Sin embargo, el hecho de que estas iniciativas hayan sido impulsadas en el marco de procesos de reforma más amplios, emparentados en buen grado con la NGP, plantea un gran interrogante: ¿En qué medida los instrumentos de evaluación adoptados se han visto afectados, en su diseño e implementación, por los valores y principios típicos de la NGP? Y, en caso que esta impronta haya sido decisiva, ¿qué tanto margen ha dejado para que los mecanismos creados puedan ser puestos al servicio de objetivos y valores considerados, en general, ajenos a la NGP? Estos interrogantes son, de algún modo, reflejo de un debate mucho más amplio, que gira en torno al grado de compatibilidad entre el cuerpo de ideas y consignas más emblemáticas de la NGP y un conjunto de objetivos y valores que, si bien no suelen formar parte de la agenda de aquélla, no son menos importantes. Tal es el caso de los principios democráticos y de equidad social. En este sentido, el espectro de argumentos se extiende desde los que sostienen que, debido a su profundo compromiso con los principios y las prácticas propias del sector privado, las reformas impulsadas por la NGP son potencialmente incompatibles con la aspiración a conducir al Estado en base a principios democráticos (Box y otros, 2001; Behn, 1998 y 2001; DeLeon y Denhardt, 2000) o de justicia social (Olías de Lima Gete, 2002), hasta los que afirman que, dependiendo de cómo se vean implementados, ciertos aspectos de las reformas de la NGP pueden producir efectos positivos tanto para la equidad social (Olías de Lima Gete, 2002) como para el funcionamiento de la democracia representativa (CLAD, 2000; Mora Quirós, 2000; State Services Commission, 1999). En sintonía con esta segunda línea de argumentación, los hallazgos de un estudio reciente del CLAD (Cunill Grau y Ospina Bozzi, 2003) sobre las iniciativas de evaluación de resultados en los sectores 1 Estos procesos de reforma del sector público se conocen también bajo los rótulos de “gerencialismo del sector público” o, en inglés, public sector managerialism (Pollitt, 1993); “reinvención del gobierno” o government reinvention, y “gobierno emprendedor” o entrepreneurial government (Osborne y Gaebler, 1992); y “desregulación del gobierno” o deregulating government (DiIulio, 1996).


2

públicos de Colombia, Costa Rica, Chile y Uruguay sugieren que, si bien en algunos casos la adopción de la evaluación parecería verse principalmente inspirada en los objetivos más típicos de la NGP, en otros la intención de aumentar la participación de la ciudadanía y profundizar la democracia representativa habrían jugado un rol, cuanto menos, igual de importante. Sin embargo, el estudio no reporta indicios de incompatibilidad o conflicto entre la introducción de la evaluación de resultados como herramienta de formulación de políticas, gestión del Estado o responsabilización y la dinámica propia de las instituciones democráticas. El presente trabajo tiene por objeto analizar los principales avances que han tenido lugar en el sector público argentino en el área de la evaluación de resultados a la luz de los hallazgos del estudio del CLAD en otros países de la región y del debate en torno a las limitaciones y las potencialidades posiblemente implícitas en las reformas que impulsa la NGP. Con ese fin, el trabajo retoma varios de los ejes centrales del marco conceptual y teórico planteado en el estudio del CLAD, y los aplica al análisis de material documental y bibliográfico sobre cuatro iniciativas de evaluación que se lanzaron en el sector público argentino entre 1991 y 2001. A los fines del análisis, este material ha sido complementado con información proveniente de entrevistas personales con cuatro profesionales que se encuentran o han estado vinculados con dos de las iniciativas estudiadas, desde distintas posiciones. El trabajo está estructurado en esta introducción y en cinco secciones. En la primera sección analizamos la relación entre la evaluación de resultados y la NGP, y presentamos los principales argumentos en torno a las posibles implicancias de la misma. En la segunda sección sintetizamos los hallazgos más importantes del estudio del CLAD sobre evaluación de resultados en América Latina, y procuramos contextualizarlos dentro del debate sobre las implicancias de las reformas impulsadas por la NGP. En la tercera sección incluimos una caracterización de cuatro de las principales iniciativas de evaluación de resultados en el sector público argentino y, en la cuarta sección del trabajo, analizamos sus rasgos más destacados a la luz de los hallazgos del estudio del CLAD en otros países de la región. Finalmente, en la última sección, retomamos los interrogantes planteado por el debate en torno a las implicancias de la influencia de la NGP tomando como base la caracterización de las cuatro iniciativas de evaluación de resultados del sector público argentino y su comparación con los hallazgos del estudio del CLAD, y proponemos una serie de reflexiones finales. La evaluación de resultados y los procesos de reforma inspirados en la Nueva Gestión Pública A partir de la década del ’90, la evaluación de resultados ha recibido un grado de atención sin precedentes, tanto en la Argentina como en el resto de la región. Esto constituye, de por sí, un hecho auspicioso dado que, a través de la aplicación del rigor y los cánones propios de las ciencias sociales a la formulación de políticas y programas y a la gestión del sector público en general, la evaluación abre las puertas para introducir un cambio cualitativo en las mismas. En efecto, por contraste con la mera opinión o intuición –en la que, a falta de fuentes de información más confiables, suele basarse la toma de decisiones en el sector público– la evaluación se vale de los métodos y criterios de las ciencias sociales con el fin de dotar a sus conclusiones de la mayor precisión y “objetividad” posibles (Weiss, 1998; Rossi, y Freeman, 1993; Chelimsky, 1985; Shalock, 2001). Cabe esperar que, al contar con elementos de juicio mucho más sólidos acerca de la evolución seguida por las políticas y los programas en aplicación, las autoridades políticas y los funcionarios de los distintos niveles del sector público se encuentren en condiciones de introducir mejoras en la formulación de políticas y programas y en la gestión de las múltiples entidades y organizaciones que componen el sector público y que, su vez, las mismas contribuyan a alcanzar los objetivos propuestos


3

con mayor éxito. Sin embargo, el hecho de que, tanto en la Argentina como en otros países de América Latina, la evaluación de resultados haya recibido su mayor impulso en el marco de procesos de reforma del Estado emparentados con la NGP nos lleva a preguntarnos en qué medida los mecanismos de evaluación adoptados se habrán visto condicionados por los valores y los principios más emblemáticos de la NGP. O, para plantearlo en otros términos, ¿qué tanto espacio habrán dejado, en su diseño e implementación, para que los mecanismos concretos que han sido puestos en funcionamiento puedan atender objetivos y principios distintos de los de la NGP? Al hablar de los objetivos y consignas típicas de la NGP, nos estamos refiriendo a un conjunto de ideas y planes de reforma orientados a mejorar la eficiencia, la eficacia y la receptividad del sector público respecto de las expectativas de los usuarios de sus servicios a través de la aplicación de criterios, prácticas y principios característicos de la economía de mercado. El estrecho vínculo entre la NGP y este conjunto de ideas y prácticas tuvo su origen en la intención de romper con la cultura burocrática tradicional del Estado. De acuerdo con los promotores de la NGP, en el marco de una sociedad cada vez más globalizada, conocimiento-intensiva y cambiante, el apego a las formas centralizadas de gestión, y el énfasis en el respeto a las regulaciones y normas por sobre la calidad del desempeño y sus resultados habían hecho de la administración pública tradicional un abordaje inoperante. En tales condiciones, el sector público se veía incapacitado para responder a las expectativas de los ciudadanos con la receptividad y la flexibilidad necesarias (Osborne y Gaebler, 1992; Kettl, 1997; Moore, 1995; Wilson, 1989). De allí que los ideólogos de la NGP se hubieran visto motivados a acudir al sector privado en busca de nuevas respuestas. La solución que creyeron encontrar consistió en replicar tanto como fuera posible dentro del sector público una serie de prácticas que, hasta entonces, sólo habían sido utilizadas en el sector privado. De esta forma, terminaron impulsando un conjunto de reformas destinadas, entre otras cosas, a: (i) enfocar la gestión del sector público en el logro de resultados específicos más que en la administración de insumos o el apego a las reglas; (ii) decentralizar la autoridad, de manera tal de dotar a los gerentes públicos de la autonomía necesaria para asignar los recursos a su cargo de acuerdo con su propio criterio, a cambio de que se hicieran responsables por el cumplimiento de determinadas metas; (iii) visualizar al ciudadano o al usuario de servicios públicos como un “cliente”, con la expectativa de que esto contribuyera a “sacudir la inercia” característica de la burocracia estatal e impusiera en su lugar la soberanía del “usuario-consumidor”; (iv) remplazar mecanismos burocráticos por incentivos económicos y otros instrumentos típicos de la economía de mercado; y (v) impulsar un rol decididamente más activo para los sectores privado y sin fines de lucro en la provisión de servicios públicos que, hasta entonces, habían sido provistos casi en exclusividad por el Estado (Osborne y Gaebler, 1992; Olías de Lima Gete, 2002; Box y otros, 2001; Mawhood, 1997: 135; Moore, 1995; Norman, 2002). Al menos en sus orígenes –en el marco de las primeras experiencias de reforma inspiradas en la NGP, que tuvieron lugar en Nueva Zelanda, Gran Bretaña y Australia– el fuerte vuelco hacia la medición de desempeño y la evaluación de resultados dentro del sector público estuvo íntimamente ligado con este contexto. La expectativa en la que se basó constó fundamentalmente de dos partes (Hyndman y Eden, 2002). Por un lado, se esperaba que la evaluación de resultados funcionara como una herramienta estratégica de gestión que les permitiera a los gerentes públicos monitorear el desempeño de sus organizaciones y, en base a ello, orientar la introducción de mejoras tanto en términos de eficiencia como de eficacia (Kettl, 1997; Moynihan, 2002; U.S. General Accounting Office, 2001). Por otro lado, se esperaba que la evaluación de resultados contribuyera a desplazar el foco central de la responsabilización dentro del Estado desde la rendición de cuentas por el cumplimiento con las regulaciones y normas vigentes, a la rendición de cuentas por el cumplimiento con las metas y el logro de los resultados encomendados (State Services Commission, 1999).


4

Ahora bien, prácticamente desde su inicio, las reformas de la NGP han sido el foco de grandes controversias que, a los efectos de las cuestiones que nos proponemos abordar en este trabajo, resumiremos en las diferencias que median entre dos perspectivas. Por un lado, muchos autores creen encontrar serios motivos de alarma en las reformas de la NGP debido a que, en el marco de un cuerpo de ideas que asigna un rol tan protagónico a principios y prácticas que, hasta hace poco, se consideraban sólo propias del sector privado, temen que los espacios tradicionalmente reservados a los valores asociados con ‘lo público’ desaparezcan o se vean dramáticamente reducidos. Algunos de estos autores sostienen que, al contemplar al ciudadano como si fuera un cliente, la NGP pasa por alto su faceta política y también –parafraseando a Olías de Lima Gete (2002: 5)– “…su capacidad de compromiso con los valores de la sociedad en la que quiere vivir”, e ignora el hecho de que su propia condición de ciudadano lo convierte en parte interesada respecto de todos los servicios provistos por el Estado, y no sólo aquéllos que consuma de manera directa (DeLeon y Denhardt, 2000). Otros autores completan este argumento postulando que la NGP trae aperejado un profundo cambio en el tipo de responsabilización enfatizado dentro de la administración del sector público. Dicho cambio implicaría el desplazamiento de la responsabilización política que caracterizó al paradigma de la administración pública tradicional, para instalar progresivamente en su lugar la responsabilización de tipo administrativo, o gerencial, que propone la NGP (Boyne, y otros, 2002; Glynn y Murphy, 1996). Al hablar de responsabilización política2, estos autores se refieren a las explicaciones que los responsables de formular y ejecutar políticas le deben al electorado por su desempeño en el ejercicio de las funciones que les fueron delegadas, y hacen notar que este tipo de responsabilización ha sido visto como una de las condiciones más fundamentales para el buen funcionamiento de la democracia representativa. De acuerdo con esta lógica, cuando los ciudadanos no se sienten satisfechos con las políticas de sus gobiernos o con el modo en que sus representantes hacen uso de sus funciones, pueden valerse del sistema electoral para reemplazarlos por otro (Behn, 1998; Boyne y otros, 2002; Glynn y Murphy, 1996). En cambio, al hablar de responsabilización administrativa3 aluden a las responsabilidades que les caben a los funcionarios y a los gerentes por el logro de los objetivos que se les encomendó alcanzar en base a los recursos que les fueron asignados (Glynn y Murphy, 1996). Esta línea argumental se enfrenta con una segunda perspectiva en el marco de la cual, sin declararse necesariamente partidarios de la NGP, varios autores cuestionan la supuesta incompatibilidad entre la NGP y los valores democráticos y de equidad. Por ejemplo, sin dejar de reconocer la centralidad que este cuerpo de ideas otorga a valores y prácticas más bien típicas de la economía de mercado, Wise (2002) llama la atención sobre una serie de casos en los Estados Unidos, Suecia y Noruega, en los que la adopción de reformas de NGP se produjo en forma más o menos paralela a la introducción de cambios tendientes a aumentar la participación y la equidad social, en tanto que Olías de Lima Gete (2002: 3) sostiene que, dependiendo de las políticas de modernización a través de las cuales se la ponga en práctica, la NGP puede llegar a producir “mayor ‘valor público’ […], equidad y justicia social”. En este mismo sentido, otros autores han llegado a entrever en el énfasis de la NGP en la responsabilización por el logro de resultados una oportunidad para profundizar la democracia representativa. La expectativa, en este caso, es que al colocar el centro de atención en la obtención de resultados y poner en funcionamiento mecanismos concretos que, como la medición sistemática de desempeño y la evaluación de resultados, les permitan a los ciudadanos y a sus representantes supervisar “más de cerca” el accionar de aquéllos en los que delegaron responsabilidades dentro del sector público (los representantes electos, en el caso de los ciudadanos; los funcionarios públicos, en el caso de las autoridades electas), el sistema de democracia representativa se vea fortalecido (CLAD, 2000; Mora Quirós, 2000; State Services Commission, 1999).

2 En el original, en inglés, political accountability. 3 En el original, en inglés, managerial accountability.


5

Los argumentos expuestos hasta aquí nos sirven para ilustrar la amplitud del espectro de implicancias que podría caber esperar del hecho de que, en los sectores públicos de la Argentina y de muchos otros países de América Latina, la evaluación de resultados haya recibido su mayor impulso en el contexto de procesos de reforma emparentados con la NGP. En las secciones siguientes, nos proponemos emplear este debate como marco para la discusión de los principales hallazgos de un estudio del CLAD sobre evaluación de resultados y gestión pública en cuatro países de la región y, a partir de esta discusión, caracterizar cuatro de las principales iniciativas de evaluación de resultados en el sector público argentino. La evaluación de resultados en América Latina Los hallazgos de un estudio recientemente publicado por el CLAD (Cunill Grau y Ospina Bozzi, 2003) –que se centró en las experiencias de evaluación de resultados y gestión pública de Colombia, Costa Rica, Chile y Uruguay– representan un significativo aporte al debate en torno a las potencialidades y las limitaciones posiblemente implícitas en las reformas que impulsa la NGP (Ospina, Cunill Grau y Zaltsman, 2003). En términos generales el estudio sugiere que, aunque impulsada en el marco de procesos de reforma inspirados en mayor o menor medida en la NGP, la introducción de la evaluación de resultados como práctica sistemática en el sector público no sólo no ha planteado conflictos con la dinámica democrática del Estado sino que, en dos de los cuatro casos analizados, ha sido incluso fundamentada en la intención de aumentar la participación de la ciudadanía y profundizar la democracia representativa (Cunill Grau y Ospina Bozzi, 2003b). En efecto, uno de los hallazgos más reveladores del estudio del CLAD ha sido que, si bien en los cuatro casos analizados, la introducción de la evaluación de resultados se fundamentó –como resulta típico en los procesos de reforma inspirados en la NGP– en la necesidad de aumentar la eficiencia y la eficacia de la gestión pública y de posibilitar una mejor responsabilización dentro del sector público, estos dos objetivos generales fueron abordados con dos enfoques distintos. Por un lado, en Chile y en Uruguay, la adopción de la evaluación de resultados se habría ceñido a lo que Cunill Grau y Ospina Bozzi (2003b) caracterizaron como el “modelo presupuesto” – un enfoque en el marco del cual, la prioridad habría estado puesta en apoyar la planificación estratégica y la toma de decisiones en las distintas organizaciones públicas, y en sentar bases más sólidas para la responsabilización de tipo administrativo dentro del Estado. Otro rasgo característico, en el que de hecho se vio inspirada la denominación de este modelo, es que la mayoría de los mecanismos de evaluación de estos dos países se estructuró en torno al proceso presupuestario, a los fines de alimentarlo con información considerada clave para orientar la asignación de los recursos del fisco (Armijo, 2003; Freijido, 2003; Cunill Grau y Ospina Bozzi, 2003b). Por otro lado, y en contraste con este primer modelo, en Colombia y Costa Rica la evaluación de resultados habría sido incorporada de acuerdo con lo que Cunill Grau y Ospina Bozzi denominaron el “modelo plan” – un enfoque que combina la búsqueda de mejoras en el proceso de formulación de políticas y en la gestión del sector público con el objetivo declarado de aumentar el protagonismo de la ciudadanía en el control y la fiscalización del gobierno y potenciar, por esa vía, el carácter democrático del Estado. En este caso, la denominación del modelo alude al papel central jugado por el plan nacional de desarrollo de cada uno de estos dos países en el funcionamiento de sus respectivos sistemas de evaluación (Mora Quirós, 2003; Ospina Bozzi y Ochoa, 2003; Cunill Grau y Ospina Bozzi, 2003b). Antes de concentrarnos en los principales contrastes entre los dos modelos, resulta interesante reparar en tres aspectos respecto de los cuales no se encontraron diferencias que parezcan responder a la


6

distinción entre uno y otro enfoque. El primero de estos aspectos se relaciona con el modo en que la función de evaluación quedó organizada en uno y otro caso. En Colombia, en Costa Rica y en Uruguay, la misma ha sido implementada bajo la forma de un sistema nacional de evaluación de la gestión pública, mientras que en Chile, los distintos mecanismos de evaluación que se crearon no guardan articulación formal entre sí y, por lo tanto, no constituyen un sistema, en el estricto sentido del término. Así todo, en los últimos años, el sector público chileno ha sido testigo de importantes avances en la integración de la información generada por sus distintos instrumentos de evaluación institucional, la que está teniendo lugar a través de los así llamados “Balances de Gestión Integral”.4 Un segundo aspecto importante que no parece plantear diferencias ligadas con el modelo adoptado se vincula con los tipos de abordaje de evaluación empleados. Lo que se observa como práctica más común y extendida es la medición periódica de desempeño, pero en dos de los cuatro países –Colombia y Chile– las mismas se combinan con la realización de evaluaciones en profundidad de programas seleccionados.5 Por último, el tercer aspecto en términos del cual no se encontraron diferencias notorias es el relativo a los sectores de política pública a los que se decidió aplicar la evaluación de resultados. En este sentido, el espectro de áreas de acción del Estado abarcadas es muy amplio, e incluye sectores tan variados como los de Educación, Salud, Vivienda, Empleo, Medio Ambiente, y Seguridad y Defensa.6 Esto último lleva a pensar que, aun en los casos en los que la evaluación de resultados no fue concebida como una herramienta para la profundización de la democracia –es decir, en los países del “modelo presupuesto”– la misma está siendo aplicada a los fines de mejorar la gestión y la responsabilización en áreas de política que suelen tener por principales beneficiarios a los sectores de menores ingresos, como son las de empleo y educación. Siguiendo esta lógica de razonamiento, de tener éxito en su cometido, el uso de la evaluación en estas áreas podría también contribuir a mejorar la equidad distributiva. Más allá de las semejanzas entre los dos modelos, las diferencias de énfasis y prioridades que median entre ellos se han visto reflejadas en varios de los rasgos más decisivos del diseño y el emplazamiento institucional de sus respectivos mecanismos de evaluación. Entre estos varios rasgos, a los efectos de este análisis, nos concentraremos en cuatro. El primero de estos aspectos es la ubicación que se les ha dado a las iniciativas de evaluación analizadas dentro de la estructura institucional del Estado. En el caso de los países del “modelo presupuesto”, prácticamente todas las iniciativas de evaluación7 han sido puestas bajo la órbita de la división gubernamental responsable de la programación presupuestaria (Armijo, 2003; Freijido, 2003; Cunill Grau y Ospina Bozzi, 2003b), mientras que en los países del “modelo plan”, los sistemas de evaluación dependen del Ministerio encargado de la planificación (Mora Quirós, 2003; Ospina Bozzi y Ochoa, 2003; Cunill Grau y Ospina Bozzi, 2003b). 4 Ver Armijo (2003). 5 La diferencia principal entre la medición de desempeño y la evaluación de programas es que la medición de desempeño se limita a determinar el grado en que el objeto de evaluación cumple con sus objetivos o con pautas pre-establecidas pero, por sí sola, no brinda elementos suficientes para establecer las causas que derivaron en el desempeño observado ni proporciona las claves necesarias para mejorarlo. En cambio, a través del abordaje profundo y pormenorizado que generalmente la caracteriza, la evaluación de programas apunta no sólo a determinar si el objeto de análisis funciona de la manera esperada sino, además, a identificar las causas por las que ello sucede y, de ser necesario, a proponer un curso de acción para producir mejoras. La medición de desempeño se considera una parte constitutiva de la evaluación de programas (Wholey y Newcomer, 1997; Newcomer, 1997). 6 Ver: http://www.dipres.cl/index.asp, http://www.dnp.gov.co, http://www.mideplan.go.cr/sine/index/html, y http://www.cepre.opp.gub.uy. 7 Esto incluye al sistema de evaluación de la gestión pública de Uruguay, y a seis de los ocho mecanismos de evaluación caracterizados por Armijo (2003) en su estudio.


7

Un segundo aspecto en el que esto se ha visto reflejado es en los niveles del accionar gubernamental8 en los que se han centrado los esfuerzos de evaluación en uno y otro modelo. En este sentido, lo que más se destaca es el fuerte énfasis del “modelo presupuesto” en la evaluación de resultados a nivel de las entidades públicas, y el empeño del “modelo plan” por evaluar resultados tanto a nivel de las entidades como a nivel de sector de política pública (educación, salud, vivienda, etc.), lo que en ambos casos parecería guardar coherencia con las prioridades manifiestas de uno y otro modelo. En el caso del “modelo presupuesto”, se trata de brindar apoyatura a la gestión estratégica de las entidades públicas y de posibilitar la responsabilización administrativa de las autoridades ejecutivas de cada entidad frente a las autoridades políticas y, dentro de cada entidad, de los gerentes subalternos frente a los de nivel más alto. En cambio, en el “modelo plan”, el énfasis en la gestión estratégica de las entidades públicas y la responsabilización administrativa estaría acompañado por un empeño al menos igual de importante en posibilitar la rendición de cuentas de los autoridades electas de cara a la ciudadanía (Cunill Grau y Ospina Bozzi, 2003b). La tercera diferencia significativa que nos interesa destacar aquí es que, si bien en los cuatro países ha existido la intención de vincular los resultados de la evaluación con el proceso de programación presupuestaria –una condición sumamente importante para todo intento de aumentar la racionalidad y la eficiencia en la asignación y en el uso de recursos (Joyce, 1997; Petrei, 1998)– los países del “modelo presupuesto” parecerían haber tenido bastante mayor éxito en este terreno que los del “modelo plan” (Cunill Grau y Ospina Bozzi, 2003b). Esto también parecería guardar sintonía con el relativo énfasis de los países del “modelo presupuesto” en la eficiencia, por sobre otros valores. Por último, un cuarto hallazgo interesante del estudio del CLAD que, según sugieren Cunill Grau y Ospina Bozzi (2003b), podría estar reflejando también las diferencias de énfasis que median entre uno y otro modelo es que, mientras que en tres de los cuatro países el medio predilecto para dar difusión pública a los resultados de las evaluaciones parecería ser internet –al que, por el momento, sólo una proporción relativamente limitada de la población tiene acceso– el único de los cuatro países embarcado en un decidido esfuerzo por publicitar esta información a través de los medios masivos de comunicación es Costa Rica. Dicho esfuerzo parecería guardar coherencia con uno de los objetivos más distintivos del “modelo plan” – el de hacer de la evaluación de resultados una herramienta para la responsabilización de la clase política y la administración pública en general hacia la ciudadanía (Mora Quirós, 2003; Ospina Bozzi y Ochoa, 2003; Cunill Grau y Ospina Bozzi, 2003b). La evaluación de resultados en el sector público argentino En la presente sección, nos proponemos caracterizar el modo en que la evaluación de resultados ha sido abordada en el sector público argentino. Al igual que en los cuatro países incluidos en el estudio del CLAD, la adopción de mecanismos de evaluación como herramientas de formulación de políticas y

8 Ospina Bozzi (2001) propone agrupar los distintos niveles del accionar gubernamental en cuatro: (i) un primer nivel centrado en el desempeño individual de los funcionarios y empleados de las diversas organizaciones y entidades que componen el sector público, al que Ospina Bozzi se refiere como nivel micro; (ii) un segundo nivel, que toma al funcionamiento de las distintas entidades como objeto de evaluación, caracterizado por Ospina Bozzi como nivel meso; (iii) un tercer nivel, que centra su atención en iniciativas o programas específicos, cuya formulación e implementación pueden involucrar a más de una organización simultáneamente o producirse a la par del desarrollo de otras iniciativas o programas de la misma entidad y revestir interés por sí mismos (nivel de programas); y (iv) un cuarto nivel, de orden aun más alto, centrado en las políticas sectoriales (por ejemplo, en el área de educación, salud, trabajo) o intersectoriales del gobierno, al que Ospina Bozzi alude como el nivel macro.


8

gestión del Estado tuvo lugar en el marco de procesos de reforma institucional más amplios que, en mayor o menor medida, estuvieron emparentados con los principios y las recomendaciones de la NGP. Sin embargo, a diferencia de lo que ocurrió en tres de esos cuatro países, el establecimiento de los distintos mecanismos de evaluación no fue fruto de un mismo proyecto ni derivó en la creación de un sistema internamente coherente o articulado. De ahí que, a los efectos de este trabajo, hayamos optado por concentrarnos en cuatro de las iniciativas más importantes en este terreno, que fueron puestas en funcionamiento a partir de 1991. Estas iniciativas son: (i) el sistema de evaluación de desempeño del personal del Sistema Nacional de Profesión Administrativa (SINAPA); (ii) los Operativos Nacionales de Evaluación de la Calidad Educativa; (iii) el Sistema de Información, Monitoreo y Evaluación de Programas Sociales (SIEMPRO); y (iv) los mecanismos de evaluación y seguimiento del Sistema de Gestión por Resultados impulsado por la Subsecretaría de la Gestión Pública. A los fines de caracterizar cada una de estas iniciativas, hemos tomado como ejes algunos de los aspectos que, en base a los hallazgos del estudio del CLAD sobre evaluación de resultados en América Latina, se perfilan como más relevantes. Esta opción tuvo por objeto concentrar el análisis en las dimensiones de mayor interés y, a su vez, facilitar la comparación entre las iniciativas de evaluación de resultados del sector público argentino y las experiencias analizadas en el estudio del CLAD. Los aspectos en los que centramos el análisis son: (i) sus objetivos declarados; (ii) origen y localización institucional; (iii) descripción general de los mecanismos de evaluación utilizados; (iv) ámbito de aplicación; (v) niveles del accionar del Estado sometidos a la evaluación; (vi) coordinación con otros mecanismos de evaluación; (vii) coordinación con la programación presupuestaria; y (viii) destino previsto para los resultados de las evaluaciones. El sistema de evaluación de desempeño del personal comprendido en el Sistema Nacional de Profesión Administrativa (SINAPA) Objetivos. Según se detalla en la página web de la Subsecretaría de la Gestión Pública dedicada al sistema de evaluación de desempeño del Sistema Nacional de Profesión Administrativa (SINAPA), a través del mismo, se procura “conocer y valorar el comportamiento laboral del personal durante un periodo dado, y contribu[ir] a establecer el nivel de eficiencia de los recursos humanos...”.9 Sumado a esto, se espera que el uso permanente de la evaluación de desempeño juegue también un papel importante a los siguientes fines: (a) la identificación y el debido reconocimiento del buen desempeño, a los fines de aumentar la transparencia y la equidad en la carrera laboral de los agentes públicos; (b) la apertura de un nuevo canal de comunicación entre cada supervisor y el personal a su cargo que, a través del diálogo constructivo, contribuya a lograr una mayor eficiencia en el uso de los recursos públicos; (c) la creación de un sistema de información que le permita a cada nuevo jefe conocer los antecedentes de desempeño de cada agente; y (d) la obtención de la información necesaria para detectar necesidades de capacitación y planificar actividades futuras. En otras palabras, el sistema de evaluación de desempeño del SINAPA habría sido adoptado a los fines de contar con una valiosa herramienta de gestión de los recursos humanos dentro de la administración pública, que permitiera mejorar la productividad del personal, detectar la posible necesidad de ajustes en su gestión, y posibilitar la puesta en práctica de criterios más transparentes para la incorporación, permanencia y promoción de los agentes dentro de la carrera administrativa. Origen y localización institucional. El sistema de evaluación de desempeño del personal comprendido en el SINAPA se creó a través del Decreto 993 del Poder Ejecutivo Nacional en 1991 y, en la 9 Ver: http://www.sgp.gov.ar/sitio/empleo/evaluacion/main.html.


9

actualidad, se encuentra bajo la coordinación de la Oficina Nacional de Empleo Público de la Subsecretaría de la Gestión de Pública, Jefatura de Gabinete de Ministros. Descripción general de los mecanismos de evaluación. Si bien el SINAPA en sí tiende a ser caracterizado como una reforma administrativa de tipo ‘Weberiano’ –y por lo tanto, afín con la administración pública tradicional– más que del tipo ‘gerencialista’ que se considera más propio de la NGP (Schneider, 2000; Rinne, 2003; Lopreite, 2002), el mismo tiene la singularidad de haber introducido en el servicio civil argentino un esquema responsabilización de los funcionarios y empleados públicos en base a la evaluación de su desempeño. De allí que hayamos optado por incluirlo en este análisis. En el marco de este sistema, el proceso de medición del desempeño presenta algunos rasgos particulares según el tipo de cargo del agente evaluado. En todos los casos, la evaluación de desempeño se realiza con periodicidad anual. El personal con cargos simples es evaluado por sus superiores inmediatos en base a unos formularios de evaluación, en los que se califica al agente en términos de una serie de ítems, con un puntaje de uno (requerimientos del cargo superados ampliamente) a cinco (requisitos no alcanzados). Las áreas de desempeño evaluadas varían según el nivel de responsabilidad del agente.10 Las evaluaciones volcadas en los formularios por el superior inmediato del funcionario o empleado deben ser a su vez ratificadas o rectificadas por un comité de evaluación compuesto por el titular de la dependencia (Dirección Nacional, General o equivalente) a la que reporte el agente, y entre dos y cuatro funcionarios de jerarquía inmediata inferior. En el momento de tratar las evaluaciones de los agentes de cada dependencia participan, junto al comité de evaluación, el superior inmediato del agente y un veedor de la Unión de Personal Civil de la Nación (UPCN)11 (Resolución ex Secretaría de la Función Pública No. 21/93). En el caso del personal con funciones ejecutivas, la evaluación de desempeño es realizada por el funcionario de designación política del que dependa directamente el agente evaluado o, si entre este último y el funcionario político media un funcionario con función ejecutiva de mayor jerarquía, se sigue un proceso de doble instancia.12 Los agentes con funciones ejecutivas son evaluados en función de los siguientes aspectos: (i) satisfacción de objetivos, actividades y metas de gestión; (ii) las aptitudes y actitudes básicas evidenciadas por el agente durante el desarrollo de sus funciones; y (iii) la totalidad de su gestión, abarcando en una misma ponderación aspectos vinculados con la eficiencia en la administración de recursos y el logro de los objetivos planteados13 (Resolución ex Secretaría de la Función Pública No. 393/94). Tanto en el caso del personal con funciones simples como en el del personal con funciones ejecutivas, la suma de la totalidad de puntajes recibidos en los ítems parciales resulta en la calificación final del desempeño del agente, que puede oscilar entre “muy destacada” y “deficiente”. Pero, a los fines de evitar la concentración de calificaciones en los extremos de esta escala, la misma se encuentra regulada por un sistema de cupos según el cual las calificaciones “muy destacado” y “deficiente” no pueden ser

10 El sistema contempla seis niveles de responsabilidad posibles para los cargos con funciones simples: (i) nivel gerencial; (ii) nivel medio profesional o técnico con personal a cargo; (iii) nivel medio con personal a cargo; (iv) nivel medio sin personal a cargo; (v) nivel operativo con personal a cargo; y (vi) nivel operativo sin personal a cargo. Los formularios de evaluación destinados a cada una de estas categorías se encuentran disponibles en: http://www.sfp.gov.ar/sitio/empleo/evaluacion/formularios.html#fs. 11 La UPCN es uno de los dos principales sindicatos de funcionarios y empleados públicos de la Argentina. 12 Ver: http://www.sgp.gov.ar/sitio/empleo/evaluacion/cargosejecutivos.html. 13 Los formularios de evaluación empleados para la evaluación del personal con funciones ejecutivas se encuentran disponibles en: http://www.sfp.gov.ar/sitio/empleo/evaluacion/formularios.html#fs.


10

otorgadas a más del 10 por ciento de los agentes de la dependencia (en el caso del personal con funciones simples) o ‘Unidad de Análisis’14 (en el caso del personal con funciones ejecutivas) a la que reporten, en tanto que la calificación “destacado” puede ser aplicada a no más del 20 por ciento de los agentes. Los resultados de las evaluaciones deben ser notificados al agente evaluado en el marco de una entrevista de carácter obligatorio con su superior inmediato, en la que se le dan a conocer los fundamentos de la calificación otorgada y se discuten posibles líneas de acción para mejorar el desempeño. En caso de disconformidad con la calificación recibida, el agente puede interponer un recurso de reconsideración ante la misma autoridad evaluadora, o apelar ante una instancia superior (Resolución ex Secretaría de la Función Pública No. 393/94). Ambito de aplicación. El ámbito de aplicación de estos mecanismos de evaluación del desempeño individual es la parte de la administración pública central que se encuentra regulada por el SINAPA. Es decir que el mismo no incluye a los funcionarios y empleados de las administraciones públicas provinciales ni municipales, donde se concentra la mayor parte del personal del sector público total. Pero, según distintas fuentes, los alcances del SINAPA –y, por lo tanto, los de su sistema de evaluación del desempeño– serían muy limitados incluso dentro de la propia administración pública federal, dado que tanto los empleados del servicio exterior, las fuerzas armadas y de seguridad, y los organismos descentralizados se rigen por otros escalafones y sistemas de carrera (Rinne, 2003; Makón, ca. 2001; Lopreite, 2002).15 Nivel de accionar gubernamental evaluado. La evaluación del desempeño del personal que se realiza en el marco del SINAPA abarca exclusivamente el nivel de desempeño individual. Coordinación con otros mecanismos de evaluación. A pesar de que –según se enuncia en la Resolución No. 21/93 de la ex Secretaría de la Función Pública, en la que se regula la evaluación del personal con funciones simples– las evaluaciones de desempeño deben efectuarse “...de acuerdo con las funciones que [...] realice el agente para el cumplimiento de los objetivos de la unidad organizativa en la que preste servicios...” (Art. 20), los instrumentos de evaluación utilizados no vinculan el desempeño individual del personal con las mediciones de resultados que se desarrollan a nivel organizacional en el marco del Sistema de Gestión por Resultados impulsado por la Subsecretaría de la Gestión pública (ver abajo). Destino previsto para los resultados de la evaluación. Los resultados de la evaluación del personal son utilizados a los fines de identificar la posible necesidad de ajustes en el desempeño de los agentes de la administración pública, orientar la eventual introducción de mejoras, premiar el desempeño destacado y penalizar el deficiente. En efecto, la información sobre el desempeño de cada agente tiene incidencia directa sobre sus posibilidades de permanecer en el cargo16, ser promovido y acceder a nuevos cargos. Sumado a ello, existe también una bonificación por desempeño destacado que se otorga a un máximo del 10 por ciento de los agentes con funciones simples evaluados en cada jurisdicción, y hasta a un 10 por ciento de los agentes con funciones ejecutivas de cada Unidad de Análisis (Resoluciones de la ex Secretaría de la Función Pública Nos. 21/93 y 393/94). 14 A manera de ilustración de lo que se entiende por ‘Unidades de Análisis’, se mencionan las ‘Unidades Ministro’, las ‘Secretarías Ministeriales’, las Secretarías de la Presidencia de la Nación y los Organismos Descentralizados [ver: http://www.sgp.gov.ar/sitio/empleo/evaluacion/cargosejecutivos.html]. 15 Según Marcos Makón (ca. 2001), ex Secretario de Modernización del Estado, la proporción del personal de la administración pública nacional afectado por el SINAPA sería aproximadamente del 10 por ciento. 16 Tres calificaciones deficientes consecutivas o cuatro alternadas son consideradas motivo suficiente de cesantía.


11

Los Operativos Nacionales de Evaluación de la Calidad Educativa Objetivos. De acuerdo con lo que establece la Ley Federal de Educación, la evaluación permanente del sistema educativo debe estar orientada a “garantizar la calidad de la formación impartida en los distintos ciclos, niveles y regímenes especiales”. Con tal fin, la misma debe verificar la adecuación de sus contenidos curriculares “...a las necesidades sociales y a los requerimientos educativos de la comunidad” (Arts. 48 y 49) – lo que incluye, entre otros aspectos, la identificación de desniveles en la calidad de la educación impartida en distintos puntos del país. Según se enuncia en una de las páginas web del Ministerio de Educación de la Nación dedicadas a la evaluación de la educación17, se espera que los resultados de la misma permitan: (a) retroalimentar los procesos de planificación y toma de decisiones que se desarrollan en las diversas Secretarías del Ministerio de Educación de la Nación y en los Ministerios de Educación provinciales; (b) dotar a los directivos y docentes de cada establecimiento escolar con la información necesaria para evaluar y reformular sus estrategias y modalidades pedagógicas; (c) brindar a las familias de los estudiantes información sobre los niveles de aprendizaje alcanzados por sus hijos, de modo tal de dotarlos con una herramienta que les permita controlar la calidad del servicio que reciben; y (d) evaluar el impacto de programas compensatorios y de políticas de innovación educativa. En síntesis, el principal propósito de la evaluación practicada en el contexto de los Operativos Nacionales parecería estar centrado en posibilitar el seguimiento de los resultados de la política educativa y, cuando se juzgue necesario, orientar la introducción de mejoras, tanto a nivel del sector en general como de los establecimientos educativos en particular. Origen y localización institucional. Los Operativos Nacionales de Evaluación se iniciaron en 1993, en el marco de lo que hasta el año 2001 se conoció como el Sistema Nacional de Evaluación de la Calidad (SINEC), dependiente del Ministerio de Cultura y Educación de la Nación. El SINEC se creó en respuesta a lo dispuesto en la Ley Federal de Educación del mismo año. Para entonces, la gestión de los servicios educativos había sido transferida ya de la jurisdicción nacional a las jurisdicciones provinciales y municipales, con lo cual las funciones del Ministerio nacional se habían visto reducidas a la conducción estratégica del área (Chumbita, 1997; Tulic, 1996). Actualmente, los Operativos Nacionales de Evaluación se encuentran a cargo de la Dirección Nacional de Información y Evaluación de la Calidad Educativa – dependiente, también, del Ministerio de Educación de la Nación.18 Descripción general de los mecanismos de evaluación. Los Operativos Nacionales de Evaluación consisten en la administración de pruebas estandarizadas anuales a la totalidad de alumnos que cursan el sexto año de la Educación General Básica (EGB) y el último año de la educación secundaria, y a una muestra probabilística de alumnos enrolados en el tercero y en el noveno año de la EGB.19 En un primer momento, las evaluaciones abarcaron sólo las áreas de matemática y lengua. Pero, a partir de 1994 y 1995, comenzaron a incorporar también otras disciplinas. En el diseño de las evaluaciones, se ha dado prioridad a la verificación del aprendizaje de contenidos mínimos, por sobre la captación de niveles de excelencia. Con anterioridad a la realización de cada uno de los operativos anuales, los instrumentos (pruebas) son validados a través de operativos piloto. Una vez validadas, las pruebas son administradas de manera simultánea en todo el país, fijándose un día distinto para el examen de cada área (Chumbita, 1997; Tulic, 1996; Instituto para el Desarrollo de la Calidad Educativa, 2000).20 17 Ver: http://www.mcye.gov.ar/oea/experiencias/argentina/exp4.html. 18 Ver: http://diniece.me.gov.ar/. 19 Los tres grados (“años”) de la EGB a los que se aplican las evaluaciones marcan la finalización de un ciclo de la misma: tercer grado (tercer año de la EGB), sexto grado (sexto año de la EGB), y segundo año (noveno año de la EGB) (Ver: http://diniece.me.gov.ar/documentos/pruebasnacionales2.pdf). 20 Ver también: http://diniece.me.gov.ar/documentos/pruebasnacionales2.pdf.


12

Los Operativos Nacionales de Evaluación complementan la realización de las pruebas estandarizadas con la aplicación de cuestionarios auto-administrados a los directivos, a los docentes y a los alumnos de las escuelas donde se llevan a cabo las pruebas de evaluación, los que tienen por objeto obtener información acerca de las condiciones materiales, institucionales y sociales en las que la comunidad educativa desarrolla sus tareas. A través de dicha información se procura identificar algunos de los factores institucionales y socioculturales que inciden en el rendimiento académico.21 En su diseño original, el SINEC incluía también un componente destinado a evaluar el desempeño docente que, hasta el momento, no ha podido implementarse debido un alto grado de resistencia sindical (Nores, 2002; Chumbita, 1997). Ambito de aplicación. Como su propio nombre lo indica, los Operativos Nacionales de Evaluación de la Calidad Educativa tienen por objeto evaluar resultados en un área de política pública en particular, que es la de la educación. Dentro de la misma, han tomado como ámbito de aplicación a la enseñanza básica común y media, dejando de lado la enseñanza básica especial, la educación para adultos22 y otras especialidades del nivel medio.

Niveles del accionar del Estado evaluados. Los resultados de los Operativos Nacionales permiten realizar un seguimiento del modo en que las políticas impulsadas a nivel de cada jurisdicción en el área educativa inciden sobre el aprendizaje de los alumnos. Esto los convierte en un instrumento de evaluación a nivel de sector o de política sectorial. En los casos en los que las evaluaciones permiten identificar el desempeño de escuelas específicas –como sucede con los alumnos del sexto año de la EGB y los del último año de las escuelas medias– los Operativos pueden funcionar también como un mecanismo de medición de resultados a nivel de los propios establecimientos escolares (nivel organizacional o institucional). Sin embargo, el carácter muestral que los Operativos Nacionales tienen en los otros dos ciclos que conforman la Educación General Básica (EGB) limitan esta posible aplicación. Coordinación con otros mecanismos de evaluación. Paralelamente a la evaluación de los logros de aprendizaje de los alumnos enrolados en el sistema educativo que realizan los Operativos Nacionales, la Red Federal de Información Educativa23 se encarga de la obtención y sistematización de datos sobre la cobertura, la efectividad interna (abarcando aspectos tales como la deserción escolar, el ausentismo, etc.) y la racionalidad de costos del sistema (Chumbita, 1997). Esto lleva a pensar que es posible que, al menos dentro del ámbito del Ministerio de Educación de la Nación, la complementación de esfuerzos entre los Operativos Nacionales y otros mecanismos de seguimiento de resultados sea buena. Sin embargo, la coordinación entre los Operativos y las iniciativas de evaluación educativa impulsadas a nivel provincial24 con el fin de complementar el esfuerzo realizado a nivel nacional parece ser mucho más débil y problemática (Nores, 2002). Paralelamente, tampoco parecería existir una coordinación formal entre los esfuerzos de evaluación que se realizan en el marco de los Operativos Nacionales y las otras iniciativas de evaluación de resultados que se discuten en este trabajo.

21 Ver: http://diniece.me.gov.ar/documentos/pruebasnacionales2.pdf. 22 Hasta el momento, la única excepción en este sentido ocurrió en 1999, año en el que los Operativos Nacionales de Evaluacion incluyeron también a los estudiantes adultos, los que fueron evaluados en las áreas de matemática y lengua (Ver: http://diniece.me.gov.ar/documentos/pruebasnacionales2.pdf). 23 Al igual que los Operativos Nacionales de Evaluación, la Red Federal de Información depende de la Dirección Nacional de Información y Evaluación de la Calidad Educativa del Ministerio de Educación, Ciencia y Tecnología de la Nación. 24 Según Nores (2002), 14 de las 24 jurisdicciones provinciales del país han implementado en algún momento modelos de evaluación de la calidad de la educación o experiencias de complemento a los esfuerzos realizados por el sistema nacional.


13

Coordinación con la programación presupuestaria. La evaluación de resultados en el marco de los Operativos Nacionales de Evaluación no guardar vinculación directa con el proceso de programación presupuestaria. De hecho, si bien de acuerdo con lo que dispone la Ley Federal de Educación el Ministerio de Educación de la Nación tiene la obligación de elevar a las comisiones de educación de ambas cámaras del Congreso un informe anual con los resultados de la evaluación de aprendizajes, hasta el momento, los mismos han sido presentados de manera más bien infrecuente e irregular (Nores, 2002). Destino previsto para los resultados de la evaluación. Además de a las propias autoridades educativas de los niveles nacional, provincial y municipal, los resultados de las evaluaciones realizadas a través de los Operativos Nacionales tienen por destinatarios directos a los establecimientos evaluados, a las comisiones de educación de ambas cámaras del Congreso Nacional, a los maestros y profesores y a las familias de los estudiantes evaluados, y a la comunidad en general. A tales fines, esta información es proporcionada de manera directa a las escuelas evaluadas y, según dispone la ley, debería ser también elevada de modo directo a las comisiones legislativas de educación bajo la forma de un informe anual. Sin embargo, hasta el momento, este último requerimiento se ha venido cumpliendo de manera irregular. Por otra parte, los resultados de los Operativos de Evaluación son dados a conocer al público en general a través de una conferencia de prensa por parte del Ministro del área. Sin embargo, hasta ahora, sólo se le ha dado publicidad a una parte de los resultados (Nores, 2002).25 Los Operativos Nacionales complementan los resultados de las pruebas estandarizadas con la información proveniente de la aplicación de los cuestionarios autoadministrados a directivos, docentes y alumnos de los establecimientos educativos a los fines de detectar la necesidad de posibles ajustes –ya sea a nivel nacional, provincial o local– y de orientarse en el desarrollo de recomendaciones metodológicas y materiales de apoyo destinados a contribuir al mejoramiento de la enseñanza en las escuelas (Chumbita, 1997; Tulic, 1996).

Sistema de Información, Monitoreo y Evaluación de Programas Sociales (SIEMPRO) Objetivos. Entre los principales objetivos que llevaron a la creación del SIEMPRO, se cuentan los siguientes: (i) aumentar la eficiencia y la eficacia de los programas destinados a la población en situación de pobreza; (ii) establecer un sistema de información permanente de la situación de pobreza y vulnerabilidad social, que permitiera mejorar la formulación de los programas existentes, identificar nuevas necesidades y focalizar las intervenciones en la búsqueda de una mayor eficiencia y eficacia en el uso de los recursos; (iii) brindar soporte logístico, organizativo y técnico al proceso de transferencia de estas funciones a los niveles nacional, provincial y local; (iv) apoyar la institucionalización de nuevos modelos de gestión de las políticas y programas sociales, mediante acciones de capacitación, transferencia y comunicación social; y (v) realizar investigaciones y estudios que permitieran mejorar el proceso de toma de decisiones, la formulación, conducción y ejecución de las políticas y programas sociales destinados a la población en situación de pobreza y vulnerabilidad social (Novacovsky y otros, ca. 1996). En otras palabras, el SIEMPRO procura introducir mejoras en términos de la eficiencia y la eficacia –dos de los valores más emblemáticos de la NGP– en las políticas y programas dirigidas a la

25 Tanto las publicaciones como los archivos de datos disponibles en el sitio de internet de la Dirección Nacional de Información y Evaluación de la Calidad Educativa del Ministerio de Educación, Ciencia y Tecnología (http://diniece.me.gov.ar/), incluyen información agregada a nivel provincial, que no permite identificar diferencias entre distintos establecimientos educativos en términos del desempeño de sus alumnos.


14

población en situación de pobreza y vulnerabilidad social. Origen y localización institucional. El Sistema de Información, Monitoreo y Evaluación de Programas Sociales (SIEMPRO) se creó en 1995 por Resolución 2851/95 de la ex Secretaría de Desarrollo Social, y se financió en gran parte con un préstamo del Banco Mundial. Hasta el año 2002, el SIEMPRO se mantuvo bajo la órbita de la ex Secretaría (actualmente, Ministerio) de Desarrollo Social. Pero, a partir de mediados de dicho año, pasó a depender del recientemente creado Consejo Nacional de Coordinación de Políticas Sociales, compuesto por el Ministro de Desarrollo Social, el Ministro de Trabajo y Seguridad Social, el Ministro de Educación Ciencia y Tecnología, el Ministro de Salud, y el Ministro de Economía. Descripción general de los mecanismos de evaluación. Desde el momento de su creación, el SIEMPRO ha servido de marco para la realización de una serie de avances importantes en las áreas de planificación, seguimiento y evaluación de programas sociales a través de las siguientes líneas de acción (Neirotti, 2000 y 2001): (i). El Sistema Integrado de Monitoreo de Programas Sociales (SIM): El SIM concentra información sobre la ejecución de programas del Ministerio de Desarrollo Social, así como información descriptiva sobre los programas sociales nacionales del Ministerio de Desarrollo Social y otros Ministerios. Toda esta información es reportada al SIEMPRO por los propios programas de manera trimestral, proporcionándole la información sobre metas a alcanzar al comienzo de cada trimestre, e informándolo sobre el grado de cumplimiento con las mismas al final del mismo. La información centralizada por el SIM incluye datos relativos a la cobertura, las prestaciones y los gastos de los programas sociales del Ministerio de Desarrollo Social, y se encuentra desagregada a nivel provincial y también local. (ii). Evaluaciones de programas sociales en profundidad: Las evaluaciones desarrolladas hasta el momento han sido de distinto tipo (de impacto, de gestión, desde la perspectiva de los beneficiarios), y han tenido por objeto tanto a programas del propio Ministerio de Desarrollo Social como de otros Ministerios. (iii). La Encuesta de Desarrollo Social, Condiciones de Vida y Acceso a Programas y Servicios Sociales: Esta Encuesta ha sido realizada ya en dos oportunidades (1997 y 2001). La misma abarca una amplia gama de áreas temáticas que incluyen, entre otras, las siguientes: vivienda y medio urbano; características de las familias; aspectos sociodemográficos de la población; acceso a los servicios de salud; comportamientos de la población que contribuyen a crear factores de riesgo para la salud; salud reproductiva; cobertura educativa y problemas de rendimiento escolar; educación no formal; trabajo e ingresos; trabajo infantil; cuidado de la primera infancia; actividad física y deportiva; vida cotidiana y trabajo voluntario. La información proporcionada por la Encuesta permite conocer el alcance y el grado de cobertura de los programas y servicios sociales, así como el acceso diferencial de la población a los mismos, con un grado de precisión que no tenía precedentes en la Argentina. (iv). El Sistema de Identificación y Registro de Familias Beneficiarias Actuales y Potenciales de Programas Sociales (SISFAM): El SISFAM consiste en un registro de datos de beneficiarios de programas. Hasta noviembre de 2001, se habían incorporado 15 provincias al sistema. (v). La Biblioteca de Información Social Interactiva (BISI): La BISI ofrece información sistematizada proveniente de la Encuesta de Desarrollo Social, de la Encuesta Permanente de Hogares, del Censo Nacional de Población y Vivienda, del Programa Nacional de Estadísticas de Salud, del Programa Nacional de Vigilancia Epidemiológica, de estadísticas internacionales provistas por organismos internacionales y de indicadores económicos del Ministerio de Economía y del Banco Central, a través de internet. (vi). El dictado de numerosos cursos de capacitación dictados a funcionarios y técnicos de programas nacionales y provinciales en temas de planificación y evaluación, en los que se pone un


15

fuerte énfasis en los modelos de gestión orientados a resultados.26 Ambito de aplicación. De acuerdo con Nerio Neirotti (2000) –por entonces, Gerente de Evaluación y Monitoreo del SIEMPRO– en el momento en que se creó el SIEMPRO, existía el propósito de extender su ámbito de incumbencia a la totalidad de las áreas sociales, algunas de las cuales se hallaban (y aún siguen estando) fuera de la órbita de la ex Secretaría de Desarrollo Social. Sin embargo, el mismo nunca llegó a trascender de manera efectiva el ámbito de la Secretaría (hoy, Ministerio) de Desarrollo Social. Según el Lic. Neirotti, esto se debió al menos en parte a que el SIEMPRO no contaba con la autoridad necesaria como para asegurar que los programas dependientes de otros Ministerios le proporcionaran la información necesaria. En este sentido, parecería en principio posible que el traspaso del SIEMPRO a la órbita del Consejo Nacional de Coordinación de Políticas Sociales, creado en el año 2002, contribuya a revertir al menos en parte esta situación.27

Así todo, el SIEMPRO llegó a evaluar programas de otros Ministerios, como el Programa Trabajar (del Ministerio de Trabajo y Seguridad Social) y el Programa Social Agropecuario (de la Secretaría de Agricultura, Ganadería y Pesca del Ministerio de Economía). Sin embargo, según Neriotti (2000), lejos de haber reflejado una estrategia racional y coherente, o una determinación política por parte del gobierno para generar un insumo crítico para la mejora de la gestión, el proceso que derivó en selección de estos y otros programas para ser evaluados habría sido más bien producto de “la casualidad y las contingencias ambientales” (p. 6). Entre los muchos factores que habrían incidido en este proceso, Neirotti destaca la influencia de las condicionalidades impuestas por los organismos internacionales de crédito para el otorgamiento de préstamos.28

Niveles del accionar del Estado evaluados. El SIEMPRO se especializa en la evaluación y en la sistematización de información proveniente del monitoreo de programas sociales principalmente del nivel nacional de gobierno pero, en ocasiones, evalúa también programas provinciales. Sumado a ello, a través de los resultados de Encuesta de Desarrollo Social, funciona además como una fuente de información de gran utilidad para el diagnóstico de necesidades, la formulación y el ajuste de políticas sociales a nivel de sector, tanto para el gobierno nacional como para los gobiernos provinciales. Coordinación con otros mecanismos de evaluación. Un aspecto que el SIEMPRO parece haber encarado con relativo éxito es el que atañe a la coordinación y complementación de sus esfuerzos con las autoridades de las áreas sociales de los gobiernos provinciales y de algunos otros Ministerios nacionales en las áreas de evaluación y sistematización de información proveniente del monitoreo de programas, la provisión de asistencia técnica y la capacitación. También en lo que hace a la generación de información crítica para la detección de necesidades y la elaboración y el seguimiento de políticas sociales, a través de la Encuesta Nacional de Desarrollo Social. Sin embargo, la evaluación de programas y de políticas sociales que realiza el SIEMPRO no guarda coordinación formal alguna con los esfuerzos de evaluación de desempeño organizacional que se impulsan desde la Subsecretaría de la Gestión Pública (ver abajo). Tampoco parece existir una división de tareas clara entre el SIEMPRO y otras dependencias del Gobierno Nacional desde las que se 26 A manera de ilustración, ver SIEMPRO (1999). 27 Entrevista personal con el Lic. Nerio Neirotti, realizada en Buenos Aires el 4 de enero de 2003. 28 La importancia de las condicionalidades impuestas por los organismos de crédito fue también señalada como un elemento crítico en este sentido por el Dr. Armando Caro Figueroa, ex Ministro de Trabajo y Seguridad Social de la Nación (1993-1997), durante una entrevista personal realizada en Nueva York el 7 de abril de 2003. Según Neirotti (2000), en base a un análisis de información correspondiente al periodo 1995-1999, la cartera de Trabajo fue la que tuvo la más alta proporción de su gasto sometida a evaluaciones de algún tipo.


16

impulsan evaluaciones de programas ad-hoc (por ejemplo, el Ministerio de Economía) (Neirotti, 2001). Coordinación con la programación presupuestaria. Según sostienen diversos autores, debido a las debilidades propias de la programación presupuestaria en el Estado nacional, la vinculación entre los resultados y los recursos de los programas plantea aún serias dificultades (Mora Quirós, 2000; Makón, 2000 y 2001; Neirotti, 2001; Rodríguez Larreta y Repetto, 2000).

Destino previsto para los resultados de la evaluación. Tanto la información que concentra el Sistema Integrado de Monitoreo de Programas Sociales (SIM), como los resultados de la Encuesta de Desarrollo Social y las evaluaciones de programas realizadas por el SIEMPRO se encuentran a disposición del público a través de internet.29 Por otra parte, los resultados de la Encuesta de Desarrollo Social han recibido también una buena cuota de atención en los medios. No obstante, más allá del relativo grado de difusión que se le da a esta información –el que, hasta el momento, ha sido bastante mayor para los resultados de la Encuesta que para el resto– no existen mecanismos concretos destinados a alentar su uso por parte de las autoridades nacionales y provinciales responsables de desarrollar políticas destinadas a la población en situación de pobreza o los responsables de los programas evaluados. Las recomendaciones incluidas en las evaluaciones del SIEMPRO no tienen carácter obligatorio, y tampoco existen consecuencias materiales predefinidas ligadas al desempeño de los programas (Neirotti, 2001).

Los mecanismos de monitoreo y evaluación del Sistema de Gestión por Resultados de la Subsecretaría de la Gestión Pública Objetivos. A través del Sistema de Gestión por Resultados, la Subsecretaría de la Gestión Pública de la Jefatura de Gabinete de Ministros se propone impulsar la modernización de la gestión en el Estado argentino, con el fin de “…generar un aparato estatal al servicio del ciudadano, en un marco de transparencia, eficiencia, eficacia y calidad en la atención y prestación de servicios” (Subsecretaría de la Gestión Pública, 2003: 5). En este marco, el establecimiento de un sistema de monitoreo y evaluación de resultados de la gestión es visto como una condición fundamental para poder comparar lo efectivamente logrado con lo planificado, a los fines de detectar potenciales problemas y/o deficiencias sobre la marcha e introducir las correcciones necesarias lo antes posible, tomando en todo momento “…como referencia central a los destinatarios de sus servicios: los clientes/ciudadanos” (Halliburton y Guerrera, 2002: 1). Al mismo tiempo, se espera que el monitoreo y la evaluación de resultados jueguen un rol clave en los esfuerzos por refundar los sistemas de responsabilización dentro de las organizaciones públicas, tomando como base “…un nuevo eje rector: el cumplimiento de resultados previamente comprometidos, en el marco de criterios verificables…” (Dirección de Planeamiento y Reingeniería Organizacional, 2002: 9). Tanto por los objetivos que se plantea alcanzar como por los argumentos que fundamentan su propia introducción y la del Sistema de Gestión por Resultados, los mecanismos de monitoreo y evaluación de este último se perfilan como la iniciativa que más fielmente se ciñe a los postulados típicos de la NGP, de las cuatro iniciativas que analizamos en esta sección. Origen y localización institucional. Aunque el Sistema de Gestión por Resultados que coordina la Subsecretaría de la Gestión Pública es fruto de un esfuerzo que comenzó a gestarse a mediados de la

29 Ver: http://www.siempro.gov.ar.


17

década del ’9030, el lanzamiento oficial de sus componentes principales se produjo recién entre los años 2000 y 2001, con la promulgación de los Decretos 229/2000, 103/2001 y 992/2001 en el marco del Plan Nacional de Modernización que impulsó el gobierno de Fernando de la Rúa, a poco de asumir la presidencia. El Sistema de Gestión por Resultados ha sido desarrollado y se encuentra coordinado por la Subsecretaría de la Gestión Pública de la Jefatura de Ministros de Gabinete. La estrategia de implementación elegida por los equipos de la Subsecretaría de la Gestión Pública ha venido priorizando el trabajo individualizado y en profundidad con las entidades que participan del Sistema, lo que le ha dado al proceso de implantación un carácter gradual. De allí que, como reconoce la Arq. Carmen Porqueres de Sycz, Directora Nacional de la Oficina Nacional de Innovación de Gestión, el Sistema no se encuentre aún “en pleno funcionamiento” sino, más bien, en proceso de “implementación y ajuste”.31 Descripción general de los mecanismos de evaluación. El Sistema de Gestión por Resultados se ha inspirado en los principios de la planificación estratégica y operativa, la reingeniería de procesos y la programación presupuestaria, y se estructuró sobre la base de “…una cadena de acuerdos en torno a resultados”, en el marco de la cual se aspira a que “…desde [en] el nivel más alto de la jerarquía hasta [en] el más bajo se suscriban compromisos verificables…” ligados con el logro de resultados específicos (Dirección de Planeamiento y Reingeniería Organizacional, 2002: 9). El Sistema contempla tres tipos de acuerdos o compromisos: (i). Los Acuerdos Programa (AP)32: Estos acuerdos son suscritos por la máxima autoridad de cada entidad de la administración pública nacional y el Jefe de Gabinete de Ministros, y tienen como propósito fijar los objetivos de gestión de los distintos organismos públicos y compatibilizarlos con los objetivos estratégicos del gobierno nacional. Una vez firmados estos acuerdos, y a menos que las condiciones iniciales en que los mismos fueron pautados se vean alteradas, los organismos quedan obligados a cumplir con los compromisos asumidos (Dirección de Planeamiento y Reingeniería Organizacional, 2002).33 (ii). Los Compromisos de Resultados de Gestión (CRG): Estos compromisos son firmados entre los responsables de las distintas áreas operativas y el responsable político de cada organización. Pero su uso puede extenderse al resto de la organización, de manera tal de ir conformando “…una trama de compromisos de resultados armada a distintos niveles y entre distintas áreas” (p. 19). Los aspectos abordados por los CRGs incluyen los resultados a alcanzar por cada gerencia/dirección; los requisitos que deben cumplirse para que tales objetivos se vean materializados y que no dependen de la parte suscribiente del compromiso; el sistema de indicadores por medio del cual se evaluará el cumplimiento con las metas comprometidas; y las consecuencias derivadas del cumplimiento o no de los compromisos asumidos. Los CRGs tienen una duración máxima de un año, de manera tal de evitar que se extiendan más allá del ciclo fiscal (Dirección de Planeamiento y Reingeniería Organizacional, 2002). 30 A manera de ilustración, entre fines de 1995 y principios de 1996, el gobierno del Presidente Carlos Menem convocó a dos de los especialistas más representativos de la Nueva Gestión Pública –Ruth Richardson (ex ministra de Economía de Nueva Zelanda) y David Osborne (co-autor, junto con Ted Gaebler, del libro Reinventing Government)– en busca de asesoramiento para su finalmente inconclusa “Segunda Reforma del Estado” (Rinne, 2003). En agosto de 1996, se dictó el Decreto 928, con el que se procuró comenzar a sentar las primeras bases para la gestión por resultados estableciendo la obligatoriedad de diseñar planes estratégicos para los organismos descentralizados, y mencionando la necesidad de orientar al Estado al ciudadano y medir resultados (Makón, 2000). Por último, la primera experiencia piloto con el programa Carta Compromiso con el Ciudadano tuvo lugar en la provincia de Mendoza en 1998 – es decir, dos años antes de su lanzamiento oficial a nivel nacional (Rodríguez Larreta y Repetto, 2002). 31 Entrevista personal con la Arq. Carmen Porqueres de Sycz, realizada en Buenos Aires el 10 de enero de 2003. 32 Los Acuerdos Programa se conocen también bajo el nombre de “Compromisos de Desempeño Institucional”. 33 Cuatro de los Acuerdos Programa firmados hasta el momento se encuentran a disposición del público en: http://www.sfp.gov.ar/sitio/innovacion/acuerdos/main.html.


18

(iii). Las Cartas Compromiso con el Ciudadano (CCC): Estas cartas son suscritas por el máximo responsable de cada organización y el Jefe de Gabinete de Ministros, representando este último “la voluntad soberana depositada en el Presidente de la Nación” (Dirección de Planeamiento y Reingeniería Organizacional, 2002: 16). A partir de la firma de las CCCs, los organismos se ven en la necesidad de comenzar a cumplir con una serie de pautas, que incluyen, entre otras: establecer un sistema de monitoreo y evaluación de su propio cumplimiento con los estándares de servicio comprometidos; realizar una amplia difusión de los resultados de su gestión; establecer un sistema de quejas y reclamos, así como mecanismos de consulta a los usuarios con miras a mejorar la calidad y la receptividad respecto de sus expectativas y demandas (Morán y otros, 2003).34 La medición y el seguimiento del grado de cumplimiento con los resultados comprometidos constituye un elemento central en los tres componentes del Sistema de Gestión por Resultados. Por tal motivo, dentro de cada entidad incorporada al Sistema se ha creado una unidad específicamente destinada a tal fin. Sumado a ello, con el objeto de asegurarse que estas unidades de monitoreo puedan cumplir con sus objetivos adecuadamente, la Subsecretaría de la Gestión Pública les proporciona apoyo mediante asistencias técnicas puntuales en áreas tales como desarrollo de los criterios para la evaluación de resultados, formulación de indicadores, mejoramiento de los sistemas de información, y diseño de sistemas de retroalimentación para la toma de decisiones. Una vez recolectada esta información, las unidades de monitoreo y los profesionales de la Subsecretaría de la Gestión elaboran los informes trimestrales y anuales consensuadamente, evalúan la posible existencia de problemas con la medición y, en caso de detectarlos, elaboran planes de acción para corregirlos. En caso de identificar aspectos importantes de la gestión que requieran ser fortalecidos, se notifica a las autoridades del organismo a fin de que las mismas realicen los ajustes necesarios (Subsecretaría de la Gestión Pública, 2002). La mayor parte –si no la totalidad– del material sobre medición y evaluación de resultados publicado hasta el momento por la Subsecretaría de la Gestión Pública se refiere al programa Carta Compromiso con el Ciudadano. En el marco de dicho programa, la evaluación del desempeño de cada organismo participante resulta en un puntaje final, producto de la combinación de puntajes parciales en las siguientes áreas: (a) la calidad de los servicios prestados; (b) las características de los puntos de atención al público en términos de la adecuación de sus instalaciones y sus horarios de atención, la calidad de la atención, etc.; (c) la amplitud y la accesibilidad de la información brindada a los usuarios y al público en general en términos de los servicios prestados, condiciones para acceder a los mismos, estándares de servicio y desempeño de la organización; (d) la importancia que se les da a las consultas con los “clientes/ciudadanos” respecto de sus preferencias y niveles de satisfacción, y el tratamiento dado a eventuales quejas y reclamos; y (e) la calidad del sistema de medición y monitoreo, y el uso dado a la información resultante del mismo dentro de la propia entidad. A los efectos de la calificación final otorgada a cada organismo, la ponderación relativa de estos distintos aspectos varía según se trate de una organización con mucha o poca concurrencia de público a sus puntos de puntos de contacto, o bien un organismo o ente regulador (Halliburton y Guerrera, 2002). Ambito de aplicación. De los tres componentes que integran el Sistema de Gestión por Resultados, el programa Carta Compromiso con el Ciudadano tiene por universo de aplicación al conjunto de organismos prestadores de bienes o servicios del Estado. Es decir que no apunta a incorporar a las áreas de la administración pública que que se centran en la formulación de políticas y/o no brindan un producto o servicio directo a la ciudadanía. En cambio, los Acuerdos Programa y los Compromisos de

34 La siguiente página web de la Subsecretaría de la Gestión Pública incluye copias de las Cartas Compromiso con el Ciudadano firmadas hasta el momento, así como detalles respecto de los estándares y los resultados de la evaluación de la gestión de distintos organismos públicos: http://cartacompromiso.sgp. gov.ar.


19

Gestión por Resultados están destinados a la misma población objetivo que el programa Carta Compromiso y, además, al conjunto de los organismos que conforman el Poder Ejecutivo Nacional. Si bien el Sistema de Gestión por Resultados de la Subsecretaría de Gestión fue diseñado para el Estado nacional, esto se hizo con el entendimiento de que, “…dado que la mayoría de los servicios estatales prestados de manera directa a la ciudadanía son provistos por los gobiernos provinciales y municipales”, este esfuerzo iba a tener que extenderse también a los Estados provinciales y a los municipios (Subsecretaría de la Gestión Pública, 2003: 46). En línea con ello, a partir de la firma del Pacto Federal de Modernización del Estado, en junio de 2001, la Subsecretaría de la Gestión Pública ha brindado su apoyo técnico y académico a organismos dependientes de las administraciones provinciales a través del Consejo Federal de la Gestión Pública (Subsecretaría de la Gestión Pública, 2003; Pacto Federal de Modernización del Estado, 2001). De acuerdo con la Directora Nacional de la Oficina Nacional de Innovación de la Gestión, para comienzos de 2003, alrededor del 30 por ciento de los organismos de la administración central y descentralizados estaban participando del Sistema.35 Hasta marzo de 2003, se firmaron 34 Cartas Compromiso con 27 organismos públicos en tanto que, entre enero de 2002 y marzo de 2003, se formularon 36 Compromisos de Gestión de Resultados en cinco entidades, y se firmaron 16 repartidos entre dos de ellas (Subsecretaría de la Gestión Pública, 2003). Por último, el número de Acuerdos Programa firmados hasta comienzos de 2003 habría sido cinco. Para entonces, la Subsecretaría se hallaba en condiciones de suscribir otros tres Acuerdos, pero los mismos debieron ser postergados a raíz del cambio de autoridades gubernamentales.36 Aunque el número de entidades incorporadas al Sistema de Gestión por Resultados se mantiene en ascenso, hasta el momento al menos, los casos en que la aplicación de los programas del Sistema de Gestión por Resultados37 y las actividades de evaluación y monitoreo del SIEMPRO coinciden en un mismo organismo parecerían ser muy pocos. El nivel de coincidencia entre el Sistema de Gestión por Resultados y los Operativos Nacionales de Evaluación es aun menor, dado que las escuelas elementales y medias evaluadas en el marco de estos últimos dependen de los gobiernos provinciales.

Niveles del accionar del Estado evaluados. Los mecanismos de monitoreo y evaluación de resultados del Sistema de Gestión por Resultados están exclusivamente centrados en el desempeño organizacional. Sin desmedro de ello, el Sistema distingue entre los diferentes niveles internos a las 35 Entrevista personal con la Arq. Carmen Porqueres de Sycz, realizada en Buenos Aires el 10 de enero de 2003. 36 Entrevista personal con la Arq. Carmen Porqueres de Sycz, realizada en Buenos Aires el 10 de enero de 2003. 37 Según consta en el sitio de internet de la Subsecretaría de la Gestión Pública, entre los organismos que han suscrito convenios de distinta naturaleza en el marco del Sistema de Gestión por Resultados hasta el momento (julio de 2003), figuran: la Administración Nacional de Medicamentos, Alimentos y Tecnología Médica (ANMAT); la Administración Nacional de Seguridad Social (ANSeS); la Autoridad Regulatoria Nuclear (ARN); la Biblioteca Nacional; la Biblioteca Nacional de Maestros; el Comité Nacional de Radiodifusión (COMFER); el Consejo Nacional de Regulación del Transporte; la Dirección Nacional de Migraciones; la Dirección Nacional de Patrimonio, Museos y Artes; la Dirección Nacional de Métodos Participativos de Justicia; el Hospital Dr. Baldomero Sommer; la Inspección General de Justicia; el Instituto de Economía Social y Asociativismo (INAES); el Instituto Nacional contra la Discriminación, la Xenofobia y el Racismo; el Instituto Nacional de la Propiedad Industrial (INPI); el Instituto Nacional de Tecnología Industrial (INTI); el Organismo Regulador del Sistema Nacional de Aeropuertos; la Oficina Anticorrupción; Prefectura Naval Argentina; el Programa Materno Infantil y Nutricional del Ministerio de Salud; el Registro Nacional de las Personas; el Registro de Propiedad Inmueble; la Secretaría de la Competencia, la Desregulación y la Defensa del Consumidor; la Secretaría de Cultura de la Nación; la Secretaría de Derechos Humanos; la Secretaría de Política Económica; la Secretaría de Salud dependiente del Ministerio de Bienestar Social de la Pcia. de Jujuy; el Servicio Argentino de Informática Jurídica (SAIJ); el Servicio de Conciliación Laboral Obligatoria; el Servicio Geológico Minero Argentino (SEGEMAR); la Subsecretaría de Política Criminal; la Superintendencia de Riesgos del Trabajo (SRT); y la Superintendencia de Servicios de Salud.


20

distintas organizaciones y procura vincularlos entre sí y con los objetivos estratégicos del gobierno nacional a través de varios instrumentos. De acuerdo con esta lógica, la misión de los Acuerdos Programa sería la de plasmar los compromisos de desempeño que cada entidad asume con el poder político; la de las Cartas Compromiso con el Ciudadano sería la de hacer lo propio entre cada entidad y los usuarios de sus servicios y la ciudadanía en general; y la de los Compromisos de Gestión de Resultados sería la de dejar plasmados los compromisos asumidos por los niveles gerenciales y medios de las organizaciones públicas con las máximas autoridades de las mismas, y entre distintas áreas de las entidades. Si bien en la concepción inicial de los Acuerdos Programa estaba previsto que los mismos funcionaran como nexo entre los objetivos de gestión de cada organización pública y los objetivos estratégicos del gobierno nacional, hasta el momento, esta conexión no resulta tan clara. En este sentido, es muy probable que la difusa conexión entre los objetivos organizacionales y los del plan de gobierno en vigencia radique al menos en parte en la inexistencia, en la Argentina, de un plan estratégico global explícito, que funcione como eje organizador para el sector público en su conjunto (Ossorio, 2003) – a la manera de lo que ocurre en países como Colombia y Costa Rica, donde existe la figura del ‘plan nacional de desarrollo’. Coordinación con otros mecanismos de evaluación. El Sistema de Gestión por Resultados no parece contemplar – al menos de modo explícito– la articulación de sus mediciones de desempeño y resultados con la evaluación de programas que se desarrolla en el marco del SIEMPRO o las evaluaciones de los resultados de la educación que se realizan en el contexto de los Operativos Nacionales de Evaluación de la Calidad Educativa. Coordinación con la programación presupuestaria. La intención de dotar a los distintos instrumentos del Sistema de Gestión por Resultados de una clara articulación con el proceso de programación presupuestaria se ha visto reflejada tanto en la legislación en la que aparecen mencionados como en ciertos rasgos de su diseño.38 Sin embargo, por el momento, estos esfuerzos no parecen haber tenido éxito. Entre los principales obstáculos en este sentido se destacan las limitaciones propias de la programación presupuestaria en general. En efecto, si bien a partir del proceso de reforma de la administración financiera que se inició en 1993, el Presupuesto Nacional ha logrado avanzar en la definición de categorías programáticas (programas, subprogramas, actividades y proyectos) y en la definición de objetivos y metas para cada una de ellas, en muchos casos, el modo en que las mismas han sido definidas no refleja la delegación de facultades programáticas ni las responsabilidades en la ejecución del gasto de manera adecuada (Rodríguez Larreta y Repetto, 2000; Ossorio, 2003, Plan Nacional de Modernización del Estado, 2000). En la Subsecretaría de la Gestión Pública reconocen ser conscientes de este problema, y aseguran estar trabajando para superarlo.39

Destino previsto para los resultados de la evaluación. Según se dispone en la normativa que regula el Sistema de Gestión por Resultados, la información obtenida a través de los mecanismos de monitoreo y seguimiento debe ser elevada al Vicepresidente de la Nación bajo la forma de informes de avance, con la “…previa revisión y aprobación de la Secretaría para la Modernización del Estado de la Vicepresidencia de la Nación y la Subsecretaría de la Gestión Pública de la Jefatura de Gabinete de Ministros” (Decreto 229/2000). Asimismo, en el marco del programa Carta Compromiso con el 38 A manera de ejemplos, pueden tomarse el requerimiento de que, al presentar su proyecto de Presupuesto General de la Administración Pública Nacional al Congreso, el Poder Ejecutivo detalle en el mismo los Acuerdos Programas celebrados y sus respectivos montos (Ley 25.152, Art. 6), y la disposición de que los Compromisos de Gestión de Resultados no se extiendan mas allá de cada ciclo fiscal (Decreto 992/2001, Arts. 6 y 7; Halliburton y Guerrera, 2002). 39 Entrevista personal con la Arq. Carmen Porqueres de Sycz, realizada en Buenos Aires el 10 de enero de 2003.


21

Ciudadano, cuando las tareas de seguimiento y análisis del desempeño de las organizaciones que realizan conjuntamente las unidades internas de monitoreo y los profesionales de la Subsecretaría de Gestión Pública resultan en la identificación de la necesidad de ajustes, estos resultados deben ser dados a conocer a la alta dirección del organismo (Subsecretaría de la Gestión Pública, 2002). Por último, una de las condiciones fijadas a las entidades participantes del programa Carta Compromiso con el Ciudadano es la de brindar amplia difusión a los resultados de su gestión, tomando como destinatarios a sus usuarios directos y al público en general. De allí que, al momento de evaluar su desempeño, el sistema de monitoreo repare, entre otros aspectos, en la amplitud y la accesibilidad de la información sobre resultados de la gestión, la calidad del sistema de medición y monitoreo instalado, y el uso dado a la información resultante del mismo dentro de la propia organización, y estos aspectos afecten su calificación final (Halliburton y Guerrera, 2002). Sumado a esto, la Subsecretaría de la Gestión Pública ha creado un sitio de internet en el que se incluye información sobre los resultados de gestión de las entidades evaluadas, además de detalles sobre el estado de ejecución de los presupuestos de gastos y del cálculo de recursos; estado de situación, perfil de vencimientos y costo de la deuda pública; información acerca de la regulación y el control de los servicios públicos obrante en los entes reguladores, etc. Este sitio de internet quedó registrado bajo la denominación www.cristal.gov.ar, en alusión a la transparencia que se buscó darle a la administración pública a través de la amplia difusión de todo esta información. La información sobre resultados de la gestión de los organismos que participan del Sistema de Gestión por Resultados puede ser también consultada en el sitio de internet de la Subsecretaría de la Gestión Pública40 y en las páginas web individuales de algunos de los propios organismos. Sin embargo, en la Argentina, la proporción de la población con fácil acceso a internet es limitada41, lo cual plantea serias dudas acerca del alcance efectivo que una estrategia de difusión tan ligada a la internet puede llegar a tener (Razzotti, 2003).

La primera evaluación del programa Carta Compromiso con el Ciudadano, realizada conjuntamente por la Subsecretaría de la Gestión Pública y las propias entidades participantes en 2001, llegó a la conclusión de que la primera ronda de Cartas había sido implementada sin suficiente conocimiento por parte de los usuarios y ciudadanos. La evaluación también concluyó que los “clientes/ciudadanos” no estaban participando en la definición de las metas esperadas ni en la definición de los criterios de calidad de los servicios ofrecidos, ni existían aún mecanismos para que los ciudadanos evaluaran el desempeño de las organizaciones o auditaran su funcionamiento. De ahí que, en respuesta a esta situación, la Subsecretaría de la Gestión Pública haya decidido crear la Unidad Sociedad Civil del programa, “…con el objetivo de impulsar en los organismos una serie de estrategias y modalidades de participación, destinadas a involucrar a los clientes/ciudadanos en la gestión, evaluación y control de los mismos y promover una administración más transparente” (Halliburton y otros, 2002: 160) y contratar los servicios de una consultora en temas de comunicación para fortalecer la estrategia de difusión de los resultados del Sistema.42 Por otra parte, el Sistema de Gestión por Resultados contempla varios mecanismos destinados a atraer la atención de las distintas partes involucradas (funcionarios de las propias entidades, autoridades políticas, usuarios y público en general) hacia los resultados de la gestión de las entidades públicas y a alentar el uso de la información originada en las mediciones de desempeño. Por ejemplo, al aprobar el Plan Nacional de Modernización en enero de 2001, el Decreto 103 estableció que los organismos públicos embarcados en procesos de modernización que cumplieran con todas las pautas establecidas 40 Ver: http://www.sgp.gov.ar. 41 Según Razzotti (2003: 5), en el año 2000, la penetración de internet en la Argentina era del 7 por ciento de la población. 42 Entrevista personal con la Arq. Carmen Porqueres de Sycz, realizada en Buenos Aires el 10 de enero de 2003.

http://www.cristal.gov.ar/


22

quedarían habilitados a disponer de hasta el 75 por ciento de los ahorros que obtuvieran a raíz de las reformas. Dichos ahorros podrían ser utilizados, entre otros fines, para “…otorgar incentivos salariales o premios por mayor productividad, calidad de servicios y cumplimiento de resultados” (Art. 6). A su vez, el Decreto dispuso que los organismos que cumplieran con los objetivos y metas fijados en sus Acuerdos Programa, podrían verse beneficiados con flexibilidades de gestión vinculadas a la administración de sus recursos financieros, al régimen de contratación de bienes y servicios, a la realización de modificaciones en sus estructuras organizativas, y a la creación de un sistema de incentivos —tanto para los niveles gerenciales como operativos— otorgados en función del cumplimiento de objetivos prefijados (Art. 7). Sumado a esto, en un documento conceptual de la Dirección de Planeamiento y Reingeniería Organizacional (2002) de la Subsecretaría de la Gestión Pública se mencionan otros tres incentivos al buen desempeño organizacional, que se valen de los resultados de las evaluaciones como insumo: (a) las “Certificaciones de Calidad de Servicios y Gestión”, destinadas a aquellos organismos que logren alcanzar los estándares de calidad establecidos en los Acuerdos Programa; (b) “Paquetes de Asistencia Técnica” destinados a los organismos que alcancen los objetivos previos previstos en los Acuerdos Programa; y (c) el “Premio Nacional a la Calidad”, instituido en 1992 a través de la Ley 24.127, con el fin de promover y alentar los procesos de mejoramiento continuo de la calidad en el sector privado empresario y en la esfera de la administración pública. Por último, en el marco del programa Carta Compromiso con el Ciudadano también se contempla el otorgamiento de una distinción, con el propósito de brindar reconocimiento e incentivo a los organismos que avancen en el cumplimiento de los objetivos del mismo. El programa tiene previsto premiar a aquellos organismos “…que pongan de manifiesto en su modalidad operativa la receptividad y la calidad en la prestación de los servicios, conforme a lo establecido en los componentes de evaluación”, así como difundir la experiencia de los casos más exitosos a los fines de promover su transferencia a otras instituciones del sector público (Halliburton y Baxendale, 2001: 37).

Los avances de la evaluación de resultados en el sector público argentino, a la luz de otras experiencias latinoamericanas A la luz de las experiencias de los países latinoamericanos analizados por el estudio del CLAD en el área de evaluación y gestión pública, uno de los rasgos que se perfilan como más distintivos del modo en que la evaluación de resultados se está viendo incorporada en el sector público argentino es la fragmentación. A diferencia de lo que ocurrió en Colombia, Costa Rica y Uruguay, los distintos mecanismos de evaluación adoptados no forman parte de un sistema internamente coherente y articulado, sino que han surgido en el marco de iniciativas independientes entre sí y, hasta el momento, han mantenido su autonomía respecto de los demás mecanismos. En este sentido, lo que se observa en la Argentina parecería asemejarse más a la opción que prevaleció en el sector público chileno, donde se decidió prescindir de la conformación de un sistema de evaluación propiamente dicho. Sin embargo, las iniciativas de evaluación del sector público argentino presentan un grado de disociación entre sí que es claramente mayor que el que media entre los mecanismos de evaluación de resultados de Chile, lo cual se ve reflejado al menos de dos formas. Por un lado, a diferencia de Chile, donde seis de los ocho instrumentos de evaluación de resultados caracterizados por Armijo (2003) dependen de un mismo organismo gubernamental –la Dirección de Presupuestos del Ministerio de Hacienda– en la Argentina, las cuatro iniciativas de evaluación aquí analizadas se encuentran a cargo de tres organismos diferentes: la Subsecretaría de la Gestión Pública, en los casos del sistema de evaluación de desempeño del SINAPA y de los mecanismos de monitoreo y


23

evaluación del Sistema de Gestión por Resultados; el Consejo Nacional de Coordinación de Políticas Sociales, en el caso del SIEMPRO; y el Ministerio de Educación de la Nación, en el caso de los Operativos Nacionales de Evaluación de la Calidad Educativa. Posiblemente el hecho de que, en el sector público chileno, la mayoría de los mecanismos de evaluación se halle bajo la órbita de un mismo organismo haya facilitado la progresiva articulación de la información generada por varios de estos instrumentos, que se ha venido registrando en los últimos años a través de los Balances de Gestión Integral. En este sentido, la relativamente reciente decisión del gobierno argentino de transferir al SIEMPRO del Ministerio de Desarrollo Social al Consejo Nacional de Coordinación de Políticas Sociales –del que, además del propio Ministerio de Desarrollo Social, también forman parte los Ministerios de Trabajo, Educación, Salud y Economía– podría estar sentando las bases para un accionar más coordinado entre el SIEMPRO, el Ministerio de Educación y los demás Ministerios involucrados en el Consejo. El segundo aspecto en que la disociación entre los mecanismos de evaluación del sector público argentino se ve puesto de manifiesto radica en la relativa segmentación que se observa entre los mismos en términos de los sectores de política pública y áreas de funcionamiento del Estado a los que se aplican. Como vimos previamente, tanto en Chile como en los demás países analizados por el estudio del CLAD, el espectro de áreas de acción del Estado abarcadas por las mediciones de desempeño y las evaluaciones de programas es muy amplio y variado. Por contraste, en la Argentina, los ámbitos de incumbencia y aplicación de estos mecanismos parecerían variar de acuerdo con el organismo gubernamental del que dependan. Por ejemplo, en el caso del SIEMPRO, las actividades de monitoreo y evaluación de programas han tomado hasta ahora por universo de aplicación al conjunto de programas dependientes del Ministerio de Desarrollo Social y, sólo en ocasiones, también a programas sociales seleccionados de otros Ministerios nacionales o de gobiernos provinciales. En el caso de los Operativos Nacionales de Evaluación de la Calidad Educativa, las áreas de incumbencia están claramente circunscriptas a la medición de los aprendizajes adquiridos por los alumnos de la educación básica y media. Mientras que, en el caso del SINAPA y el Sistema de Gestión por Resultados, el universo de aplicación es menos específico pero, hasta el momento y con muy contadas excepciones, se ha venido centrando en áreas y dependencias distintas de las de los otros dos mecanismos de evaluación. Esto es así a pesar de que cada uno de estos cuatro mecanismos evalúa aspectos del desempeño bastante bien diferenciados y potencialmente complementarios entre sí. Retomando los ejes de análisis en función de los cuales los dos modelos de evaluación de resultados identificados por Cunill Grau y Ospina Bozzi (2003b) en Colombia, Costa Rica, Chile y Uruguay se diferencian más marcadamente entre sí, creemos poder esbozar las siguientes apreciaciones. Desde el punto de vista de los valores y criterios enfatizados en las declaraciones de objetivos de las cuatro iniciativas de evaluación analizadas, en términos generales, la necesidad de contar con una herramienta estratégica de gestión y/o de formulación de políticas y programas públicos parecería haber predominado por sobre la preocupación por posibilitar o fortalecer la responsabilización. Al menos, así parecería sugerirlo el hecho de que, entre sus objetivos, las cuatro iniciativas hagan hincapié en propósitos tales como los de “mejorar la eficiencia y la eficacia”, “garantizar la calidad”, u “orientar la toma de decisiones”, y sólo el Sistema de Gestión por Resultados y –con un énfasis bastante menor– el SINAPA planteen esquemas de “premios” y “castigos” ligados al desempeño o incluyan alusiones a la “rendición de cuentas por el cumplimiento de compromisos con el logro de resultados”. En este sentido, resulta interesante destacar que, en los casos en los que se hace presente, el acento en la responsabilización por el logro de resultados toma por objeto a los funcionarios, gerentes y empleados de las organizaciones públicas y no a las autoridades políticas. Esto sugiere que el tipo de responsabilización aludido es de carácter administrativo y no político – lo que ubica a las iniciativas de evaluación argentinas más en línea con los valores y objetivos enfatizados por el “modelo presupuesto”


24

que con los planteados por el “modelo plan”. Los niveles del accionar del Estado en los que se centran las mediciones de desempeño y la evaluación varían de una iniciativa a otra. El sistema de evaluación del SINAPA se centra exclusivamente en la evaluación de desempeño a nivel individual, en tanto que los mecanismos de monitoreo y evaluación del Sistema de Gestión por Resultados concentran toda su atención en la medición de desempeño a nivel organizacional. Por su parte, el SIEMPRO se especializa en la evaluación y el monitoreo de programas y, a través de la realización de la Encuesta de Desarrollo Social, permite también efectuar un seguimiento de situación a nivel sectorial, en aspectos relacionados con la cobertura y eficacia de la política social, la situación laboral, y el acceso a la vivienda y a los servicios de salud y educación, entre otros. Por último, los Operativos Nacionales de Evaluación de la Calidad Educativa se centran en los niveles sectorial –para la educación común básica y media sólamente– y –a través de la evaluación del grado de asimilación de conocimientos por parte de los alumnos de cada escuela media y de uno de los tres ciclos de la EGB– también institucional u organizacional. En este sentido, tomadas en su conjunto, las iniciativas de evaluación del sector público argentino abarcan, aunque de manera parcial, los cuatro niveles de accionar del Estado de los que habla Ospina Bozzi (2001) en su artículo – es decir, los niveles sectorial, de programas, organizacional e individual. De los cuatro casos analizados por el estudio del CLAD, el único en el que se identificaron mecanismos de evaluación para cada nivel es el de Chile aunque, como parece suceder también en la Argentina, tampoco allí exista una articulación formal entre los esfuerzos de evaluación de resultados de los distintos niveles. La coordinación con el proceso de programación presupuestaria sigue siendo un aspecto problemático aún para el Sistema de Gestión por Resultados de la Subsecretaría de la Gestión Pública, que es la iniciativa en el marco de la cual se ha puesto mayor empeño por conseguirla. Esto constituye un hecho, de por sí, significativo dado que, tanto por sus objetivos declarados como por la lógica implícita en los principales rasgos de su diseño, el Sistema de Gestión por Resultados parece haber respetado bastante fielmente los principios y criterios más característicos de la NGP. Algo similar argumentan Ospina, Cunill Grau y Zaltsman (2003) en relación a las iniciativas de evaluación de resultados de Chile y Uruguay. Sin embargo, en estos dos países la articulación con el proceso de programación presupuestaria ha sido bastante más exitosa, dado que sus mecanismos de evaluación fueron diseñados tomando al ciclo presupuestario como un eje central. Es probable que esta diferencia entre el Sistema de Gestión por Resultados de Argentina y las iniciativas de evaluación de resultados de Chile y de Uruguay esté ligada con los espacios institucionales en que las mismas fueron generadas y de los que siguen dependiendo. En los casos de Chile y de Uruguay, se trata de los organismos del Poder Ejecutivo encargados de la programación presupuestaria – en Chile, la Dirección de Presupuestos del Ministerio de Hacienda y, en Uruguay, la Oficina de Planificación y Presupuesto. Por contraste, en la Argentina, el Sistema de Gestión por Resultados ha sido una iniciativa de la Subsecretaría de la Gestión Pública de la Jefatura de Gabinete de Ministros y allí ha permanecido, mientras que la programación del Presupuesto Nacional se encuentra a cargo del Ministerio de Economía. Por último, en relación al destino previsto para los resultados de las evaluaciones, lo que se observa es que, desde el punto de vista de la difusión que se le da a esta información, las estrategias empleadas parecen muy similares a las que el estudio del CLAD encontró en Colombia, Chile y Uruguay. A pesar de que el acceso de la población a internet es relativamente limitado, la principal vía de difusión de los resultados de las mediciones de desempeño y las evaluaciones para la ciudadanía en general es a través de este medio. Las principales excepciones son la difusión de los resultados de los Operativos Nacionales de Evaluación de la Calidad Educativa a través de una conferencia de prensa –aunque buena parte de la información generada no se da a conocer al público– y la relativa atención que reciben los resultados de la Encuesta de Desarrollo Social en los medios, cuando se dan a conocer.


25

Sumado a esto, otro aspecto interesante se relaciona con la existencia o no de un sistema de incentivos desarrollado con la finalidad de alentar el uso de los resultados de la evaluación. En este sentido, también se encontraron diferencias entre un mecanismo de evaluación y otro. Los que parecen haber asignado mayor importancia a este tema son el Sistema de Gestión por Resultados y el SINAPA, ambos bajo la coordinación de la Subsecretaría de la Gestión Pública. En los casos del SIEMPRO y los Operativos Nacionales de Evaluación de la Calidad Educativa, el principal incentivo que enfrentan los responsables de las políticas, los programas o los establecimientos evaluados para reparar en los resultados de las evaluaciones es el hecho de que, a través de las mismas, su desempeño puede ser individualizado. Reflexiones finales En síntesis, si bien con ciertas singularidades, las iniciativas de evaluación de resultados del sector público argentino analizadas aquí parecerían guardar mayores semejanzas con los mecanismos de evaluación de lo que Cunill Grau y Ospina Bozzi (2003b) han caracterizado como el “modelo presupuesto” que con el “modelo plan”. Así parecerían sugerirlo su fuerte énfasis en el uso de la evaluación para los fines de la gestión y la formulación de políticas y programas públicos y –aunque en menor medida– también como instrumento para la responsabilización administrativa. Dicho énfasis se encuentra reflejado tanto en la declaración de objetivos de cada una de las iniciativas como en varios de los principales rasgos de su diseño. Sin desmedro de estas similitudes, las iniciativas analizadas plantean al menos dos características que las distinguen de los dos modelos identificados en el estudio del CLAD. La primera de ellas es el alto grado de fragmentación con el que la evaluación de resultados parece estar viéndose incorporada en el sector público argentino. El segundo rasgo distintivo radica en la fallida articulación de las cuatro iniciativas de evaluación consideradas con el proceso de programación presupuestaria – lo que marca una importante diferencia respecto de los mecanismos de evaluación del “modelo presupuesto”. Sin embargo, a diferencia de lo que se observa en los sistemas de evaluación del “modelo plan”, en la Argentina no existe un ‘plan nacional de desarrollo’ o plan estratégico global y explícito de gobierno que los mecanismos de evaluación puedan tomar como eje articulador. Como argumentan Ospina, Cunill Grau y Zaltsman (2003) en relación a las iniciativas de evaluación del “modelo presupuesto”, el énfasis en aspectos relacionados con la gestión organizacional y la responsabilización administrativa que se observa en los mecanismos de seguimiento y evaluación del Sistema de Gestión por Resultados y en el sistema de evaluación del SINAPA ubica a estas dos iniciativas mucho más cerca del abordaje más prototípico de la NGP que de los sistemas de evaluación del “modelo plan”. En tal sentido, ¿qué nos sugiere el análisis de éstas y las otras dos iniciativas de evaluación de resultados del sector público argentino consideradas aquí en términos de las posibles implicancias de la influencia de la NGP? En consonancia con los resultados del estudio del CLAD sobre las iniciativas de evaluación de Colombia, Costa Rica, Chile y Uruguay, tampoco en el caso de las cuatro iniciativas de evaluación del sector público argentino que analizamos aquí parecieran encontrarse indicios que sugieran incompatibilidades entre aspectos del diseño o el funcionamiento de los mecanismos de evaluación y los principios democráticos o de equidad social. Por el contrario, al menos dos de las cuatro iniciativas apuntan a poner las mejoras que aspiran a derivar del uso de la evaluación en términos de eficiencia, eficacia y calidad –tres de los valores que la NGP ha tomado como más emblemáticos– al servicio de la atención de la población en situación de pobreza (es el caso del SIEMPRO) o de detectar y corregir desigualdades en la calidad de los servicios prestados (en el caso de los Operativos Nacionales de Evaluación de la Calidad Educativa).


26

Por lo demás, el hecho de que el tipo de responsabilización enfatizado sea el administrativo –y no el político– no parecería representar, de por sí, una limitación o un problema a futuro. Por el contrario, en el contexto de una cultura institucional y política en la que la responsabilización por el logro de resultados sigue siendo una noción difusa y abstracta, la creación de los primeros mecanismos de responsabilización con base en resultados dentro del sector público se perfila mucho más como un avance que como una potencial amenaza para los espacios reservados a los mecanismos propios de la democracia representativa. La experiencia de los países del “modelo plan” sugiere que la lógica y los mecanismos propios de la responsabilización administrativa en base al logro de resultados pueden ser puestos también al servicio de la responsabilización política y, a través de la misma, de la profundización de la democracia representativa. En el marco de una sociedad como la argentina en la que, a lo largo de los últimos años, la clase política se ha visto sumida en un profundo y –por momentos– alarmante descrédito, la realización de este tipo de avances parecería especialmente deseable. Particularmente, porque la incorporación de mecanismos tendientes a posibilitar la responsabilización política con base en el logro de resultados podría contribuir a sentar las bases para una renovación de la cultura política local y, a través de la misma, realizar un inestimable aporte a la consolidación de las instituciones democráticas. Las iniciativas de evaluación ya existentes podrían constituirse en los primeros pilares de un esquema de responsabilización orientado a tales fines. Sin embargo, en función de lo que parecería desprenderse de las conclusiones del estudio del CLAD sobre las experiencias de evaluación de la gestión pública en otros países latinoamericanos, para poder lograrlo deberían –cuanto menos– avanzar en las siguientes direcciones: (i) ampliar el ámbito de aplicación de las evaluaciones a nivel de política sectorial a todas las áreas de accionar del Estado, incluyendo también a las áreas que dependen de los niveles de gobierno provincial y municipal; (ii) extender la cobertura de los mecanismos de medición de desempeño y evaluación en los demás niveles de accionar gubernamental (nivel de programas, organizacional, e individual) con la aspiración de máxima de abarcar a toda la administración pública, incluyendo la totalidad de organizaciones que conforman el Estado; (iii) asegurar la articulación y la complementación de los distintos mecanismos de evaluación y medición de desempeño tanto vertical (es decir, entre los mecanismos centrados en la evaluación en distintos niveles del accionar del Estado) como horizontalmente (entre los distintos mecanismos de evaluación y/o control del Estado que operan a un mismo nivel); (iv) profundizar la reforma del proceso de elaboración presupuestaria, de manera tal de posibilitar una mejor vinculación entre el mismo y los procesos de planificación, evaluación y responsabilización centrados en resultados y (v) fijar un conjunto de resultados estratégicos para cada sector o área de política pública, programa y organización del Estado a ser alcanzados en un plazo determinado los que, junto con el esquema de responsabilidades, se vean claramente definidos y ampliamente publicitados con antelación. La profundización de las reformas en los aspectos recién mencionados presentan el mismo grado de relevancia a los efectos de asegurar la efectividad de estas iniciativas de evaluación en términos de los propósitos que ya tienen planteados – es decir, proporcionar información clave para la gestión del sector público, la formulación de políticas y programas, y para posibilitar la responsabilización administrativa – lo que las hace doblemente importantes y necesarias. Referencias bibliográficas Armijo, Marianela (2003): ‘La Evaluación de la Gestión Pública en Chile’. En Cunill Grau, Nuria y

Ospina Bozzi, Sonia (comps.): Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas.

Behn, Robert D. (1998): ‘The New Public Management Paradigm and the Search for Democratic


27

Accountability’. En International Public Management Journal, 1 (2): pp. 131-164. Behn, Robert D. (2001): Rethinking Democratic Accountability. The Brookings Institution,

Washington, D.C. Box, Richard C.; Gary S. Marshall; B.J. Reed y Christine M. Reed (2001): ‘New Public Management

and Substantive Democracy’. En Public Administration Review, Vol. 61 No.5. September/October: pp. 608-619.

Boyne, George; Julian Gould-Williams; Jennifer Law y Richard Walker (2002) : ‘Plans, Performance Information and Accountability: The Case of Best Value’. En Public Administration, Vol. 80 No.4 : pp. 691-710.

Chelimsky, Eleanor (1985): ‘Old Patterns and New Directions in Program Evaluation’. En Chelimsky, Eleanor (comp.): Program Evaluation: Patterns and Directions. The American Society of Public Administration, Washington, D.C.

Chumbita (1997): Evaluación en la Gestión Pública: Caso del Sistema Nacional de Evaluación Educativa. Instituto Nacional de la Administración Pública. Dirección Nacional de Estudios y Documentación, Direción de Estudios e Investigación. Serie I. Desarrollo Institucional y Reforma del Estado, Buenos Aires.

CLAD (2000): ‘La Responsabilización (“Accountability”) en la Nueva Gestión Pública Latinoamericana’. En CLAD (comp.): La Responsabilización en la Nueva Gestión Pública Latinoamericana. CLAD – BID – Eudeba, Buenos Aires.

Cunill Grau, Nuria y Ospina Bozzi, Sonia (comps.) (2003): Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas.

Cunill Grau, Nuria y Ospina Bozzi, Sonia (2003a): ‘Una Agenda de Investigación sobre la Evaluación de los Resultados de la Gestión Pública’. En Cunill Grau, Nuria y Ospina Bozzi, Sonia (comps.): Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas.

Cunill Grau, Nuria y Ospina Bozzi, Sonia (2003b): ‘La Evaluación de los Resultados de la Gestión Pública: Una Herramienta Técnica y Política’. En Cunill Grau, Nuria y Ospina Bozzi, Sonia (comps.): Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas.

DeLeon, Linda y Robert B. Denhardt (2000): ‘The Political Theory of Reinvention’. En Public Administration Review, Vol. 60 No.2, March/April: pp. 89-97.

DiIulio Jr., John J. (comp.) (1996): Deregulating the Public Service: Can Government Be Improved? Brookings, Washington, D.C.

Dirección de Planeamiento y Reingeniería Organizacional (2002): El Sistema de Gestión por Resultados: Documento conceptual. Oficina Nacional de Innovación de Gestión, Subsecretaría de Gestión Pública, Buenos Aires. Mes de agosto (documento interno).

Freijido, Emilio (2003): ‘El Sistema de Evaluación de la Gestión Pública por Resultados en Uruguay’. En Cunill Grau, Nuria y Ospina Bozzi, Sonia (comps.): Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas.

Glynn, John J. y Michael P. Murphy (1996): ‘Public Management: Failing Accountabilities and Failing Performance Review’. En International Journal of Public Sector Management, Vol. 9 No. 5/6: pp. 125-137.

Halliburton, Eduardo y Baxendale, Patricia (2001): Programa Carta Compromiso con el Ciudadano: Guía para su Implementación. Subsecretaría de la Función Pública. Oficina Nacional de Innovación de la Gestión, Buenos Aires.

Halliburton, Eduardo; Fiszelew, Rut; Alfaro, Mª Inés; Petrizza, Evangelina (2002): Participación Ciudadana en la Administración Pública. Dirección de Calidad de Servicios y Evaluación de


28

Gestión. Oficina Nacional de Innovación de Gestión, Buenos Aires. Halliburton, Eduardo y Guerrera, Germán (2002): Aportes para una Gestión por Resultados.

Estándares e Indicadores de Servicios. Programa Carta Compromiso con el Ciudadano. Dirección Nacional de Calidad de Servicios y Evaluación de Gestión. Subsecretaría de la Gestión Pública, Buenos Aires.

Hood, Christopher (1991): ‘A Public Management for All Seasons?’ En Public Administration, Vol. 69 Spring: pp. 3-19.

Hyndman, Noel S. y Ron Eden (2002): ‘Executive Agencies, Performance Targets and External Reporting’. En Public Money & Management, Vol. 22, No. 3, July-September: pp. 17-24.

Instituto para el Desarrollo de la Calidad Educativa (2000): Operativo Nacional de Evaluación de la Calidad Educativa. Boletín de Informe de Resultados, Total País. Curso: 3º Año EGB. Número: 1. Resultados en Matemática y Lengua. Ministerio de Educación.

Joyce, Philip G. (1997): ‘Using Performance Measures for Budgeting: A New Beat, or Is It the Same Old Tune?’ En Newcomer, Kathryn E. (comp.): Using Performance Measurement to Improve Public and Nonprofit Programs. Jossey-Bass Publishers, San Francisco.

Kettl, Donald F. (1997): ‘The Global Revolution in Public Management: Driving Themes, Missing Links’. En Journal of Policy Analysis and Management 16:3, Summer: pp. 446-462.

Kettl, Donald F. (2000): The Global Public Management Revolution. Brookings Institution Press, Washington, D.C.

Lopreite, Débora Cecilia (2001): ‘Gestión por Resultados y Burocracia: Las Restricciones Institucionales Presentes en la Responsabilización de los Funcionarios Públicos. Una Referencia al Caso Argentino’. Ponencia presentada en el VI Congreso Internacional del CLAD. Buenos Aires, Argentina.

Makón, Marcos P. (2000): ‘El Modelo de Gestión por Resultados en los Organismos de la Administración Nacional’. Ponencia presentada en el V Congreso Internacional sobre la Reforma del Estado y de la Administración Pública. Santo Domingo, República Dominicana.

Makón, Marcos P. (ca.2001): ‘Gestión por Resultados en Argentina: Lecciones y Aprendizajes’ [http://www.amefpp.org.mx/centrodoc/XXIXSemIPP/MarcosM.pdf].

Mawhood, Caroline (1997): ‘Performance Measurement in the United Kingdom (1985 – 1995)’. En Chelimsky, Eleanor y Shadish, William R. (comps.): Evaluation for the 21st Century. A Handbook. Sage Publications, Thousand Oaks.

Moore, Mark H. (1995): Creating Public Value: Strategic Management in Government. Harvard University Press, Cambridge, Massachusetts.

Mora Quirós, Mario (2000): ‘Responsabilización por el Control de Resultados’. En CLAD (comp.): La Responsabilización en la Nueva Gestión Pública Latinoamericana. CLAD – BID – Eudeba, Buenos Aires.

Mora Quirós, Mario (2003): ‘El Sistema Nacional de Evaluación de Costa Rica’. En Cunill Grau, Nuria y Ospina Bozzi, Sonia (comps.): Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas.

Morán, Alberto; Zeller, Norberto; Rivkin, Ana; y López, Andrea (2003): Evolución de la Estructura Organizativa,, Presupuesto y Personal de la Jefatura de Gabinete de Ministros, 1995 – 2002. Instituto Nacional de la Administración Pública. Dirección de Estudios e Información, Buenos Aires.

Moynihan, Donald P. (2002): ‘Managing for Results in State Government: Evaluating a Decade of Reform’. Ponencia presentada en el Annual Conference of the Association for Public Policy Analysis and Management. Dallas, Texas.

Naím, Moisés (1995): Latin America’s Journey to the Market: From Macroeconomic Shocks to Institutional Therapy. International Center for Economic Growth. Occasional Papers, No. 62. Institute for Contemporary Studies Press, San Francisco.


29

Neirotti, Nerio (2000): ‘Reflexiones sobre la Práctica de la Evaluación de Programas Sociales en Argentina (1995 – 1999)’. Ponencia presentada en el V Congreso Internacional sobre la Reforma del Estado y de la Administración Pública. Santo Domingo, República Doninicana.

Neirotti, Nerio. (2001). ‘La Función de Evaluación de Programas Sociales en Chile, Brasil y Argentina’. Ponencia presentada en el VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Buenos Aires, Argentina.

Newcomer, Kathryn E. (1997): ‘Using Performance Measurement to Improve Programs’. En Newcomer, Kathryn E. (comp.): Using Performance Measurement to Improve Public and Nonprofit Programs. Jossey-Bass Publishers, San Francisco.

Nores, Milagros (2002): El Sistema Nacional de Evaluación de la Calidad (SINEC). Centro de Estudios Educativos, Fundación Gobierno y Sociedad. Documento 59. Buenos Aires [http://www.fgys.org/pdf/DT%2059.pdf]

Norman, Richard (2002): ‘Rethinking the Thermostat: Paradoxes and a Pendulum Swing in the Performance Management Systems of New Zealand’s Public Sector’. Ponencia presentada en el Annual Conference of the Association for Public Policy Analysis and Management. Dallas, Texas.

Novacovsky, Irene; Carpio, Jorge; Perelman, Pablo; Botzman, Mirta; y Suárez, Eduardo (ca. 1996): ‘Sistema de Información, Monitoreo y Evaluación de Programas Sociales Dirigidos a la Población en Situación de Pobreza en la República Argentina’ (mimeo).

Osborne, David y Ted Gaebler (1992): Reinventing Government. How the Entrepreneurial Spirit Is Transforming the Public Sector. Addison-Wesley, Reading, Massachusetts.

Ospina Bozzi, Sonia (2001): ‘Evaluación de la Gestión Pública: Conceptos y Aplicaciones en el Caso Latinoamericano’. En Revista del CLAD Reforma y Democracia. No. 19 (Febrero). Caracas.

Ospina, Sonia; Cunill Grau, Nuria y Zaltsman, Ariel (2003): ‘Performance Evaluation, Public Management Improvement and Democratic Accountability: Some Lessons from Latin America’. Ponencia aceptada para ser presentada en el XXV Annual Conference of the Association for Public Policy Analysis and Management. Washington, D.C.

Ospina Bozzi, Sonia y Ochoa, Doris (2003): ‘El Sistema Nacional de Evaluación de Resultados de la Gestión Pública (SINERGIA) de Colombia’. En Cunill Grau, Nuria y Ospina Bozzi, Sonia (comps.): Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas.

Ossorio, Alfredo (2003): Diagnóstico Estratégico del Estado y de la Administración Pública Nacional. Subsecretaría de la Gestión Pública, Jefatura de Gabinete de Ministros. Buenos Aires. Mes de Marzo.

Oszlak, Oscar (1999): ‘De Menor a Mejor: El Desafío de la “Segunda” Reforma del Estado’. En Revista Nueva Sociedad, No. 160. Venezuela.

Pacto Federal de Modernización del Estado, Junio de 2001 [Disponible en: http://cffp.sgp.gov.ar/ compromisos/docs.html].

Petrei, Humberto (1998): Budget and Control: Reforming the Public Sector in Latin America. Inter-American Development Bank. Washington, D.C.

Plan Nacional de Modernización del Estado (2000) [http://www.sgp.gov.ar/sitio/institucional/ plan/plan_modernizacion.pdf].

Pollitt, Christopher (1993): Managerialism and the Public Services: The Anglo-American Experience. Blackwell Publishers, Cambridge, Massachusetts.

Razzotti, Alejandro (2003): Estudio de Caso: El Proyecto Cristal (Argentina). Trabajo realizado para el PREM Public Sector Group del Banco Mundial, en el marco del proyecto “E-Applications: Overcoming Challenges Inside Government" [http://www.sfp.gov.ar/sitio/institucional/plan/ informe_de_gestion_2002_2003/archivos_PDF/Documentos/Anexo_Documental/El%20proyecto%20Cristal.pdf].

Rinne, Jeffrey (2003): ‘The Politics of Administrative Reform in Menem’s Argentina: The Illusion of

http://cffp.sgp.gov.ar/compromisos/docs.html

http://cffp.sgp.gov.ar/compromisos/docs.html

http://www.sfp.gov.ar/sitio/institucional/plan/ informe_de_gestion_2002_2003/archivos_PDF/Documentos/Anexo_Documental/El proyecto Cristal.pdf




30

Isolation’. En Ross Schneider, Ben y Heredia, Blanca (comps.): Reinventing Leviathan: The Politics of Administrative Reform in Developing Countries. North-South Center Press, University of Miami.

Rodríguez Larreta, Horacio y Repetto, Fabián (2000): Herramientas para una Administración Pública más Eficiente: Gestión por Resultados y Control Social. Fundación Gobierno y Sociedad. Documento 39. Buenos Aires [http://fgys.org/pdf/DT%2039.pdf].

Ross Schneider, Ben (2000): ‘The Politics of Administrative Reform: Intractable Dilemmas and Improbable Solutions’. Ponencia presentada en la 1999 Conference on Sustainable Public Sector Finance. Federal Reserve Bank of Atlanta, Atlanta [http://www.frbatlanta.org/invokecfm? objectid=CBC39D21-11D5>].

Rossi, Peter H. y Freeman, Howard E. (1993): Evaluation: A Systemic Approach. Sage Publications, Newbury Park, California.

Shalock, Robert L. (2001): Outcome-Based Evaluation. Kluwer Academic/Plenum Publishers, New York.

SIEMPRO (1999): Gestión Integral de Programas Sociales Orientada a Resultados. Manual Metodológico para la Planificación y Evaluación de Programas Sociales. Fondo de Cultura Económica, Buenos Aires.

State Services Commission (1999): Improving Accountability: Setting the Scene. Occasional Paper No 10 [Disponible en: http://www.ssc.govt.nz].

Subsecretaría de la Gestión Pública (2003): Informe de Gestión 2002-2003. Jefatura de Gabinete de Ministros, Buenos Aires.

Tulic, María Lucrecia (1996): ‘Una Aproximación a la Evaluación de las Políticas Públicas: El Caso del SINEC’. En Revista Iberoamericana de Educación, Nº 10. Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura [http://www.campus-oei.org/revista/].

U.S. General Accounting Office (2001): Results-Oriented Budget Practices in Federal Agencies. Request for Views. GAO-01-1084SP. Washington, D.C.

Weiss, Carol H. (1998): Evaluation: Methods for Studying Programs and Policies. Prentice Hall, Upper Saddle River, N.J.

Wholey, Joseph S. y Newcomer, Kathryn E. (1997): ‘Clarifying Goals, Reporting Results’. En Newcomer, Kathryn E. (comp.): Using Performance Measurement to Improve Public and Nonprofit Programs. Jossey-Bass Publishers, San Francisco.

Wilson, James Q. (1989): Bureaucracy: What Government Agencies Do and Why They Do It. Basic Books, New York.

Legislación citada Decreto 993/1991 del Poder Ejecutivo Nacional Decreto 928/1996 del Poder Ejecutivo Nacional Decreto 229/2000 del Poder Ejecutivo Nacional Decreto 103/2001 del Poder Ejecutivo Nacional Decreto 992/2001 del Poder Ejecutivo Nacional Ley No. 24.127. Premio Nacional a la Calidad Ley No. 24.195. Sistema Educativo Nacional. Ley Federal de Educación Ley No. 25.152. Administración Federal de los Recursos Públicos. Régimen de Convertibilidad

Fiscal Resolución de la ex-Secretaría de la Función Pública No. 21/93 Resolución de la ex-Secretaría de la Función Pública No. 393/94 Resolución de la ex Secretaría de Desarrollo Social No. 2851/95

http://www.ssc.govt.nz/


31

Reseña biográfica Ariel Zaltsman Estudiante de doctorado en Administración Pública en la Robert F.Wagner Graduate School of

Public Service, New York University (NYU) Asistente de investigación en el Institute for Education and Social Research (NYU) Licenciado en Sociología (Universidad de Buenos Aires); Master of Science en Sociología (London

School of Economics) Entre 1995 y 1999, se desempeñó como consultor para el Ministerio de Economía y Obras y

Servicios Públicos de la República Argentina, y dictó clases de Metodología de la Investigación Social en la Facultad de Ciencias Sociales de la Universidad de Buenos Aires.

Dirección postal: 54 4th Avenue, Apt. 2,

Brooklyn, NY 11217 EE.UU.

Teléfono: 1-212-998-5814

E-mail: [email protected]

Documents

La evaluación de resultados en el sector público …unpan1.un.org/intradoc/groups/public/documents/CLAD/clad0047612.pdf · De acuerdo con los promotores de la NGP, en el marco de