Indicadores deDesempeño en el Sector Público

5

,

(

45

6

(

manuales

ndicadores de desempeo en el sector pblicoJuan Cristbal Bonnefoy Marianela Armijo

I

Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social - ILPES

Santiago de Chile, noviembre del 2005

Este documento fue preparado por Juan Cristbal Bonnefoy y Marianela Armijo, Experto y Consultora del rea de Polticas Presupuestarias y Gestin Pblica del ILPES, respectivamente, en el marco del Programa CEPAL/GTZ Modernizacin del Estado, Administracin Pblica y Desarrollo Econmico Local y Regional (GER/04/002).

Las opiniones expresadas en este documento, que no ha sido sometido a revisin editorial, son de exclusiva responsabilidad de los autores y pueden no coincidir con las de la Organizacin.

Publicacin de las Naciones Unidas ISSN impreso 1680-886X ISSN electrnico 1680-8878 ISBN: 92-1-322800-7 LC/L.2416-P LC/IP/L.263 N de venta: S.05.II.G.163 Copyright Naciones Unidas, noviembre del 2005. Todos los derechos reservados Impreso en Naciones Unidas, Santiago de Chile La autorizacin para reproducir total o parcialmente esta obra debe solicitarse al Secretario de la Junta de Publicaciones, Sede de las Naciones Unidas, Nueva York, N. Y. 10017, Estados Unidos. Los Estados miembros y sus instituciones gubernamentales pueden reproducir esta obra sin autorizacin previa. Slo se les solicita que mencionen la fuente e informen a las Naciones Unidas de tal reproduccin.

CEPAL - SERIE Manuales

N 45

ndice

Resumen ............................................................................................. 7 Introduccin....................................................................................... 9 I. Aspectos conceptuales de la evaluacin del desempeo institucional....................................................... 13 1.1 Especificidad de la evaluacin en el mbito pblico........... 13 1.2 Institucionalidad, actores y usuarios de los sistemas de indicadores de desempeo ................................................... 18 II. Indicadores de desempeo: definiciones, tIpologa y metodologas para su construccin............................... 21 2.1 Concepto de indicador de desempeo.................................. 21 2.2 Tipologas de indicadores .................................................... 25 2.3 Integracin de los indicadores de desempeo...................... 37 III. Construyendo los indicadores de desempeo............... 43 3.1 Pasos bsicos para la construccin de indicadores de desempeo............................................................................ 43 3.2 Planificacin estratgica e indicadores de desempeo ........ 62 3.3 Usando y comunicando la informacin entregada por los indicadores ..................................................................... 68 IV. Principales dificultades y desafos en la construccin y uso de los indicadores de desempeo ........................... 71 4.1 Dificultades mencionadas con mayor frecuencia en la construccin de indicadores............................................. 73 4.2 Principales desafos en la construccin de indicadores de desempeo....................................................................... 76 4.3 Evaluacin y gestin por resultados: conclusiones de su aplicacin en Amrica Latina.......................................... 77

3

Indicadores de desempeo en el sector pblico

V. Casos internacionales de construccin y aplicacin de indicadores de desempeo en instituciones pblicas.............................................................................79 5.1 Casos de indicadores en pases OCDE...............................................................................79 5.2 Casos de indicadores de desempeo en pases de Amrica Latina ....................................82 5.3 La metodologa del Cuadro de Mando Integral y los indicadores de desempeo..............87 VI. Lecciones y aprendizajes de la experiencia de aplicacin de los indicadores de desempeo en la administracin pblica.................................................................97 Bibliografa ...................................................................................................................................101 Serie Manuales: nmeros publicados...................................................................................105

ndice de cuadrosCuadro 1 Cuadro 2 Cuadro 3 Cuadro 4 Cuadro 5 Cuadro 6 Cuadro 7 Cuadro 8 Cuadro 9 Cuadro 10 Cuadro 11 mbito de los instrumentos de evaluacin en Chile ..................................................15 Qu mecanismos se utilizan para estimar la eficiencia, eficacia y costo efectividad/eficiencia del gasto (value for money) de las actividades pblicas? .......22 El costo de las evaluaciones de programas: Chile y Mxico......................................28 Ejemplos de indicadores de eficacia...........................................................................34 Ejemplos de indicadores de eficiencia........................................................................35 Ejemplos de indicadores de economa........................................................................36 Ejemplo de indicadores de calidad .............................................................................36 Criterios de validacin para la construccin de indicadores ......................................59 Tipologa de las categoras de indicadores segn los usuarios o destinatarios ..........69 Ficha de presentacin de indicadores de desempeo de las instituciones pblicas chilenas.........................................................................................................83 Indicadores de gestin de la Direccin Nacional de Vialidad....................................86

ndice de figurasFigura 1 Figura 2 Figura 3 Figura 4 Figura 5 Figura 6 Figura 7 Figura 8 Figura 9 Figura 10 Figura 11 Figura 12 Figura 13 Figura 14 Figura 15 Figura 16 La medicin del desempeo es parte de un largo proceso de planificacin...............17 Interrelaciones desde la perspectiva del proceso productivo, entre economa, eficacia y eficiencia ....................................................................................................26 Medidas por mbito de desempeo y preguntas que se abordan................................27 Tipo de indicadores de desempeo desarrollados en los pases .................................27 Ciclo bsico del proceso de construccin de indicadores de desempeo...................44 Diagrama conceptual del sistema de informacin para la gestin (SIG)....................48 Tipologa de indicadores segn nivel organizacional y planificacin........................51 Modelo de funcionamiento de una unidad de control de gestin ...............................53 Ejemplo de la ficha de presentacin de indicador de desempeo de las instituciones pblicas chilenas, en su presentacin a la Direccin de Presupuestos .....56 Ciclo del control de gestin ........................................................................................68 Identificacin de procesos y productos estratgicos...................................................70 Modelo lgico programa going global ....................................................................80 Esquema para la evaluacin del desempeo de las bibliotecas municipales. Ejemplo Performance Measures for Councils ...........................................................81 CMI Institucional, Instituto de Normalizacin Previsional ........................................93 Centro de gravedad estratgico, Instituto de Normalizacin Previsional de Chile............................................................................................................................94 Mapa estratgico del patronato municipal de deportes de Granada ...........................95

4


N 45

ndice de recuadrosRecuadro 1 Recuadro 2 Recuadro 3 Recuadro 4 Recuadro 5 Recuadro 6 Recuadro 7 Recuadro 8 Recuadro 9 Recuadro 10 Recuadro 11 Recuadro 12 Recuadro 13 Recuadro 14 Recuadro 15 Recuadro 16 Recuadro 17 Recuadro 18 Recuadro 19 Recuadro 20 Recuadro 21 Recuadro 22 Recuadro 23 Recuadro 24 Recuadro 25 Recuadro 26 Recuadro 27 Recuadro 28 Recuadro 29 Recuadro 30 Recuadro 31 Recuadro 32 Institucionalizacin de la funcin de evaluacin de resultados ................................. 19 Sistematizacin de las actividades de evaluacin ...................................................... 19 Fomentando una cultura de evaluacin ...................................................................... 20 La medicin de resultados y los problemas de nomenclatura .................................... 24 Fundamentos para la construccin de indicadores de gestin en Chile ..................... 25 Definicin de resultados intermedios y finales .......................................................... 27 Indicadores de desempeo para los entes locales del Reino Unido ........................... 29 Clasificacin de indicadores de gestin en Espaa.................................................... 32 Aspectos a tener en cuenta para la evaluacin de la eficacia en una organizacin.... 33 La meta de mejorar la coordinacin ........................................................................... 38 Preguntas bsicas para la identificacin de misin institucional ............................... 46 Ejemplos de objetivos estratgicos............................................................................. 47 Requisitos de las metas de gestin del SEV de Uruguay ........................................... 49 Ejemplos de metas ambiguas y adecuadas ................................................................. 49 Tipos de benchmarking .............................................................................................. 54 Requisitos de los indicadores a nivel individual ........................................................ 56 Requisitos de los reportes de gestin ......................................................................... 62 Definiciones estratgicas del sistema de control de gestin de Chile ........................ 64 Factores crticos para el desarrollo de un proceso de planificacin estratgica en el mbito pblico ................................................................................................... 66 Integracin entre la planificacin estratgica y la medicin de la gestin en Estados Unidos ........................................................................................................... 67 Uso de la planificacin estratgica en las agencias federales de Estados Unidos......... 67 Factores claves en la aplicacin del sistema de planificacin y control de gestin en la DIBAM.................................................................................................. 70 Dficit de las polticas de compensacin y promocin en Amrica Latina ............... 72 Principales dificultades en el desarrollo de los indicadores de desempeo. Estudio realizado por la OCDE en 1994 en los pases miembros de esta organizacin............. 72 Dificultades para medir los insumos y productos en el desarrollo de indicadores de eficiencia ............................................................................................ 75 Indicadores de desempeo en los municipios locales del Reino Unido..................... 80 Fundamentacin de la evaluacin del desempeo en Chile ....................................... 82 Ciclo de implantacin del sistema de evaluacin de la gestin pblica..................... 84 Misin y objetivos estratgicos de la Direccin de Vialidad Nacional ..................... 85 Caractersticas de un cuadro de mando integral ......................................................... 88 Ajustes al modelo del CMI para su aplicacin en las organizaciones del sector pblico.............................................................................................................. 89 mbitos e indicadores de CMI para los servicios pblicos y la medicin de la productividad del gasto pblico.................................................................................. 90

ndice de grficosGrfico 1 Tipos de mediciones de desempeo utilizadas por gerentes del Gobierno Federal de Estados Unidos ......................................................................................... 38

5


N 45

Resumen

Este documento desarrolla de manera didctica tanto los aspectos conceptuales como metodolgicos involucrados en el diseo y formulacin de indicadores de desempeo en el mbito pblico. Asimismo, entrega los elementos que permitan conocer las principales potencialidades, dificultades y lmites de la implementacin de los indicadores. Sus contenidos abordan el uso de los indicadores de desempeo en un contexto de desarrollo institucional de la evaluacin del desempeo, vinculando estos instrumentos a la planificacin estratgica y a la metodologa de cuadro de mando integral (balanced scorecard). En el acpite referido a la construccin de indicadores de desempeo se desarrollan en forma secuencial la identificacin de objetivos, productos, medidas de desempeo y responsabilidades organizacionales. De igual manera, se presenta la construccin de frmulas y algoritmos, diseo de sistemas de informacin, validacin de indicadores y los procesos de anlisis y comunicacin de los resultados obtenidos a partir de los indicadores. Las secciones conceptuales y metodolgicas son complementadas con ejemplos prcticos que permitan identificar las situaciones de mayor complejidad que se enfrentan en el diseo y utilizacin de los indicadores, poniendo nfasis en la ejemplificacin del uso de esta herramienta en distintas experiencias internacionales, tanto de pases de Amrica Latina como de la OECD.

7


Este manual privilegia la sencillez en la exposicin de las ideas sobre la extensin analtica, con el objeto de que se convierta en una herramienta de apoyo para todas las actividades de capacitacin, investigacin y cooperacin tcnica que desarrolla el ILPES. Su objetivo ltimo es promover la instauracin de indicadores de desempeo de las instituciones pblicas, facilitando los procesos de mejoramiento de la gestin y la rendicin de cuentas del sector pblico.

8


N 45

Introduccin

La evaluacin del desempeo de la gestin pblica est en el centro de las preocupaciones de los tomadores de decisiones de las instituciones gubernamentales, a todos los niveles de la gestin nacional, regional y local. La exigencia por optimizar los niveles de eficiencia y eficacia en el uso de los recursos, as como generar y fortalecer los mecanismos de rendicin de cuentas hacia los ciudadanos y los grupos de inters que rodean la accin pblica son los fundamentos bsicos que han tenido los gobiernos para impulsar el desarrollo de indicadores de desempeo en las instituciones pblicas. Las recomendaciones de polticas econmicas del Consenso de Washington marcaron la agenda de reformas en Amrica Latina durante la primera mitad de la dcada de los noventa. Estas frmulas ponan el acento en los cambios institucionales que se relacionan con la disciplina fiscal, la reforma fiscal e impositiva, la reorientacin del gasto pblico hacia la salud y la educacin, las privatizaciones de empresas pblicas y la desregulacin de los mercados. Sin embargo, la evidencia emprica demuestra que las iniciativas implementadas hasta mediados de los noventa se centraron en el restablecimiento de los equilibrios macroeconmicos y la reestructuracin de incentivos de mercado y precios relativos. Las reformas desplegadas no afectaron sustancialmente la institucionalidad estatal, con la excepcin de aquellas que afectaron a las empresas pblicas, ya sea por la va de las privatizaciones o por la bsqueda de una mayor eficiencia y eficacia en las empresas que continuaron en el mbito estatal (Haggard, 1995).

9


El proceso de reformas logr reducir el dficit fiscal promedio de la regin de un 2,2% del PIB en 1990 a un 1,1% en 1997,1 pero subsistieron en la mayora de los pases latinoamericanos altos niveles de pobreza y de desigualdad social. En este contexto, en 1998 la CEPAL propuso, a travs del Pacto Fiscal, un redireccionamiento de las reformas del Estado enfatizando el desarrollo institucional y el fortalecimiento de la gobernabilidad. Tambin otras instituciones, como el Banco Mundial, comenzaron a revalorar el rol de las instituciones estatales en el desarrollo y a relativizar la importancia de las "fallas de mercado" en comparacin a las "fallas institucionales". En el mbito poltico estas propuestas se formalizan durante la Cumbre de las Amricas de 1998, denominado Consenso de Santiago (o neo-Consenso de Washington). Este conjunto de proposiciones plantea que las debilidades institucionales constituyen un cuello de botella para transformaciones econmicas ms profundas, reafirmndose que la calidad del gasto pblico es tan importante como el balance fiscal. De este modo, la preocupacin por el funcionamiento del aparato estatal ha vuelto a estar en el centro del debate. La reforma del Estado en Amrica Latina durante la ltima dcada, ha sido enfrentada por los diferentes gobiernos a travs de una serie de procesos de modernizacin administrativa del aparato estatal. Se ha dado especial nfasis a la necesidad transitar desde un modelo de gestin burocrtico-tradicional caracterizado por un nfasis en los insumos del proceso y en el control externo, hacia un modelo de gestin pblica orientada a los resultados. Este modelo releva la preocupacin por la identificacin clara de objetivos a lograr con el uso de los recursos, as como el establecimiento de metas e indicadores de desempeo que puedan medir el cumplimiento de dichas metas. En el marco de estas reformas de segunda generacin surge un conjunto de iniciativas y programas gubernamentales dirigidos a desarrollar mecanismos de evaluacin de la gestin, entre los cuales se cuentan sistemas de indicadores de desempeo asociados en algunos casos a los procesos de planeacin de objetivos institucionales a nivel macro, al proceso presupuestario, y/o al establecimiento de convenios por desempeo como instrumentos de responsabilizacin de los directivos. En este contexto tambin se asume que los propios ciudadanos interesados pueden evaluar la calidad, cantidad y oportunidad de los bienes y servicios recibidos, por lo que en algunos programas se incorpora la evaluacin de resultados por parte de los destinatarios o actores interesados (stakeholders).2 Bsicamente, los indicadores de desempeo al proveer informacin sobre reas fundamentales de la accin de los entes pblicos tales como la eficiencia, eficacia, calidad, y economa de los recursos, aportan al logro de un mejoramiento de la gestin y a una mayor transparencia de la accin pblica. En efecto, contar con una batera de indicadores de desempeo vinculados a la gestin estratgica de las instituciones, apoya la toma de decisiones de los directivos sobre bases ms ciertas, permite mejorar el desempeo y formular el presupuesto sobre criterios ms racionales, junto con posibilitar la rendicin de cuentas a los diferentes grupos de inters. La utilidad de contar con indicadores de desempeo para los gobiernos es indiscutible. No obstante, su incorporacin eficaz en el mbito pblico conlleva una serie de desafos que es preciso tener en cuenta tanto en la fase de diseo como en la de implementacin.

1

2

Promedio simple para 19 pases del saldo del Gobierno Central. ILPES, Base de Datos de Estadsticas de las Finanzas Pblicas, http://www.cepal.cl/ilpes/. El trmino stakeholder da cuenta de un amplio grupo de personas naturales y jurdicas que son afectadas por las decisiones y acciones pblicas. El derecho administrativo moderno reconoce a stos como los titulares de derechos o intereses legtimos individuales o colectivos, quines pudieren resultar afectados en sus derechos y a los grupos intermedios que la ley reconozca ser titulares de intereses colectivos.

10


N 45

Entre estos desafos se destaca la cultura organizacional presente en las administraciones pblicas, que dificulta transitar hacia una gestin ms comprometida por los resultados y posicionar el tema de la evaluacin de la gestin como eje central de las preocupaciones gubernamentales. Junto a lo anterior, se aade la debilidad de los sistemas de servicio civil que limita la delegacin de facultades y alcanzar mayores niveles de responsabilizacin de los directivos pblicos. Por ltimo, se seala el dbil proceso de consolidacin de los modelos burocrticos que posibiliten el funcionamiento de administraciones pblicas con procedimientos transparentes y confiables, sobre los que se pueda asentar el trnsito hacia una mayor responsabilizacin por los resultados. El objetivo de este documento es desarrollar un instrumento que brinde acceso a la conceptualizacin y metodologa para el diseo de indicadores de desempeo en el mbito pblico, as como entregar elementos que permitan conocer las principales potencialidades, dificultades y lmites del diseo e implementacin de los indicadores. Desde esta perspectiva la parte conceptual y metodolgica ser complementada con ejemplos prcticos que permitan identificar las situaciones de mayor complejidad que se enfrentan en el diseo y utilizacin de los indicadores, poniendo nfasis en la ejemplificacin del uso de esta herramienta en distintas experiencias internacionales.3 Este manual est dirigido a directivos pblicos y funcionarios con responsabilidades en las reas de planificacin y evaluacin de la gestin, tanto a nivel de la administracin central del Estado, como en el mbito de las organizaciones pblicas que se desempean en gobiernos subnacionales. Se espera adems que a partir de este manual se acceda a un material que permita realizar labores de capacitacin y cooperacin tcnica, as como promover la instauracin de indicadores de desempeo en la gestin de las instituciones pblicas, facilitando los procesos de mejoramiento de la gestin y la rendicin de cuentas pblicas. La estructura del manual es la siguiente, en un primer captulo se desarrollan los aspectos conceptuales de la evaluacin del desempeo institucional, seguidamente en el segundo captulo se abordan las definiciones, tipologa y las metodologas para la construccin de los indicadores de desempeo. En el captulo III se desarrollan los aspectos bsicos para la construccin de los indicadores, as como algunas referencias acerca de la planificacin estratgica como herramienta metodolgica que se vincula estrechamente al proceso de construccin de los indicadores. El captulo cuatro entrega, de acuerdo a la experiencia de trabajo de los autores, y de la sistematizacin de la bibliografa, las principales dificultades y desafos en la construccin de los indicadores de desempeo. Seguidamente se presentan algunos ejemplos de la construccin y aplicacin de indicadores de desempeo aplicados a casos internacionales, en instituciones pblicas de dos pases de la Organizacin de Cooperacin y Desarrollo Econmico (OCDE) y de tres pases de Amrica Latina. Finalmente se sistematizan las principales lecciones y aprendizajes de la experiencia de aplicacin de los indicadores de desempeo en la administracin pblica.

3

En este manual se recogen partes y reflexiones del documento Los Indicadores de Evaluacin del desempeo: Una herramienta para la gestin por resultados en Amrica Latina, Boletn N 13 del ILPES, elaborado por Juan Cristbal Bonnefoy.

11


N 45

I.

Aspectos conceptuales de la evaluacin del desempeo institucional

1.1 Especificidad de la evaluacin en el mbito pblicoConceptualmente la evaluacin, se inserta en el marco terico del anlisis de las polticas pblicas, en la medida que sta persigue producir informacin que tenga alguna relevancia con la toma de decisiones poltica-administrativas, informacin til que permita resolver problemas concretos (Ballart, 1992). La revisin de la documentacin especializada da cuenta de mltiples definiciones sobre evaluacin en el mbito pblico, una de las ms completas, aplicada a la gestin de las entidades, es la desarrollada en el marco de un estudio realizado en los pases de la OCDE. En sta se seala que la evaluacin de la gestin es la medicin sistemtica y continua en el tiempo de los resultados obtenidos por las instituciones pblicas y la comparacin de dichos resultados con aquellos deseados o planeados, con miras a mejorar los estndares de desempeo de la institucin (OCDE/PUMA 1998). Otra definicin, pero esta vez enmarcada en el mbito de los programas pblicos, es la que seala que la evaluacin es la medicin sistemtica de la operacin o impacto de un programa o poltica pblica, comparada con estndares implcitos o explcitos en orden a contribuir a su mejoramiento (Weiss, 1998). 13


En trminos de su operatividad y para contextualizar y delimitar el foco de evaluacin de inters de este manual, podramos clasificar la evaluacin de la siguiente manera: Segn el objeto de la evaluacin esta clasificacin nos permite pronunciarnos sobre diversos mbitos de las intervenciones gubernamentales: Evaluacin de polticas pblicas Evaluacin de programas pblicos4 Evaluacin de gestin y resultados de las entidades pblicas, y Evaluacin del desempeo individual Segn el propsito de la evaluacin:5 En general los fines de a los que se dirige la evaluacin, dependern del objeto de sta, pero en trminos globales tiene que ver con la generacin de informacin para la toma de decisiones, como conocimiento para la accin. En el caso de la evaluacin de polticas y programas el objetivo claro de la evaluacin es el perfeccionamiento de stos, en trminos de maximizacin de eficacia (logro de objetivos buscados), y eficiencia desde el punto de vista de la economicidad de los medios utilizados, en un contexto de escasez de recursos. En el caso de la evaluacin del desempeo de las entidades pblicas, el propsito es un mix entre el apoyo a la toma de decisiones de las estrategias para lograr mejores resultados y gestionar ms eficientemente y eficazmente sus procesos, as como apoyar la rendicin de cuentas a usuarios y diferentes grupos de inters, y para fines de formulacin presupuestaria, asignando recursos a cumplimiento de objetivos. Segn los mandantes de la evaluacin: Evaluacin externa desarrollada por entes independientes de la entidad. Evaluacin interna, desarrollada por la propia entidad ya sea por imposicin de un ente externo como la autoridad presupuestaria, Congreso, Contralora, etc., o bien por propia decisin como instrumento de apoyo a la toma de decisiones.

Segn la etapa de la intervencin de la accin pblica, lo cual considera a la evaluacin como un proceso el cual puede realizarse en las siguientes etapas de la intervencin o accin pblica: Evaluacin ex ante: se realiza previamente a la implantacin de la accin gubernamental, en la cual se encuentra los estudios de diseo de programas, estudios de pre-inversin y similares.Se entender por evaluacin de las polticas pblicas aquella dirigida a pronunciarse sobre los resultados en el cumplimiento de objetivos generales de "poltica", as como la resolucin de un determinado problema en un rea o sector de la poltica (social, salud, vivienda, etc.). Este tipo de evaluacin requiere integrar metodologas de tipo cuantitativo y cualitativo y el uso de la informacin tiene una mayor relevancia para decisiones de polticas pblicas. Por evaluacin de programas pblicos se entender aquella dirigida a evaluar los impactos o resultados de una intervencin pblica directa, sobre una realidad social. El uso de su informacin tambin involucra decisiones polticas amplias, pero se focaliza ms hacia decisiones que tienen que ver con mejorar el funcionamiento del programa y el impacto hacia la poblacin especfica que sirve. Weiss seala al menos 5 tipos posibles de usos de la evaluacin para la toma de decisiones de los directivos pblicos, en el caso de los Programas: (a) realizar correcciones tempranamente de aspectos claves del proceso, tales como clientes a los que va dirigidos, aspectos organizacionales relativos a los equipos internos, etc., (b) continuidad, expansin o institucionalizacin de un programa, o recorte, finalizacin o abandono de ste (c) probar nuevas ideas para el programa (d) elegir entre dos o ms alternativas diferentes, como currculos, seguros de salud, etc., en la idea de encontrar las mejores alternativas para llegar a los resultados finales, (e) decidir si se continua el financiamiento del programa.

4

5

14


N 45

Evaluacin de procesos: se realiza durante el ejercicio de la accin gubernamental y tiene que ver con el uso de los recursos para el cumplimiento de los objetivos, el ajuste a la programacin de la generacin de los productos, entre otros aspectos. Evaluacin ex post: se realiza una vez finalizada la intervencin o accin gubernamental, o la gestin de un determinado perodo, e involucra el anlisis y pronunciamiento de los resultados inmediatos, intermedios e impactos o resultados finales.

No es menor insistir en la necesidad de delimitar el objeto de evaluacin, dado que el foco al cual se dirigirn los esfuerzos de evaluacin tendr distintos propsitos, usuarios, y por supuesto diferentes metodologas para realizar el proceso evaluativo. En efecto, la evaluacin de programas se podra reservar para aquellas evaluaciones de un conjunto de recursos y actividades organizadas para obtener ciertos objetivos, cuyos resultados tienen relevancia a nivel de la gestin del programa. Esta evaluacin intentara responder a cuestiones relativas con la direccin, el funcionamiento y el impacto de un programa especfico en la poblacin a la que sirve. Mientras que la evaluacin de polticas tendra relevancia a nivel de instancias de decisin poltica e intentara responder a cuestiones relacionadas con la generalizacin de una determinada poltica en cuanto que aproximacin a un determinado problema, y que por tanto, podra afectar a un nmero importante de personas, resultar en cambios organizativos de consideracin o en la redistribucin de recursos presupuestarios entre distintos departamentos administrativos (Ballart, 1992). En la evaluacin de polticas y de programas lo que se busca identificar es el efecto final de la intervencin pblica a partir de la aplicacin de un conjunto de programas pblicos, o acciones gubernamentales. La evaluacin de las polticas pblicas requiere de sofisticadas metodologas de evaluacin. En el mbito de los programas pblicos, lo que ms se observa es la aplicacin de metodologas basadas en el marco lgico, rbol de problemas y planificacin por objetivos. En el caso de la evaluacin de los resultados y la gestin de las instituciones pblicas a nivel central, regional o local, observamos en general que las metodologas utilizadas tienen que ver con el diseo de sistemas de indicadores de desempeo los que son apoyados con procesos de previos de planificacin estratgica o de cuadro de mando integral. A modo de ejemplo, a continuacin se sealan los instrumentos de evaluacin que estn en curso en la experiencia de Chile y los mbitos de intervencin a los que se dirigen:

Cuadro 1

MBITO DE LOS INSTRUMENTOS DE EVALUACIN EN CHILEMACRO (Ministerios) mbito: polticas y programas pblicosX X X X

Niveles de toma de decisiones/ instrumentos

MESO (Servicios pblicos) mbito: gestinX X X X X X X

MICRO (Funcionarios) mbito: desempeo individual y grupal

Sistema de seguimiento de programacin gubernamental Evaluacin de programas gubernamentales Evaluacin en profundidad Evaluacin comprehensiva del gasto Indicadores de desempeo Programas de mejoramiento de gestin Balance de gestin integral

X X

X

Fuente: Evaluacin de la Gestin Pblica en Chile. CLAD, 2002.

15


1.1.1

Por qu evaluar la gestin

El por qu la evaluacin importa, ya casi es un lugar comn dentro de la literatura alrededor del tema, y su principal utilidad en el marco de la justificacin de la accin pblica, tiene que ver finalmente con que a partir de datos fiables sobre los resultados se abre la posibilidad de informar y rendir cuenta a los ciudadanos sobre el uso de los recursos y el grado de obtencin de los objetivos propuestos. Otra perspectiva sobre la importancia de los indicadores de gestin es que stos hacen posible la rendicin de cuentas, la cual est en el centro del corazn del sistema de gobernabilidad poltica (Schacter, 2002). En el mbito pblico el tema de la evaluacin cobra una importancia mayor en la medida que a diferencia del sector privado los parmetros para identificar el cumplimiento de resultados requiere construir medidas explicitas de lo que se considera un buen desempeo. Las instituciones pblicas, no cuentan con la ltima lnea del balance o bottom line que tienen las instituciones privadas a travs de los beneficios o prdidas de su gestin. En efecto, la justificacin de la existencia pblica de esa entidad gubernamental, est dada por un mandato legal, que la faculta a realizar dicha produccin de bienes y servicios. Sin embargo a diferencia del sector privado, las instituciones pblicas enfrentan un conjunto de dificultades para precisar e identificar claramente el tema del mandato (qu es lo que debe producirse), los usuarios y los parmetros con los cuales se juzgar el buen o mal desempeo. Entre las dificultades ms relevantes se mencionan: Ambigedad de los objetivos que tienen que cumplir los organismos pblicos. Escasa precisin de los productos relevantes o estratgicos (aquellos que son los necesarios para cumplir con la misin institucional), dndose el caso que varias instituciones producen los mismos bienes, o se producen bienes y servicios no relacionados con el quehacer relevante de la institucin. No existe claridad de quines deben responder por los resultados. No se establecen las consecuencias del buen o mal desempeo, haciendo que la evaluacin muchas veces sea un ejercicio intil.

Sintetizando, los beneficios de la evaluacin a travs de indicadores de desempeo son mltiples, entre los cuales podemos mencionar los siguientes: Apoya el proceso de planificacin (definicin de objetivos y metas) y de formulacin de polticas de mediano y largo plazo. Posibilita la deteccin de procesos o reas de la institucin en las cuales existen problemas de gestin tales como: uso ineficiente de los recursos, demoras excesivas en la entrega de los productos, asignacin del personal a las diferentes tareas, etc. Posibilita a partir del anlisis de la informacin entre el desempeo efectuado y el programado, realizar ajustes en los procesos internos y readecuar cursos de accin eliminando inconsistencias entre el quehacer de la institucin y sus objetivos prioritarios: eliminar tareas innecesarias o repetitivas, tramites excesivos o se definan los antecedentes para reformulaciones organizacionales. Aun cuando no es posible establecer una relacin automtica entre resultados obtenidos y la asignacin de presupuesto, contar con indicadores de desempeo sienta las bases para una asignacin ms fundamentada de los recursos pblicos. Establece mayores niveles de transparencia respecto del uso de los recursos pblicos y sienta las bases para un mayor compromiso con los resultados por parte de los directivos y los niveles medios de la direccin.

16


N 45

Apoya la introduccin de sistemas de reconocimiento al buen desempeo, tanto institucionales como grupales e individuales.

1.1.2

Foco de evaluacin del desempeo en las organizaciones pblicas

El foco de evaluacin sobre el cual nos preocuparemos en este documento ser sobre el desempeo de las organizaciones pblicas.6 Analizado este desempeo desde el punto de vista de los resultados finales o impacto de la accin de la entidad en el cumplimiento de su misin, y tambin de cmo stos fueron logrados en trminos de la eficiencia (uso de recursos para la generacin de los productos), eficacia (capacidad de cumplir con la produccin comprometida y de logro de objetivos7), calidad (capacidad de lograr la produccin de los bienes y servicios de acuerdo a los atributos esperados por los usuarios), y economa (cmo se organizaron los recursos econmicos y presupuestarios para el logro de los resultados).8 Este foco asume que la evaluacin se relaciona estrechamente con el proceso de planificacin y programacin institucional. En este sentido la posibilidad de pronunciarse sobre los resultados (lo que se logr), asume la existencia de objetivos (lo que se esperaba lograr), los cuales deben ser establecidos en trminos de metas concretas posibles y susceptibles de ser medidas a travs de indicadores. Como se grafica en la Figura 1, la medicin del desempeo es parte de un proceso amplio de planificacin, que implica preguntarse cul es la misin, o quines somos, dnde queremos ir, cmo podemos y finalmente buscar mecanismos para saber si hemos llegado al objetivo.Figura 1

LA MEDICIN DEL DESEMPEO ES PARTE DE UN LARGO PROCESO DE PLANIFICACINAnlisis Interno y de Contexto

Misin y Objetivos Quines somos o qu hacemos

Cmo sabemos que hemos llegado

Dnde queremos ir

Medidas de Desempeo

Cmo podemos llegar

Estrategias

Fuente: Adaptado de Oregon Progress Board (2004).

6 7

8

Estas organizaciones pueden operar en la administracin central del gobierno o en el nivel local. En el caso de la evaluacin del desempeo de las organizaciones pblicas el concepto de eficacia puede aludir tanto a la eficacia de los productos (bienes y servicios producidos, sin pronunciarse an sobre el impacto final sobre la poblacin) o bien eficacia de los resultados finales o impacto. Estos conceptos sern ampliamente detallados en el Captulo II.

17


1.2 Institucionalidad, actores y usuarios de los sistemas de indicadores de desempeoTal como se ha sealado, en la mayor parte de los pases las iniciativas orientadas al desarrollo de sistemas de indicadores de desempeo en las entidades pblicas ha estado inserta en un esfuerzo mayor por mejorar el proceso presupuestario. La posibilidad de contar con medidas que den cuenta del uso de los recursos y de los resultados logrados, se constituye en un insumo para el proceso presupuestario en su etapa de formulacin, ejecucin y evaluacin. Al igual que en los pases desarrollados, en Amrica Latina, la mayor parte de las instituciones en que se han generado esfuerzos para la generacin de indicadores de desempeo estn radicadas en los Ministerios de Finanzas o de Hacienda, a travs de la Direccin de Presupuesto Pblico. En otros casos pero principalmente cuando el foco de la evaluacin est ms orientada al Plan de Gobierno, como en el caso de Costa Rica a travs de Sistema Nacional de Indicadores (SINE) y Colombia, con el SINERGIA, la institucin a cargo del proceso de evaluacin de la gestin radicaba en el Ministerio de Planificacin o Direccin Nacional de Planeamiento, respectivamente, (Cunill y Ospina, 2003). Independientemente de donde radique la institucionalidad para la evaluacin del desempeo, existe un conjunto de requisitos y aspectos a considerar en el proceso de implementacin de sistemas de indicadores de desempeo en el mbito pblico. Parte importante del xito o fracaso de la aplicacin de los indicadores y su uso, tiene que ver por un lado, con el diseo macro de la institucionalidad para la evaluacin y por otro, con el desarrollo de los estmulos e incentivos necesarios para que las instituciones construyan e implementen indicadores de desempeo que cumplan con los requisitos de pertinencia, relevancia e independencia. Es importante notar que las experiencias ms relevantes en la introduccin de indicadores de gestin en el mbito pblico se han caracterizado por la incorporacin de una perspectiva de carcter sistmico y de largo plazo que ha permitido dar continuidad a las iniciativas. Desde esta perspectiva la revisin de las buenas prcticas en materia del diseo institucional, los apoyos la proceso de instalacin de los indicadores y el rol de las instituciones que aplican los indicadores, dan cuenta de los siguientes aspectos: a) b) c) d) e) f) g) h) i) Definicin clara respecto del mbito de la evaluacin y del universo de instituciones sobre las cuales se dirigir la evaluacin. Institucionalidad a cargo de la evaluacin de la gestin claramente definida. Proceso de evaluacin establecido y claramente comunicado: fechas, mandatos, procedimientos, informes, etc. Definicin de contrapartes institucionales y responsabilidades. Metodologa a ser desarrollada. Apoyos entregados para la difusin de la metodologa de evaluacin: capacitacin, pginas web, etc. Sistemas de informacin a ser desarrollados en la institucin. Consecuencias de la evaluacin claramente establecidas Uso y difusin de la evaluacin hacia los actores, tales como directivos pblicos, usuarios, grupos de inters y parlamentarios.

18


N 45

Recuadro 1

INSTITUCIONALIZACIN DE LA FUNCIN DE EVALUACIN DE RESULTADOSLa ubicacin institucional de la evaluacin del desempeo dentro del sector pblico depende de las caractersticas de cada pas. En las experiencias relevantes de la regin, su funcionamiento inicial ha estado radicado en los ministerios de planificacin o en comits interministeriales. Con posterioridad al impulso inicial, paulatinamente, los ministerios de hacienda y/o direcciones de presupuesto han asumido esta responsabilidad. En los pases de la regin se han desarrollado sistemas de evaluacin asociados al Plan y otros vinculados al Presupuesto. Cabe precisar que estas tipologas no son puras, pues coexisten sistemas de evaluacin de la inversin asociadas al aparato administrativo de planificacin, conjuntamente con evaluaciones del gasto corriente radicadas en las instituciones de formulacin y evaluacin presupuestaria. No hay una nica respuesta al tema de la ubicacin institucional. Cualquiera sea el enfoque que se adopte, resultar adecuado si existe la firme decisin poltica de hacerlo funcionar. Con todo, al tratarse de un instrumento fundamental de la gestin pblica, es recomendable que exista una estrecha vinculacin entre los organismos encargados de la planificacin y coordinacin gubernamental del Estado, cuyo vnculo con la Presidencia suele ser directo, y las instituciones vinculadas a presupuesto. Un aspecto de la institucionalizacin que mantiene su carcter polmico se refiere al rol de las contraloras de los pases latinoamericanos en la evaluacin de resultados. Los pases anglosajones, y especialmente los que disponen de un sistema parlamentario, han tendido a otorgar a las contraloras, aparte de las tradicionales funciones de control legal y financiero, roles relativos a medicin de eficiencia, efectividad, impacto y obtencin de metas. En Amrica Latina, cuando se examinan experiencias tales como las de la Government Accountabililty Office (GAO) de Estados Unidos y de la National Audit Office de Gran Bretaa, se visualiza con escepticismo este tipo de arreglos institucionales, ya sea por las caractersticas propias del presidencialismo latinoamericano, por razones de conflicto poltico en sistemas multipartidarios y/o por el insuficiente desarrollo institucional y dotaciones de recursos humanos de las contraloras para llevar a cabo programas de evaluacin de la gestin.

Fuente: Bonnefoy, Juan Cristbal. Los Indicadores de Evaluacin del desempeo: Una herramienta para la gestin por resultados en Amrica Latina, Boletn N 13 del ILPES. Santiago de Chile. 2003

Recuadro 2

SISTEMATIZACIN DE LAS ACTIVIDADES DE EVALUACINPara que las evaluaciones jueguen un rol importante en las organizaciones gubernamentales, es fundamental que previamente ocurra un cierto nivel de institucionalizacin. Esto, debe facilitar la realizacin de una evaluacin sistemtica que permita lograr una alta calidad de suministro de informacin, y que facilite un aprendizaje organizacional eficiente . Un aspecto importante en la evaluacin es la integracin de los conjunto de los esfuerzos de evaluacin de otras instituciones con competencias en el tema (por ejemplo indicadores de desempeo, monitoreo y auditorias). Las revisiones y actividades de control tienen que ser construidas en una perspectiva coherente y lgica, evitando la duplicacin de actividades y superposicin de recoleccin de informacin a los directivos. Existen varias aproximaciones al grado de sistematizacin de las actividades de evaluacin. Por ejemplo la evaluacin puede ser: Regular y formal o ms bien flexible e informal Centralizada o descentralizada Interna o externa Reportada al cuerpo ejecutivo o al parlamento Controlada o independiente desarrollada por evaluadores externos Abiertas o restrictivas en trminos de quienes participan en el proceso de evaluacin y el acceso a los resultados Ms o menos integrada al proceso poltico de toma de decisiones (presupuesto, gestin de los programas y auditoria)

Fuente: Promoting the Use of Program Evaluation. Accountability in Public Organizations. Meeting of the Performance Management Network. Paris 24-25 November 1997.

19


Por ltimo, un aspecto clave en la construccin de una institucionalizacin de la evaluacin es la implementacin de un conjunto de buenas prcticas que fomenten una cultura de evaluacin al interior de las instituciones pblicas y del gobierno en su conjunto. Algunas conclusiones a este respecto en los pases de la OCDE se destacan en el siguiente recuadro.Recuadro 3

FOMENTANDO UNA CULTURA DE EVALUACINEl apoyo a un proceso de evaluacin queda demostrado a travs de la voluntad de los polticos, gerentes pblicos y agencias centrales (Ministerio de Finanzas) por hacer un uso efectivo de las recomendaciones de poltica surgidas en l. La demanda por evaluacin necesita ser generada, especificada y articulada por actores internos y externos. Una evaluacin sin un propietario o stakeholder es poco probable que tenga algn efecto. Las barreras institucionales a la evaluacin como la resistencia interna, pueden ser reducidas a travs de la participacin y consulta abierta, creando la confianza entre las partes. El gobierno puede reforzar una cultura de evaluacin que aliente la innovacin y la adaptacin a los cambios del entorno. El mensaje bsico debe ser que la institucin para mantenerse vigente, necesita aprender continuamente y retroalimentarse de sus resultados. La capacitacin y el dilogo profesionalizados, evaluadores competentes, encargados bien informados y usuarios instruidos y motivados son elementos que contribuyen a una cultura de evaluacin.

Fuente: OCDE/ PUMA (1998), Best Practices Guidelines for Evaluation. Policy Brief N 5. Paris.

20


N 45

II. Indicadores de desempeo: definiciones, tipologa y metodologas para su construccin

2.1 Concepto de indicador de desempeoTal como se seal en el captulo anterior, el uso de los indicadores de desempeo est relacionado directamente con la evaluacin de los resultados en varios mbitos de accin de las intervenciones pblicas. En la administracin pblica el desempeo es un concepto relativamente nuevo. Segn la Real Academia Espaola el desempeo se refiere a actuar, trabajar, dedicarse a una actividad, lo cual nos da una idea bsica, pero que requiere una elaboracin conceptual ms amplia para el mbito de la gestin pblica. Tal desarrollo a menudo se ha asimilado al concepto anglosajn de government performance, el cual se refiere a la productividad, calidad, oportunidad, responsabilidad 9 y eficacia de los servicios y programas pblicos. Dado que la gestin pblica implica actuar o dedicarse a las responsabilidades gerenciales, entonces el desempeo involucra los aspectos organizacionales y su relacin con el entorno como lo describe Hernndez (2002): desempeo implica la consideracin de un proceso organizacional, dinmico en el tiempo y refleja modificaciones del entorno organizativo, de las estructuras de poder y los objetivos.9

Wholey y Newcomer (1989), traduccin propia.

21


El concepto de desempeo en el mbito gubernamental normalmente comprende tanto la eficiencia como la eficacia de una actividad de carcter recurrente o de un proyecto especfico. En este contexto la eficiencia se refiere a la habilidad para desarrollar una actividad al mnimo costo posible, en tanto que la eficacia mide si los objetivos predefinidos para la actividad se estn cumpliendo. Adems de estas dos dimensiones del desempeo pblico, recientemente se han incorporado los criterios de desempeo presupuestario, focalizacin y calidad en la prestacin de los servicios pblicos, los que se describen en detalle en la seccin siguiente. Para evaluar el desempeo en los trminos descritos anteriormente, se han desarrollado una gran cantidad de herramientas metodolgicas, pero su uso puede conducir a confusiones dado que distintos autores y expertos utilizan diferente terminologa para referirse a mtodos similares. El campo acadmico de la evaluacin ha incluido dentro de la evaluacin del desempeo a distintos instrumentos tales como: Informacin de monitoreo y seguimiento; Evaluacin de proyectos y programas (tipo ex-ante, de seguimiento fsico-financiero o ex-post); Auditora de desempeo y Auditora financiera. La amplitud de estas metodologas se puede observar, por ejemplo, en una base de datos de prcticas y procedimientos presupuestarios que se encuentra desarrollando desde el ao 2003 la OCDE en conjunto con el Banco Mundial para ms de 60 pases. A la fecha de publicacin de este documento 44 pases han ingresado sus datos, incluyendo siete pases de Amrica Latina: Argentina, Bolivia, Colombia, Chile, Mxico, Per y Uruguay. El Cuadro 2 muestra la extensin del uso de mecanismos para estimar la eficiencia, eficacia y costo-efectividad del gasto de las actividades pblicas. Como se puede observar en el Cuadro 2, la OCDE hace una distincin entre revisin (review) y evaluacin. La revisin consiste en una evaluacin del desempeo de una intervencin, en tanto que la evaluacin se utiliza para una valoracin en mayor profundidad y ms comprehensiva que la revisin.

Cuadro 2

QU MECANISMOS SE UTILIZAN PARA ESTIMAR LA EFICIENCIA, EFICACIA Y COSTO EFECTIVIDAD/EFICIENCIA DEL GASTO (VALUE FOR MONEY) DE LAS ACTIVIDADES PBLICAS?Total Nmero de Porcentaje Pases (N=38 pases) pases de LA Revisin del xito de los principales programas en el logro de sus objetivos anunciados Revisiones especiales (ad-hoc) sectoriales o de programas Evaluacin sistemtica de la eficiencia, eficacia y economa Evaluaciones especiales (ad-hoc) de la eficiencia, eficacia y de la economa Evaluaciones ad-hoc de costos de efectividad (cost effectiveness/value for money) Acuerdos del desempeo detallando resultados deseados Revisiones realizadas por organizaciones externas (por ejemplo, Banco Mundial, oficina suprema de auditora) 18 29 7 14 10 12 15 47,3 76,3 18,4 36,8 26,3 31,5 39,4 2 3 2 1 0 1 2

Fuente: OCDE / Banco Mundial, Survey on Budget Practices and Procedures, 2005.

22


N 45

Una definicin general de indicador de desempeo, sin entrar an a especificar los mbitos o niveles de su uso, es la siguiente los indicadores de desempeo son medidas que describen cuan bien se estn desarrollando los objetivos de un programa, un proyecto y/o la gestin de una institucin. Un indicador establece lo que ser medido a lo largo de varias escalas o dimensiones, sin especificar un nivel determinado de desarrollo. La definicin anterior implica que el indicador es una parte del problema y los niveles esperados de desempeo o metas a lograr son otra parte. Otra aproximacin interesante al concepto de indicador es la que permite desagregar las funciones que cumple el indicador: Un indicador es una unidad de medida que permite el seguimiento y evaluacin peridica de las variables clave de una organizacin, mediante su comparacin en el tiempo con los correspondientes referentes externos o internos (Asociacin Espaola de Contabilidad y Administracin de Empresas. AECA, 2002). Desde la perspectiva de las funciones que puede tener el indicador se pueden sealar dos: una primera funcin descriptiva que consiste en aportar informacin sobre el estado real de una actuacin pblica o programa, por ejemplo el nmero de estudiantes que reciben beca, y por otro lado una funcin valorativa que consiste en aadir a la informacin anterior un juicio de valor basado en antecedentes objetivos sobre si el desempeo en dicho programa o actuacin pblica es o no el adecuado, en este caso nmero de becas entregadas con relacin a los estudiantes carenciados. Esta ltima expresin nos est dando informacin sobre el logro de la actuacin del objetivo de Aumentar el nmero de becas para estudiantes carenciados (suponiendo que este es un objetivo intermedio). En la misma idea anterior, un complemento interesante es el que aporta Weiss (1998) al diferenciar el concepto de medicin de variable respecto del concepto indicador. Un indicador es una medicin ordinal que tiene siempre una direccin o rumbo esperado. Por ejemplo, nmero de desempleados sera una medicin sobre la cual no podemos pronunciarnos sobre si sta es buena o mala por s sola, sin embargo un indicador de esta medicin es la tasa de desempleo al cual normalmente se espera que tenga una evolucin hacia la baja. Asimismo ocurre con la medicin de crecimiento econmico, respecto de la tasa de crecimiento, a la que siempre esperamos que tenga una evolucin positiva. Weiss explicita el desempeo esperado de la manera siguiente: En evaluacin usualmente sabemos de forma adelantada hacia donde queremos que nuestro indicador se dirija. En efecto si nosotros no sabemos, ni nos interesa de que manera esperamos que el indicador se mueva, entonces es un indicador pobre, (Weiss, 1998). Con la finalidad de incorporar definiciones conceptuales que surgen de la praxis latinoamericana, a continuacin se presenta la definicin utilizada por el sistema de indicadores del Per: Los indicadores de desempeo son instrumentos de medicin de las principales variables asociadas al cumplimiento de los objetivos, que a su vez constituyen una expresin cualitativa o cuantitativa concreta de lo que se pretende alcanzar con un objetivo especfico establecido. (...) La evaluacin del desempeo se asocia al juicio que se realiza una vez culminada la accin o la intervencin. Busca responder interrogantes claves sobre cmo se ha realizado la intervencin, si se han cumplido los objetivos (concretamente, la medida en que stos han sido cumplidos), el nivel de satisfaccin de la poblacin objetivo, entre otras. En suma, se busca evaluar cun bien o cun aceptable ha sido el desempeo de determinado organismo pblico con el objetivo de tomar las acciones necesarias para perfeccionar la gestin (Ministerio de Economa y Finanzas del Per, 2000). Las reflexiones anteriores respecto del concepto de indicador lleva a tener en cuenta varios elementos:

23


La calidad y utilidad del indicador (en tanto instrumento de medicin de las variables asociadas al cumplimiento de objetivos) estarn determinadas por la claridad y relevancia de la meta que tiene asociada. El requisito fundamental para el diseo del indicador es el establecimiento previo de los objetivos y metas lo que ser medido. El resultado de la medicin del indicador entrega un valor de comparacin el cual est referido a alguna meta asociada. Por ejemplo, si la relacin que se obtiene entre el gasto de la administracin del programa y el gasto total es de un 15% y la comparamos con la meta fijada previamente de 10%, estaremos en presencia de un mal resultado, en cambio si la meta fijada era de 20%, se habr superado incluso la propia meta. El indicador deber estar focalizado y orientado a medir aquellos aspectos claves, lo cual implica la necesidad de tener claridad cules son los objetivos o propsitos de la institucin, y no todos, sino aquellos ms relevantes que se relacionan con los productos estratgicos, dirigidos a los usuarios externos.

Estos aspectos sern desarrollados con mayor detencin en el punto referido a las etapas para la construccin de indicadores.Recuadro 4

LA MEDICIN DE RESULTADOS Y LOS PROBLEMAS DE NOMENCLATURAAl traducir del ingls trminos como outcomes y outputs, la confusin se incrementa pues muchos pases slo se refieren a resultados, pero la distincin entre resultados y productos generalmente no se realiza. Incluso entre pases anglosajones existen notables diferencias. A modo de ejemplo, el trmino outcome (resultado o impacto) se utiliza en Estados Unidos como las consecuencias intencionadas del accionar gubernamental, en tanto que Australia analiza los outcome como el impacto real, independiente de que ste haya sido intencionado o no. La OCDE ha intentado ordenar esta prolfica y diversa nomenclatura. En primer lugar asume que los insumos son recursos que la organizacin o un gerente tiene disponible para lograr un producto o resultado. Los insumos pueden incluir los funcionarios, equipos o instalaciones, materiales fungibles y los bienes o servicios recibidos. Los costos constituyen los gastos incurridos al usar los insumos. Los productos estn relacionados con los bienes y servicios producidos directamente por un organismo pblico para los ciudadanos, negocios y/o otras agencias gubernamentales. Los resultados se relacionan con los impactos o consecuencias para la comunidad de los productos o actividades del gobierno. Los resultados reflejan los impactos intencionados y no intencionados de las acciones gubernamentales, estos proveen la racionalidad para las intervenciones gubernamentales. El esquema siguiente presenta la interrelacin entre los cuatro conceptos y las medidas de logro de eficiencia, efectividad, economa y costo-efectividad.

Resultados Efectividad Productos Costo-Efectividad Procesos Eficiencia

Insumos Economa Costos

Fuente: Kristensen, Groszyk y Bhler (2002), traduccin propia.

24


N 45

Recuadro 5

FUNDAMENTOS PARA LA CONSTRUCCIN DE INDICADORES DE GESTIN EN CHILE1. Posibilita la evaluacin cualitativa y cuantitativa del desempeo global de la institucin, por medio de la evaluacin de sus principales programas y/o departamentos. 2. Induce un proceso de transformaciones estructurales y funcionales que permita eliminar inconsistencias entre el quehacer de la organizacin y sus objetivos prioritarios. 3. Apoya el proceso de desarrollo organizacional y de formulacin de polticas de mediano y largo plazo. 4. Mejora la coordinacin de los Servicios Pblicos con la Direccin de Presupuestos, extendiendo el proceso presupuestario hacia la discusin fundamentada de los resultados y el establecimiento de compromisos en torno a stos. 5. Mejora cualitativa y cuantitativamente la informacin sobre desempeo de los Servicios que recibe el Parlamento. 6. Apoya la construccin de sistemas de reconocimiento al buen desempeo, tanto institucionales como individuales. 7. Genera un mayor grado de confiabilidad de la gestin institucional, permitiendo eliminar trmites innecesarios en este contexto.

Fuente: Gua para la Construccin de Indicadores de Desempeo en los Servicios Pblicos, Direccin de Presupuestos, Ministerio de Hacienda de Chile, 1995.

2.2 Tipologas de indicadoresLa clasificacin de los indicadores de desempeo es muy variada y tal como veremos en algunos ejemplos de los recuadros sealados ms adelante, hay autores que establecen tipologas de indicadores que abarcan seis o ms categoras, incorporando a las dimensiones de evaluacin de la eficiencia, eficacia, economa, calidad, y tambin los atributos de dichas medidas tales como equidad, entorno, tecnologa, etc. No obstante lo anterior, y teniendo en cuenta el objetivo de los indicadores de desempeo en el mbito pblico, abordaremos la siguiente taxonoma: Indicadores que entreguen informacin de los resultados desde el punto de vista de la actuacin pblica en la generacin de los productos: Insumos (Inputs) Procesos o actividades Productos (outputs) Resultados finales (outcomes)10 Indicadores desde el punto de vista del desempeo de dichas actuaciones en las dimensiones de eficiencia, eficacia, calidad y economa.

10

En algunos casos, por ejemplo en Chile, y en otros aplicados a las agencias federales de USA, la ltima categora de indicadores de resultado se desagrega en resultado intermedio y resultado final.

25


La primera clasificacin permite referirse a los instrumentos de medicin de las principales variables asociadas al cumplimiento de los objetivos: cuntos insumos se utilizaron, cuntos productos y servicios se entregaron y cules son los efectos finales logrados. Mientras que la segunda clasificacin se asocia al juicio que se realiza una vez finalizada la intervencin, y las preguntas que se intenta responder son: en qu medida se cumplieron los objetivos, cul es el nivel de satisfaccin de la calidad percibida por los usuarios, cun oportunamente lleg el servicio. Lo que se busca evaluar con las dimensiones de eficiencia, eficacia, economa y calidad es cun aceptable ha sido y es el desempeo del organismo pblico, cuya respuesta sirve para mejorar cursos de accin y mejorar la gestin, informar a los diferentes grupos de inters y tener una base sobre la cual asignar el presupuesto. En forma grfica, en el siguiente cuadro, se puede examinar las interrelaciones existentes entre ambas categoras de indicadores en una lgica de la perspectiva del proceso productivo, integrando adems los niveles de servicio provistos y dimensiones relativas a la utilizacin y satisfaccin de los usuarios.

Figura 2

INTERRELACIONES DESDE LA PERSPECTIVA DEL PROCESO PRODUCTIVO, ENTRE ECONOMA, EFICACIA Y EFICIENCIA

ECONOMA

EFICIENCIA

EFICACIA

COSTO

RECURSOS

PRODUCTOS

RESULTADOS

NIVEL DE SERVICIO

UTILIZACIN SATISFACCIN

POBLACIN OBJETIVO

Fuente: Adaptado de Figura 2.2 Indicadores de Gestin para las Entidades Pblicas. Asociacin Espaola de Contabilidad y Administracin de Empresas. AECA, 2002.

En sntesis, los primeros indicadores son ms funcionales al objetivo de rendicin de cuentas, en tanto que los indicadores de la segunda clasificacin estn ms orientados al objetivo de mejoramiento de la gestin y toma de decisiones. Un ambicioso programa de gestin por resultados debe tender a ambos tipos de objetivos, por lo que existe una complementariedad e interdependencia entre los dos tipos de indicadores. En las dos subsecciones siguientes, se explican en forma detallada los indicadores segn mbito y segn dimensin de la evaluacin, respectivamente. 26


N 45

2.2.1

Indicadores segn mbito de medicin

En la figura siguiente se observa la relacin entre cada una de las medidas de desempeo, su contribucin a los resultados finales y las preguntas que se intenta responder:Figura 3

MEDIDAS POR MBITO DE DESEMPEO Y PREGUNTAS QUE SE ABORDANCmo estn cambiando las condiciones que estamos interviniendo?

IMPACTOOUTCOME

PRODUCTO - OUTPUT

Cuntas unidades de productos y servicios estamos generando?

PROCESO

Con qu rapidez lo estamos haciendo? Cunto nos cuesta?

INPUTS

Cuntos recursos invertimos, cunto personal trabaj en el proceso?

Fuente: Elaboracin propia.

Indicadores de insumos (inputs): cuantifica los recursos tanto fsicos como humanos, y/o financieros utilizados en la produccin de los bienes y servicios. Estos indicadores generalmente estn dimensionados en trminos de gastos asignados, nmero de profesionales, cantidad de horas de trabajo utilizadas o disponibles para desarrollar un trabajo, das de trabajo consumidos, etc. Estos indicadores son muy tiles para dar cuenta de cuantos recursos son necesarios para el logro final de un producto o servicio, pero por s solos no dan cuenta de si se cumple o no el objetivo final. Indicadores de procesos: se refieren a aquellos indicadores que miden el desempeo de las actividades vinculadas con la ejecucin o forma en que el trabajo es realizado para producir los bienes y servicios, tales como procedimientos de compra (das de demora del proceso de compra) o procesos tecnolgicos (nmero de horas de los sistemas sin lnea atribuibles al equipo de soporte). Estos indicadores son tiles para la evaluacin del desempeo en mbitos donde los productos o resultados son ms complejos de medir, como por ejemplo actividades de investigacin, culturales, etc. Indicadores de productos: muestra los bienes y servicios de manera cuantitativa producidos y provistos por un organismo pblico o una accin gubernamental. Es el resultado de una combinacin especfica de insumos por lo cual dichos productos estn directamente relacionados con ellos. Por s solo un indicador de producto, (por ejemplo nmero de vacunaciones realizadas,

27


nmero de viviendas construidas, nmero de inspecciones, etc.) no da cuenta del logro de los objetivos o de los recursos invertidos en la generacin de dichos productos. Indicadores de resultado final o impacto: miden los resultados a nivel del fin ltimo esperado con la entrega de los bienes y servicios. La informacin que entrega se refiere por ejemplo al mejoramiento en las condiciones de la poblacin objetivo, y que son exclusivamente atribuibles a dichos bienes. Tradicionalmente, los indicadores de insumos (inputs) y productos (outputs), son los ms comnmente usados en las entidades gubernamentales. Parte de las razones tienen que ver con que tales indicadores no son tan complejos de construir como los indicadores de resultado final o impacto, y en algunos casos de eficiencia (cuando no se cuenta con sistemas de costo por centro de responsabilidad). Por ejemplo en el caso de Chile, de un total de 1588 indicadores desarrollados por el conjunto de entidades pblicas, que fueron enviados como informacin complementaria junto con el proyecto de presupuesto para el ao 2005, un 5% de stos constituan indicadores de resultado final, un 13% de resultado intermedio, el 57% correspondan a indicadores de productos, y el 25% a indicadores de proceso (Direccin de Presupuestos de Chile, 2004). No obstante la importante informacin que entregan, el desarrollo de este tipo de indicadores no es suficiente para un adecuado proceso de toma de decisiones, ya que no nos informan acerca de las consecuencias o los resultados del uso de los recursos. Sin embargo, existe un conjunto de dificultades metodolgicas y complejidades que obstaculizan un desarrollo mayor de la medicin de resultados finales o de impacto, entre las que destacan las siguientes: La propia definicin o establecimiento de lo que se espera por resultado final o impacto y cmo la intervencin contribuir a dicho resultado. Por ejemplo, cmo se puede conceptuar operativamente la calidad de vida, o la seguridad para la poblacin? La dificultad de aislar los factores externos que inciden tambin en los resultados finales que son objeto de la intervencin de la organizacin o de los programas, tales como mejoramiento de la calidad de vida, disminucin de la polucin ambiental, etc. Los efectos a largo plazo de las polticas o programas que en general van ms all del plazo en que se solicita la evaluacin. Los costos de la evaluacin, dado que en general requiere del establecimiento de metodologas ms sofisticadas, tales como establecimiento de grupos de control, encuestas de opinin, etc. (Ver Cuadro 3)Cuadro 3

EL COSTO DE LAS EVALUACIONES DE PROGRAMAS: CHILE Y MXICOCosto Promedio (dlares) Chile: Evaluacin de Programas Gubernamentales (panel de tres expertos independientes) Chile: Evaluaciones de Impacto Mxico: Evaluacin externa de Impacto del Programa Oportunidades Mxico: Evaluaciones de Corto Plazo de SEDESOL para el Congreso 10 000 80 000 4 760 000 100 000 Costo Tiempo Evaluacin/ aproximado Total de (meses) Recursos (1) 0,44% 0,44% 0,24% s/i 5 9 multianual s/i

Fuente: Elaboracin propia en base a Banco Mundial (2005), Meneses-Gonzlez et al. (2005): y Hernndez-Licona (2003). (1): El porcentaje de Chile corresponde al promedio 2002-2003, los costos de ambos programas estn sumados. El porcentaje de Oportunidades corresponde al ejercicio presupuestario 2004.

28


N 45

Recuadro 6

DEFINICIN DE RESULTADOS INTERMEDIOS Y FINALESEn algunos pases, como Chile y Canad, se utilizan dos categoras de mbitos de medicin o de control para los resultados u outcomes resultados intermedios y resultados finales. En otros casos se desagrega en tres categoras de resultados: inmediatos, intermedios y finales. En general esta desagregacin se utiliza para la evaluacin de programas sociales que requieren un alto nivel de informacin sobre los efectos generados en la poblacin. Resultados Intermedios: Se refiere a los cambios en el comportamiento, estado, actitud o certificacin de los beneficiarios una vez que han recibido los bienes y servicios de un programa o accin pblica. Su importancia radica en que se espera que conduzcan a los resultados finales y en consecuencia constituyen una aproximacin a stos. Resultados Finales o Impacto: Son resultados a nivel del fin de los bienes o servicios entregados e implican un mejoramiento en las condiciones de la poblacin objetivo atribuibles exclusivamente a stos. Ejemplos de Indicadores de Resultados:

Porcentaje de egreso favorable de nios y nias egresados de programas de proteccin al menor (Servicio Nacional de Menores) Tasa anual de variacin de reclusos con contrato de trabajo (Gendarmera de Chile) Promedio de controversias resueltas por abogado (Superintendencia de Instituciones de Salud Previsional) Porcentaje de crditos de corto plazo recuperados (Instituto de Desarrollo Agropecuario). Fuente: Sistema de Control de Gestin y Presupuestos por Resultados: La Experiencia Chilena.

En el recuadro siguiente se desarrolla un ejemplo respecto de una campaa anti tabaquismo realizada en la televisin, a travs de un modelo lgico para vincular la relacin entre los insumos, procesos (actividades), productos y resultados:Figura 4

TIPO DE INDICADORES DE DESEMPEO DESARROLLADOS EN LOS PASESInputs (Insumos) $$ de la campaa

-diseo y pruebas de los avisos Actividades -produccin de los avisos -compra del tiempo de aviso comercial Productos -avisos transmitindose en la televisin -las personas ven los avisos -las percepciones de la gente se ven afectadas Intermedios -el comportamiento se ve afectado -menor incidencia de enfermedades relacionadas

Resultados

Inmediatos

Finales

Fuente: Adaptado de Schacter, Mark (2002). Institute On Governance, Ottawa, Canad. www.iog.ca.

29


Una revisin de la terminologa utilizada en los diferentes sistemas de indicadores de desempeo a nivel de los pases da cuenta de diferentes situaciones. Por ejemplo en el caso chileno se utilizan las dos vertientes de anlisis del desempeo recin sealadas, estableciendo que las instituciones pblicas en el marco de sus Sistemas de Informacin de Gestin desarrollen indicadores segn mbito de control: proceso, producto (outputs) y resultado (intermedios y finales outcome). No incorporan la perspectiva de insumos (inputs). Asimismo se deben desarrollar para cada una de estas categoras, segn sea el caso, las dimensiones de evaluacin referidas a eficiencia, eficacia, economa y calidad.11 En el caso de Uruguay, los indicadores de gestin que se desarrollan como parte del proceso presupuestario, y en el marco de los Planes de Gestin de las Unidades Ejecutoras, contemplan las dimensiones de eficiencia, eficacia, economa y calidad, sin hacer referencia explcita a los mbitos de medicin del proceso productivo (insumo, proceso, producto, resultado).12 Esta misma situacin ocurre en los indicadores de desempeo de las Unidades Ejecutoras en Costa Rica.13 En Estados Unidos las agencias federales deben documentar para su proceso presupuestario indicadores de gestin que incluyen cuatro categoras claramente diferenciadas: insumos (inputs), procesos (process, considerando dentro de estas medidas de eficiencia y calidad), producto (output) e impacto (outcomes). En Canad, las agencias ejecutivas elaboran una tipologa de indicadores que desarrolla los mbitos de insumos (inputs), productos (outputs), process (procesos, en los cuales desarrollan tambin medidas de eficiencia y calidad) y tres niveles de resultados (outcomes), inmediatos, intermedios y finales.

2.2.2 Dimensiones de la evaluacin: Indicadores de eficiencia, eficacia, economa y calidadPara los efectos de este manual se analizarn los indicadores de desempeo que comnmente se conocen como las 3 E: Eficiencia, Economa, Eficacia,14 agregando el indicador de calidad de forma separada del indicador de eficacia, que en muchos manuales se considera un atributo de esta categora. Eficacia: cul es el grado de cumplimiento de los objetivos, a cuntos usuarios o beneficiarios se entregan los bienes o servicios, qu porcentaje corresponde del total de usuarios. Eficiencia: cul es la productividad de los recursos utilizados, es decir cuantos recursos pblicos se utilizan para producto un determinado bien o servicio. Economa: cuan adecuadamente son administrados los recursos utilizados para la produccin de los bienes y servicios. Calidad: cun oportunos y accesibles a los usuarios son los bienes y servicios entregados

Esta clasificacin de indicadores se ha utilizado en varios gobiernos de la regin y en la mayor parte de los gobiernos de pases de la OCDE. Su eleccin se basa en una serie de ventajas frente a otras tipologas que son ms complejas, stas se pueden resumir en las siguientes: La tipologa se centra en los aspectos bsicos y necesarios para entender el desempeo de la intervencin pblica.

11 12 13 14

Gua Metodolgica. Sistema Planificacin y Control de Gestin. Ao 2003, Direccin de Presupuestos de Chile. SEV Uruguay. www.cepre.opp.gub.uy Indicadores de Gestin en el Proceso Presupuestario, Direccin de Presupuestos, Costa Rica. El concepto de efectividad, se refiere al indicador de impacto o de resultado final, y en este manual se adoptar la terminologa de impacto para referirnos a los efectos finales del producto (bien o servicio) o programa que se est evaluando.

30


N 45

Permite comprender la interrelacin entre el proceso productivo de bienes y servicios y las dimensiones del desempeo. Es la tipologa que por su simplicidad y concrecin ha probado ser til para los usuarios en los pases en que se ha implantado (la mayor parte de los pases de la OCDE, Chile, Uruguay, Costa Rica, etc.).15

En los recuadros que se desarrollan a continuacin, se ejemplifican algunas diferencias en la terminologa y tipologas que adoptan algunos pases para el desarrollo de indicadores en las instituciones pblicas.

Recuadro 7

INDICADORES DE DESEMPEO PARA LOS ENTES LOCALES DEL REINO UNIDOEl documento gua para el desarrollo de los indicadores de desempeo de la Audit Commission, entidad que se vincula con los municipios del Reino Unido, establece la siguiente categora de indicadores de desempeo: Costo: el dinero gastado en la adquisicin de los productos Input: los recursos (staff, materiales, infraestructura) empleados en la provisin de los servicios Output (producto): los servicios provistos al pblico, en trminos de tareas completadas Outcome (impacto): el impacto actual y el valor de los servicios entregados

A su vez las tres dimensiones del desempeo son definidas de la siguiente manera: Economa: adquisicin adecuada de recursos materiales, humanos en calidad, cantidad y al menor

costo. Eficiencia: produccin de lo mxima cantidad de outputs (productos) para un conjunto dado de

recursos o el uso de mnima cantidad de recursos para la provisin de servicios en cantidad y calidad requerida. Efectividad: acciones de la organizacin se encuentran con los requerimientos de los ciudadanos y

dichas acciones del programa o actividad se desarrollan de acuerdo a los objetivos establecidos y metas comprometidas. Es importante notar que si bien el conjunto de estas tres categoras aluden a las mismas desarrolladas para el caso espaol, chileno y uruguayo recin expuestos, varan en los nfasis de las definiciones y en la agrupacin de las categoras. En efecto mientras en el caso chileno y uruguayo las categoras de calidad y eficacia son diferenciadas, en este caso la calidad se incorpora en la dimensin de economa, y la eficacia se conceptualiza en la categora de efectividad como eficacia de los resultados. A estas categoras se seala que algunas organizaciones agregan una cuarta E, referida a Equidad, definida como la dimensin que captura el grado en el cual el acceso a los servicios son equitativos y si los servicios son apropiados a las necesidades y estn en condiciones para hacer uso de ellos. Junto con lo anterior se enfatiza la necesidad de asegurar un balance de los indicadores que represente explcitamente una diferenciacin entre: la calidad, el costo y los plazos u oportunidad en la entrega de los servicios. El costo representa el lado financiero de las actividades de la organizacin, la calidad captura las caractersticas del servicio y su adecuacin para el uso de los servicios, y el plazo es un aspecto que cubre la capacidad de respuesta y la rapidez con la cual los servicios son entregados.

Fuente: Elaborado a partir de UK Audit Commission , www.audit-commission.gov.uk.

15

Ver Captulo VI sobre Casos Internacionales.

31


Recuadro 8

CLASIFICACIN DE INDICADORES DE GESTIN EN ESPAALa taxonoma desarrollada en el Manual de Asociacin Espaola de Contabilidad y Administracin de Empresas de Espaa plantea la siguiente clasificacin de indicadores: Segn su naturaleza, que se relacionara con aquellos aspectos concretos de la actuacin que tratan de medir y desde esta perspectiva a los indicadores clsicos de las 3 E, se agregan los siguientes: Efectividad, equidad (mide el nivel de distribucin justa de los servicios pblicos, ejemplo disponibilidad de acceso a los servicios pblicos de los grupos sociales menos favorecidos, en comparacin con la media del pas), excelencia (calidad de los servicios, teniendo en cuenta la percepcin de los usuarios), entorno (acceso a la informacin sobre la evolucin socioeconmica del entorno, de las acciones, servicio y productos que estn desarrollando los diferentes agentes que interactan con en este contexto) y, evolucin sostenible (capacidad de mantener un servicio con una calidad aceptable durante un largo perodo de tiempo). Segn el objeto: esta clasificacin da prioridad al tema o mbito que se est midiendo, y desde esa perspectiva seala indicadores de resultado, proceso, estructura y estratgicos. Segn el mbito de actuacin: divide los indicadores en internos, que hacen referencia a variables relacionadas con el funcionamiento de la entidad correspondiente (nmero de documentos archivados por empleado, ndice de satisfaccin sobre los servicios internos). Y, los indicadores externos relacionados con la repercusin exterior a las actividades relacionadas con los servicios.

Fuente: Indicadores de Gestin para Entidades Pblicas. Asociacin Espaola de Contabilidad y Administracin de Empresas. AECA, Espaa. 2002

A continuacin se desarrolla conceptualmente las dimensiones de la evaluacin antes descritas y se presentan algunos ejemplos relativos a estas categoras de indicadores: 2.2.2.1 Eficacia El concepto de eficacia se refiere al grado de cumplimiento de los objetivos planteados: en qu medida la institucin como un todo, o un rea especfica de sta est cumpliendo con sus objetivos estratgicos, sin considerar necesariamente los recursos asignados para ello. La eficacia es un concepto que da cuenta slo del grado de cumplimiento de las metas establecidas. Las medidas clsicas de eficacia corresponden a las reas que cubren las metas u objetivos de una institucin: cobertura, focalizacin, capacidad de cubrir la demanda y el resultado final. Cobertura La cobertura es la expresin numrica del grado en que las actividades que realiza, o los servicios que ofrece, una institucin pblica son capaces de cubrir o satisfacer la demanda total que por ellos existe. El porcentaje de cobertura de los servicios, actividades o prestaciones, es siempre una comparacin de la situacin actual respecto al mximo potencial que se puede entregar. Dependiendo de los objetivos y metas particulares que se plantee una institucin, su cobertura puede tener una expresin en trminos geogrficos, en trminos de un universo o de una demanda potencial a cubrir. Focalizacin Este concepto se relaciona con el nivel de precisin con que las prestaciones y servicios estn llegando a la poblacin objetivo previamente establecida. Un primer paso en la construccin de este tipo de indicadores consiste en verificar si los usuarios reales a los que hoy estamos llegando coinciden con nuestra poblacin objetivo, las llamadas filtraciones en la demanda. Estas filtraciones pueden deberse a la fuga de beneficios del 32


N 45

programa a los usuarios no elegibles (error de inclusin), o bien en la cantidad de usuarios elegibles que no acceden a los beneficios del programa (error de exclusin). Una segunda manera de construir indicadores de focalizacin es el anlisis de cobertura, en que se mide qu porcentaje de esa poblacin objetivo est recibiendo los bienes o servicios pblicos. Capacidad para cubrir la demanda actual Este tipo de medidas de eficacia dice relacin con la capacidad que tiene una institucin pblica para absorber de manera adecuada los niveles de demanda que tienen sus servicios. Este tipo de mediciones son ms restringidas que las de cobertura y focalizacin, debido a que independientemente de cul sea nuestra "demanda potencial", slo nos dicen que parte de la demanda real que enfrentamos, somos capaces de satisfacer en las condiciones de tiempo y calidad apropiadas. Resultado Final El resultado final es otra de las dimensiones del indicador de eficacia y al igual que en la evaluacin de programas pblicos lo que se busca es medir la contribucin del conjunto de la intervencin de la entidad pblica (no as de un programa especfico).16 Como resultado final se entender el efecto final o impacto que las acciones de una entidad tienen sobre la realidad que se est interviniendo.17 La eficacia puede ser considerada tanto del punto de vista tradicional como la comparacin de los resultados obtenidos con los esperados, sino tambin, como una comparacin entre los resultados obtenidos y un ptimo factible, de forma tal que este concepto coincida con la propia evaluacin de programas.Recuadro 9

ASPECTOS A TENER EN CUENTA PARA LA EVALUACIN DE LA EFICACIA EN UNA ORGANIZACIN La evaluacin de la eficacia de cualquier organizacin no puede ser realizada si no estn

previamente definidos y cuantificados los objetivos, ya sea a travs de un proceso de planificacin estratgica, o de alguna metodologa que permita la identificacin de que forma dicha organizacin espera alcanzar sus resultados. Para realizar la evaluacin es fundamental poder analizar la forma y la magnitud en que los resultados obtenidos en trminos de bienes y servicios se ajustan a los efectos previstos. La medicin de la eficacia lleva de forma inherente la definicin previa de objetivos y el

seguimiento de stos a travs de un sistema mnimo de informacin que permita informar sobre aspectos bsicos del programa o la gestin a ser evaluada, entre los que se mencionan: Productos que entrega el programa o el servicio Usuarios a quienes de dirige (nmero, caractersticas) Objetivos principales o estratgicos (logro que se pretende obtener, mejorar, ampliar, optimizar, etc.) Metas concretas con las cuales hacer el seguimiento (cundo, dnde, en qu condiciones)

Lo importante aqu es destacar que la ambigedad en la definicin de los objetivos y las metas, no permitir posteriormente realizar una evaluacin til y confiable, anulando los esfuerzos y costos incurridos en dicha evaluacin.

Fuente: Guinart y Sol (2003).

16

17

En algunos casos algunas entidades pblicas, o servicios pblicos (denominacin que tiene en algunos pases) coincide con que su mandato es la gestin de un programa pblico, claramente asignado como producto, dando la razn de ser de su mandato. En este caso es posible asimilar la evaluacin de la entidad a travs de la metodologa de evaluacin de programas. En el recuadro de ejemplo de indicadores de eficacia se sealan los que son especficamente de resultado final.

33


En general, lo que se busca medir con los indicadores de eficacia es brindar informacin sobre el grado en que se cumplen los objetivos de la gestin institucional, o de un determinado programa. Este cumplimiento se puede expresar ya sea en trminos de los resultados intermedios (coberturas logradas, grado de focalizacin cumplida, etc.) o de resultados finales (efectos logrados a nivel de la poltica pblica que interviene un mbito especfico: social, econmico, medio ambiental, etc.), los que se relacionan directamente con el proceso de rendicin de cuentas pblicas, dado que son esas variables que interesa conocer finalmente para efectos de asignacin de recursos.Cuadro 4

EJEMPLOS DE INDICADORES DE EFICACIAIndicador Nmero de empresarias incorporadas a Internet a travs de Infocentros/Universo de Micro y Pequeos empresarios Porcentaje de pre-escolares matriculados en programas de extensin horaria cuyas madres trabajan remuneradamente con respecto a pre-escolares matriculados en el programa de extensin horaria Nmero de desempleados capacitados / Total de desempleados inscritos en Sistema de Reconversin Laboral Porcentaje de proyectos ganados en fondos concursables externos Porcentaje de egresados de programa de reinsercin Porcentaje de edificios pertenecientes a la autoridad local accesibles para discapacitados Porcentaje de personal de minoras tnicas en la organizacin con respecto al porcentaje de minoras tnicas de la regin Nmero de beneficiarios/ universo de beneficiarios Porcentaje de alumnos que desertan del programa Porcentaje de egresos exitosos de los alumnos del programa Porcentaje de alumnos que se emplean despus de finalizar los cursos de capacitacin Nmero de fiscalizaciones/ Universo total a fiscalizar Porcentaje de cumplimiento de las normas por parte de los fiscalizados Porcentaje de reincidencia de los infractores Porcentaje Infracciones que termina en sancin efectiva Tasa de egreso de enseanza media de alumnos beneficiarios del programa Residencia Familiar Estudiantil Porcentaje de delitos aclarados / delitos denunciados Mediaciones exitosas / mediaciones realizadas Conflictos colectivos solucionados / conflictos colectivos planteados Incremento total de puestos de trabajo abiertos con el servicio pblico de empleo Fuente: Elaboracin propia a partir de varios de informes de rendicin de cuentas de Chile, Reino Unido y Uruguay.

2.2.2.2 Eficiencia El concepto de eficiencia describe la relacin entre dos magnitudes fsicas: la produccin fsica de un bien o servicio y los insumos que se utilizaron para alcanzar ese nivel de producto. La eficiencia puede ser conceptualizada como producir la mayor cantidad de servicios o prestaciones posibles dado el nivel de recursos de los que se dispone o, bien alcanzar un nivel determinado de servicios utilizando la menor cantidad de recursos posible. Un indicador clsico de eficiencia es el costo unitario de produccin o costo promedio, el cual relaciona la productividad fsica y el costo de los factores e insumos utilizados en la generacin de un bien o servicio. En el mbito de las instituciones pblicas existen muchas aproximaciones a este concepto. En general, se pueden obtener mediciones de productividad fsica, relacionando nivel de actividad, expresado por ejemplo como nmero de subsidios entregados, cantidad de usuarios atendidos, inspecciones realizadas, etc., y nivel de recursos utilizados (gasto en bienes y servicios, dotacin de personal, horas extraordinarias, etc.). Otro grupo importante de indicadores de eficiencia son los orientados a medir la productividad media de los factores: cuantas unidades de producto se obtienen en promedio por cada unidad de factor. 34


N 45

Una vez determinado el valor del indicador de eficiencia, ya sea de producto medio o costo medio, es necesario aplicar un anlisis respecto de los resultados logrados. La idea es detectar cuales son los factores ineficientes que pueden estar generando un valor de indicador que escape a la media de los estndares comparativos, o de las metas que estime razonables de ser obtenidas. Estos factores generadores de ineficiencias pueden ser el personal en la tarea no idneo, o sin capacitacin suficiente que retarda el tiempo de respuesta de un proceso, o la dotacin excesiva de personal en la tarea que hace por ejemplo que el promedio de inspecciones por inspector sea ms baja que los estndares aconsejados. El anlisis de la eficiencia econmica se refiere a la adquisicin y el aprovechamiento de los insumos (inputs), que deben ser adquiridos en tiempo oportuno, al mejor costo posible o al costo aceptable, la cantidad adecuada y con una calidad aceptable. De esta manera el anlisis de los i

Documents

Indicadores deDesempeño en el Sector Público