INFORMACIÓN DE DESEMPEÑO EN LOS MINISTERIOS …politicaspublicas.uc.cl/wp-content/uploads/2017/07/Presentación... · Principales diferencias: ... Seis de los ocho programas incluidos

INFORMACIÓN DE DESEMPEÑO EN LOS MINISTERIOS CHILENOS:

¿SE USA PARA LA TOMA DE DECISIONES?

JUAN PABLO MARTÍNEZ GUZMÁN

UNIVERSITY OF MARYLAND – COLLEGE PARK

JUAN PABLO MARTINEZ GUZMAN - JULIO 13, 2017 1

TEMAS A TRATAR

1. Introducción

2. Motivación y métodos de investigación

3. Resultados

4. Conclusiones


PRESUPUESTO POR RESULTADOS ES…

Un sistema presupuestario que promueve el uso de la información de desempeño de los programas e instituciones en los procesos de

toma de decisiones que surgen a lo largo del ciclo presupuestario con el objetivo de lograr más con los mismos recursos (eficiencia),

lograr más éxito en el cumplimiento de sus objetivos (efectividad) y mejorar la calidad y puntualidad de los servicios públicos

(oportunidad).


CICLO PRESUPUESTARIO

Programación

• Prioridades, estructura, borradores

Formulación

• Solicitud, análisis, negociación

Aprobación

• Debate

Ejecución

• Utilizar los recursos

Evaluación

• Rendición de cuentas


PRESUPUESTO POR RESULTADOS EN CHILEMás de 24 reformas desde el gobierno de Aylwin.

Principales sistemas: evaluaciones ex ante de proyectos de inversión

múltiples líneas de evaluaciones ex post de programas e instituciones públicas

sistema de remuneración variable denominado Programa de Mejoramiento de la Gestión (PMG)

sistema de indicadores de desempeño.

Escogido como el mejor en América Latina y de los mejores de la OECD.


MOTIVACIÓN Y MÉTODOS DE INVESTIGACIÓN


MOTIVACIÓN DEL ESTUDIOUn meta-análisis de estudios que analizan el uso de información de desempeño (ID) en sistemas de presupuesto por resultados muestra que: La ID tiende a ser más utilizada en los ministerios sectoriales que en el

congreso o en los ministerios de hacienda.

La mayor parte de los investigadores se enfocan en el congreso o en los ministerios de hacienda.

Hay poca evidencia respecto a las variables que determinan el éxito en los ministerios sectoriales.

El conocimiento a ese nivel es nulo en el contexto de América Latina.


RECOLECCIÓN Y ANÁLISIS DE INFORMACIÓNRecolección de información: Entrevistas a profundidad: total 51 entrevistas, 90% en persona durante viaje a Chile. 7-9 entrevistados por ministerio sectorial. Todos los casos incluyeron:

Jefes de programa.

Jefes de division/departamento.

Funcionarios de areas de gestión (o similar) y de presupuesto.

Registros de archivo (por ejemplo, actas de reuniones, informes administrativos, estudios y evaluaciones formales y artículos que aparecen en los medios de comunicación).

Documentación general (por ejemplo, archivos de uso público tales como censos y otros datos estadísticos, registros de servicios, registros organizacionales y presupuestos).

Análisis de la información: Process-tracing: observación a profundidad guida por marco teórico, contrastar explicaciones

rivales y alternativas, búsqueda de explicación más probable.


MARCO DE INVESTIGACIÓN Avanza de aspectos

exógenos hacia endógenos.

Total de 25 variables.

Basado en evidencia de 63 estudios acerca de 86 países.


Entorno Externo y Político

Características del Sistema

Características Organizacionales

SELECCIÓN DE UNIDADES DE ANÁLISIS


Elección basada en disponibilidad de ID

Elección basada en tamaño

Gobierno de Chile

Ministerio de Salud (MS)Vida Sana

Más Adultos Mayores Autovalentes

Ministerio de Obras Públicas (MOP)

Agua Potable Rural

Conservación de las Riberas de los Ríos

Ministerio de Desarrollo Social (MDS)

Noche Digna

Vínculos

Ministerio de Energía (ME)

Alumbrado Público

Acceso y Suministro Eléctrico en Zonas Rurales y Aisladas

ACLARACIONESEnfoque en influencia, no en el impacto, de la ID.

Muchas variables y ocho unidades de análisis: algunas variables se “mantuvieron constantes”.

Punto de vista de los ministerios sectoriales.

No es una evaluación de ningún sistema específico.


RESULTADOS


CICLO PRESUPUESTARIO 2017: PERSPECTIVA DE LOS MINISTERIOS SECTORIALES


Borradores presupuestarios

• Desde mayo hasta finales de junio, 2016.

Ajuste a techos presupuestarios

• Durante el mes de julio, 2016.

Negociación con DIPRES

• Durante el mes de agosto, 2016.

• Nivel de gabinete durante septiembre, 2016.

Aprobación en el Congreso Nacional

• Desde octubre hasta finales de noviembre, 2016.

Ejecución

• Enero a diciembre 2017

Entrevistas en Chile

ID TIENE UN ROL LIMITADO EN LA FORMULACIÓN Y NEGOCIACIÓN PRESUPUESTARIATres tipos de indicadores tienen un rol principal: prioridades políticas, índices de cobertura y de ejecución financiera. Confirmado por todos los entrevistados que participan en estos procesos en la DIPRES y en los ministerios.

Los procesos internos de los ministerios están influenciados por la DIPRES: ‘¿podemos defender esta petición de expansión cuando negociemos con DIPRES?’ No hay incentivos a mostrar más información. El incentivo natural es de esconder información.

La discusión de expansión presupuestaria involucra ID: indicadores de salubridad como malnutrición, encuestas de satisfacción a beneficiarios, porcentaje de beneficiarios que pertenecen a grupos minoritarios o vulnerables, entre otros.

Por qué DIPRES no pide más ID en las negociaciones? Desconexiones internas.

Limitaciones de tiempo.

Reduce discrecionalidad.


EL USO DE LA ID AUMENTA EN LA EJECUCIÓN DEL PRESUPUESTO

CASOS MÁS EXITOSOS:

Mayor parte de entrevistados tienen acceso oportuno a ID de buena calidad. La mayor parte del resto de entrevistados tienen

acceso a la mayor parte, pero no a toda, la ID que necesitan.

Todos los entrevistados se refirieron de manera positiva a los sistemas de monitoreo institucional.

CASOS MENOS EXITOSOS:

Todos los jefes de programa reportaron múltiples problemas. Como consecuencia: Menor disponibilidad de ID.

Más tiempo analizando la calidad de la ID.

Dificultades para manejar mayor cantidad de información.

Ninguna mención de los jefes de programa respecto a los sistemas de monitoreo institucional.


Dos niveles de monitoreo de desempeño: institucional y de programa.Menor control externo y menos restricciones de tiempo: mayor flexibilidad para diseñar procesos internos.Características comunes de nivel institucional: reuniones frecuentes, bien estructuradas y enfocadas en áreas prioritarias.

HAY DIFERENCIAS CONSIDERABLES ENTRE LOS MINISTERIOSCASOS MÁS EXITOSOS:

Interés de los mandos medios y altos: Resaltado por más de la mitad de los entrevistados.

Factores intrínsecos: Menor tamaño.

Homogeneidad de productos.

Ambos factores vinculados a sistemas de información más adecuados.

Factores adicionales: Uso de Project Management Officer (PMO).

Planificación estratégica.

Competición interna.

CASOS MENOS EXITOSOS:

Interés de los mandos medios y altos: Varios entrevistados vincularon la alta

rotación con menor claridad respecto a los objetivos estratégicos y a menor involucramiento en cada programa.

Factores intrínsecos: Mayor tamaño requiere múltiples niveles

de monitoreo.

Factores adicionales: Control interno basado en PMG.


USO PARA EVALUACIÓN: SOCIEDAD CIVILEl gobierno es transparente, pero la ID que presenta no es muy útil.

Proveer vínculos explícitos entre las definiciones estratégicas, los indicadores de desempeño y los recursos asignados en el presupuesto.

Desagregar la información por regiones.

Crear sistemas de open-data y mejorar la facilidad para que los usuarios naveguen a través de los sistemas.

Desarrollar programas de capacitación para que la ciudadanía en general (usuarios no técnicos) puedan navegar y analizar la información.


INDICADORES DE LOS SISTEMAS CENTRALES TIENEN POCO USO Sistemas ad-hoc tienen más relevancia que indicadores de DIPRES

A pesar de casi dos décadas de tradición y alabanza internacional.

Ambos sistemas comparten críticas en su calidad.

Principales diferencias: Los indicadores de la DIPRES carecen de relevancia y cobertura.

Seis de los ocho programas incluidos en este estudio tienen entre cero y un indicador en los sistemas de DIPRES.

Aparente desconexión interna en DIPRES.


PROGRAMA DE MEJORAMIENTO DE LA GESTIÓN (PMG)Dos tercios de los entrevistados dijeron que los indicadores del PMG no son relevantes y/o apropiados para medir desempeño y que no son motivantes.

“demasiado grande como para ponerlo en riesgo”: En el 2014 el 99,5% de las instituciones ganaron el máximo premio. El 0,5% restante ganó medio

premio.

De 7% en 1998 a 15.6% en 2010.

Indicadores de desempeño han empeorado al vincularse a recursos. Metas bajas y problemas de agente-principal.

Baja cobertura.

Antiguamente se vinculaba a sistemas de gestión: recursos humanos, calidad de los servicios, planificación, administración financiera, entre otros.


CONCLUSIONES


CONCLUSIONES Y RECOMENDACIONES1. Fortalecer los sistemas informáticos y los mecanismos de monitoreo de desempeño al

interior de los servicios públicos.

La ID de los ministerios es la menos desarrollada pero la más utilizada.

Rol central para promover mejoras y aumentar eficiencia: Diagnóstico de las necesidades basado en tipos de ministerios y tipos de programas.

Búsqueda de mejores prácticas en Chile.

Transferir conocimientos a casos relevantes.

Coordinar el diseño de un grupo delimitado de sistemas basados en open-source.


CONCLUSIONES Y RECOMENDACIONES2. Aumentar involucramiento de mandos medios y altos.

Factor clave para mayor parte de entrevistados.

Problemas vinculados a alta rotación derivan en poco involucramiento y prioridades difusas. Reformas a la Alta Dirección Pública buscan algunas soluciones.

Desconexión política interna por sistema de elección política. El sistema Chile Gestiona buscaba soluciones.

No hay vínculos entre objetivos de sistemas DIPRES y de fuera de DIPRES.


CONCLUSIONES Y RECOMENDACIONES3. Mejorar los sistemas centrales.

Reformar PMG: Incentivo monetario hoy es "demasiado grande como para ponerlo en riesgo“.

Revertir vínculo a indicadores de desempeño

Vincular a desarrollo de sistemas internos.

Institucionalizar sistemas que fortalezcan rol de ID dentro de DIPRES. Esto impactaría ministerios.

Presupuesto por programas ayudaría a solucionar dos deficiencias: Vínculos entre Definiciones Estratégicas, Indicadores de Desempeño y el presupuesto.

Concordancia entre objetivos internos y objetivos reportados.



ANEXOS


Entorno Externo y Político

Presión ciudadana por reformas basadas en el desempeño

Factores económicos (por ejemplo, recesión económica, recortes

presupuestarios)

Existencia de liderazgo para reformas basadas en el desempeño

Apoyo político general a las reformas basadas en el desempeño

Apoyo legislativo para reformas basadas en el desempeño

Momento adecuado para la reforma (por ejemplo, demasiadas reformas,

reformas complementarias)

Involucramiento de los stakeholders (por ejemplo, ministerio de planificación,

ministerio de finanzas)

Características del Sistema

Disponibilidad de información de desempeño de sistemas centralizados

Características de los procesos presupuestarios (por ejemplo, plazos,

asignaciones, nivel de agregación)

Características de los sistemas y procesos basados en el desempeño (por

ejemplo, complejidad, objetivos, estructura)

Marco legal de las reformas basadas en el desempeño

Calidad de la información de desempeño de los sistemas centralizados

Enfoque top-down o bottom-up para la presupuestación por desempeño

Características Organizacionales

Disponibilidad de información de desempeño de los sistemas internos

Capacidad de los sistemas informáticos para recopilar, almacenar y acceder a la

información sobre el desempeño

Vínculos entre la planificación y la presupuestación

Apoyo administrativo para las reformas basadas en el desempeño

Factores organizacionales (por ejemplo, tamaño, reorganización, tipos de bienes

y servicios proporcionados)

Calidad de la información de desempeño de los sistemas internos

Recursos económicos para reformas basadas en el desempeño

Interés del personal en las reformas basadas en el desempeño

Capacidad del personal para los procesos basados en el desempeño

Capacidad de planificación estratégica

Estructura de los procesos de monitoreo del desempeño (por ejemplo,

frecuencia de las reuniones de monitoreo, tipo de información analizada en las

reuniones)

Tiempo requerido para completar los procesos relacionados con reformas

basadas en el desempeño


PROCESS-TRACING

Esta metodología se utiliza para descubrir “los estímulos a los que responden los actores; los procesos de toma de decisiones que son influenciadas por esos estímulos; el efecto de diversos arreglos institucionales en la atención, el procesamiento y el comportamiento; y el efecto de otras variables de interés en la atención, el procesamiento y el comportamiento” (George & McKeown, 1985, p. 35).

Principales herramientas: Analizar procesos en profundidad en base a

las variables de un marco de investigación predefinido

Desagregar procesos en eventos clave.

Contemplar el impacto en cadena de procesos de tomas de decisión.

Búsqueda de evidencia clave: suficiente y necesaria.

Contrastar explicaciones alternativas o rivales de los mecanismos causales que influyeron en el comportamiento y en la toma de decisiones a través de análisis probabilísticos.


CICLO ‘PROMEDIO’ DE FORMULACIÓN, NEGOCIACIÓN Y APROBACIÓN PRESUPUESTARIA


Borradores presupuestarios

• Desde mayo hasta finales de junio.

• Basado en cobertura y costos unitarios.

• Decidir entre continuidad y expansión.

• Preparado por los jefes de programa.

Ajuste a marcospresupuestarios

• Durante el mes de julio.

• Cortes basados en prioridades políticas.

• Solicitudes de expansión consideran ID.

Negociación con DIPRES

• Durante el mes de agosto. Nivel de gabinete durante septiembre.

• Análisis de continuidad basado en cobertura y ejecución financiera.

• Solicitudes de expansión consideran ID.

Aprobación en el Congreso Nacional

• Desde octubre hasta finales de noviembre.

• Poca participación de los ministerios: DIPRES defiende el presupuesto.

POCA PARTICIPACIÓN DE LOS MINISTERIOS SECTORIALES ANTE EL CONGRESO NACIONAL

Entrevistados en todas las instituciones: DIPRES se transforma en un aliado ante el

Congreso.

Ningún entrevistado expresó malestar con cómo funciona este proceso.

El Congreso no tiene poder ni capacidad de análisis.

Interés casi exclusivo en glosas presupuestarias.


El Congreso Nacional sólo puede disminuir los gastos.

El Congreso Nacional no puede enmendar los supuestos económicos.

Si el Congreso Nacional no aprueba un presupuesto antes del 30 de noviembre, la propuesta original del Ejecutivo se convierte en ley.

Ejemplo: Monitoreo institucional en la Subsecretaría de Energía

Semanales Mensuales

Comité

Directivo- Reuniones utilizando el

sistema de semáforo para

identificar el progreso.

- Definición de compromisos

para la próxima reunión.

- Elaboración de planes de

acción para cumplir con los

compromisos.

Jefes de

División

- Reuniones cortas para

discutir asuntos adicionales.

- Reunirse con PMO, al menos

antes de cada reunión

mensual, para revisar lo que

será discutido.

Oficinas

descentraliz

adas

- Proporcionar información

para la elaboración de

informes de proyectos.

- Revisión mensual de los

objetivos descentralizados.

Jefes de

Programa

- Introducir la información del

programa en el sistema de

gestión.


EVALUACIÓN EX POSTMAS UTILIZADAS

Triangulación de evidencia débil en caso de evaluaciones ex-post.

Rediseño de programas y/o sus componentes.

Desarrollo de procesos adicionales para mejorar el desempeño.

Compromisos cumplidos o rumbo a cumplirse, aunque ninguna mención a su seguimiento.

MENOS UTILIZADAS

Los evaluadores: No entendieron los aspectos más complejos

de los programas.

Fueron muy superficiales.

Varios compromisos no cumplidos.

Compromisos considerados no relevantes son levantados en evaluación subsiguiente.


EPG APR13. Revisar y concordar con DIPRES matriz de marco lógico e indicadores de desempeño que sirvan de base para evaluar el desempeño del programa y realizar su posterior seguimiento.

14. Cuantificar indicadores de desempeño incluidos en matriz de marco lógico del programa e incorporar los indicadores de desempeño del Programa en el Sistema de Planificación y Control de Gestión (SIG) de la DOH.

El seguimiento posterior de este compromiso será realizado a través la revisión del Sistema de Planificación/Control de Gestión del P.M.G. de la DOH.

8. Implementar una base de datos con los antecedentes técnicos, organizacionales, administrativos, financieros, legales y patrimoniales de todos los sistemas de agua potable rural, que permita hacer el seguimiento y evaluar el desempeño del programa.

Observación: A junio 2011 este compromiso no ha sido cumplido ni se ha solicitado formalmente, por parte de la institución responsable, su cancelación. En consideración al tiempo transcurrido desde la fecha establecida para su cumplimiento, sin mostrar avances al respecto, se procede a cancelar dicho compromiso debido a la pérdida de vigencia ante la situación actual del programa/institución.

Calificación: Cancelado (30-06-2011)


EPG ENERGIACuenta como parcialmente cumplido a pesar de que:

Todos los compromisos menos uno no se cumplieron.

El único cumplido estaba relacionado a encuestas que ya se habían hecho independientemente de la evaluación.


EPG SSSRediseñar el actual modelo de atención del programa, presentando sus respectivos indicadores de desempeño por tipo de población. Se trabajó en rediseño. Parcialmente cumplido.

Implementar el nuevo modelo de atención del programa, a través de su incorporación en las bases técnicas 2016, las que incluirán los respectivos indicadores de desempeño por tipo de población.

Elaborar una ficha que permita registrar la información que facilite la gestión cotidiana del programa en todos sus componentes y el análisis de datos de trayectoria de los beneficiarios del mismo. Ambos dependen de resideño, observación muestra que no se ha cumplido. Parcialmente cumplido.


REFORMAS RELACIONADAS A GERENCIA PÚBLICAALTA DIRECCIÓN PÚBLICA (ADP)

Enfoque en contratación y reemplazo de directores públicos.

Debilitada por despidos masivos.

Sin vínculo al PMG.

CHILE GESTIONA

Descontinuado al poco tiempo (con cambio de gobierno).

Objetivo era vincular prioridades políticas y de desempeño.

Creó dos posiciones: Oficial de alta nivel que monitoreaba los

resultados de los ministerios y servicios.

Directores de gestión en los ministerios para funcionar de vínculo entre el ministro y los jefes de servicio.


CONCLUSIONES SELECCIONADAS DEL ESTUDIO PMG (HACIENDA, U DE CHILE)La formulación de indicadores y metas es formalista y poco representativa de la verdadera calidad de la gestión, lo que lleva a que las autoridades tomadoras de decisiones verdaderamente relevantes no orienten dichas metas en torno a los resultados de estos sistemas, les presten escasa atención y organicen este instrumento de modo que no se convierta en un problema.

Desvinculación, a nivel de diseño, de otros sistemas de control de gestión del Estado, y en las ocasiones en que se vinculan, se “derrama” el formalismo a los otros sistemas, como por ejemplo los Convenios de Alta Dirección Pública (ADP).

El sistema de control de gestión de la institución es capturado por un sistema central, en lugar de permitir el desarrollo de uno propio para la realidad de cada Servicio, con la heterogeneidad y descentralización observada sistemáticamente en la evidencia internacional.

El costo más importante es a la vez el más intangible. Al imponérsele a los Servicios y a los funcionarios una motivación extrínseca a ellos mismos, se produce el crowding out de lo que más debiera importar: la motivación intrínseca por la agregación de valor, el servicio público y la satisfacción de los usuarios, y por ende, la burocratización institucional.


ASPECTOS CLAVES ENTORNO Y POLÍTICOEl liderazgo ejecutivo fue el factor más importante, tanto del Presidente como de los niveles inferiores.

Primero, que todos los grandes períodos de reforma han aparecido inmediatamente después de que un nuevo presidente asumiera el poder.

Segundo, que los entrevistados y los informes previos confirman unánimemente que los tres Presidentes estuvieron muy invertidos en estas reformas. Además del Presidente, Mario Marcel fue una fuente clave de liderazgo ejecutivo, participando extensamente durante más de una década con tres administraciones diferentes. Los informes de los entrevistados y los documentos de su influencia son abundantes.

Las reformas eran casi nunca sistémicas, lo que podría dar lugar a una concentración de poder. En casi todos los casos, las reformas presupuestarias de desempeño fueron diseñadas dentro de DIPRES e introducidas

directamente por DIPRES en las negociaciones presupuestarias.

La situación económica tuvo una consecuencia negativa, pero también una positiva inesperada. Muchos entrevistados confirmaron que la abundancia percibida de recursos se utilizó en muchos casos como una razón para

no priorizar las reformas. Sin embargo, el caso de Chile muestra una consecuencia positiva inesperada: la falta de urgencia permitió a los reformadores introducir gradualmente la presupuestación de desempeño, es decir, permitir que cada componente madurara antes de expandirlo en todo el gobierno y antes de introducir más componentes.

La presión externa para las reformas de motivación política tuvo algunos, pero no mucho impacto. Ambos casos ocurrieron durante la administración de Lagos - uno respondió al malestar general del sector privado, y el otro a

la demanda popular para actuar contra la corrupción.


Hawkesworth, Ian, Oscar Huerta Melchor and Marc Robinson (2013), “Selected budgeting issues in Chile: Performance budgeting, mediumterm budgeting, budget flexibility”, OECD Journal on Budgeting, Vol. 12/3.

Despite this, today there is a perception that performance information is not having a sufficient impact on resource allocation. In particular, it appears that while evaluations often do generate changes in programme design and management, they relatively rarely impact on budget funding of programmes. This impression is reinforced by advice from DIPRES sectoral budget analysts that they do not often discuss evaluation findings with the affected institutions during the negotiations with line ministries, the so-called “technical commissions". It is therefore hardly surprising that many within government consider that the performance management system is not functioning sufficiently as a performance budgeting system.

The failure to link the “strategic products” with the budgetary programmes has the serious consequence of separating the entity’s strategic planning from its budgeting. In a properly designed programme budgeting system, the strategic framework should be integrated with the budget via the budgetary programmes. Concretely, entities are required to specify the objectives (intended outcomes) of every budgetary programme, and to develop performance indicators for each programme. However, in Chile performance indicators are linked to the “strategic products” rather than to budget programmes, and the objectives of the budget programmes are not specified.


Ariel Zaltsman (2009) The Effects of Performance Information on Public Resource Allocations: A Study of Chile's Performance-Based Budgeting System, International Public Management Journal, 12:4, 450-483

In effect, only one DIPRES line budget official reported taking these assessments into account. He described them as one of the many criteria that help him form an opinion of how the agencies are doing. In contrast, some of his colleagues and several agency budget officials explained that they tend to disregard these assessments because they do not find them useful. Interestingly, none of the interviewees reported instances where PI-related considerations affected agency budgets.

The most typical way evaluation assessments affect budget allocations is through the implementation of the studies’ recommendations. In many cases, the evaluations’ recommendations require devoting resources to financing acquisition of equipment, hiring consultancy services, or undertaking studies or other activities. This gets generally reflected in an increase in the agencies’ total budget requests and, in many occasions, also in DIPRES’s funding recommendations, the President’s budget bill, and the final appropriations. But these budget requests and recommendations do not always get translated into an increase in funding. Therefore, the agencies often find themselves needing to address their evaluation-based pledges through reallocation of their current resources. Such reallocations can be proposed by the agencies or by DIPRES officials, or decided by the agencies themselves after their appropriations have been defined.


Documents

INFORMACIÓN DE DESEMPEÑO EN LOS MINISTERIOS …politicaspublicas.uc.cl/wp-content/uploads/2017/07/Presentación... · Principales diferencias: ... Seis de los ocho programas incluidos