View
498
Download
2
Category
Preview:
Citation preview
Para que sirven los Indicadores de Desempeño
Marianela ArmijoConsultoraÁrea de Políticas Presupuestarias y Gestión Pública ILPES/CEPALMarianela.armijo@cepal.org
Taller de Expertos “Presupuestar en América Latina”Santiago de Chile, 5 y 6 de Diciembre
Contenido• Lo que dice la teoría del “presupuesto por resultados”
• Que han hecho los países
• Que tipo de indicadores se usan y para qué. Algunas evidencias
• Conclusiones a partir de estudios y balances
• Sugerencias para un mejor uso
• Mejores prácticas internacional
Para que sirven los indicadores...la teoría…
• Mejorar la información para la toma de decisiones en el proceso presupuestario...mejorar la calidad del gasto público
• Posibilitar la evaluación
• Mejorar la gestión
• Establecer compromisos de desempeño
• Rendir cuentas
Sistemas de Evaluación del Desempeño
(SEV)
I. Planificación-Programación-Presupuesto
II. Monitoreo y Evaluación
III. Rendición de Cuentas
Plan Nacional de Desarrollo
Planificación Sectorial
Planificación-Programación
Presupuestaria con enfoque a resultados
Sistema de Indicadores de Gestión y resultados
Evaluación de Gestión, de Resultados (Impacto)
y Resultados Intermedios
Informes de Evaluación Anual Resultados de la
Gestión, Congreso, Órganos de Control
Que han hecho los países
• Países con Sistemas de Evaluación con intentos de integración de evaluación del desempeño entre niveles de decisión gubernamental (Plan-Presupuesto)
– Colombia: SINERGIA– Costa Rica: MAPI-POIS– Uruguay SEV– Brasil Plan Plurianual. PPA– México SED
Que han hecho los países
• Países sin “Sistema” de Evaluación del Desempeño pero que usan indicadores en el proceso presupuestario
– Chile– Perú– Argentina– Bolivia– Otros…
Que tipos de indicadores se usan y para qué
• Indicadores “agregados”, nivel país– Monitoreo y evaluación? de las metas del Plan
Nacional del Desarrollo.
• Indicadores a nivel sectorial: Educación, Salud, Seguridad Pública, Transporte, etc.– Monitoreo y evaluación de metas sectoriales
• Indicadores a nivel Ministerial, Entidades Descentralizadas– Programas Presupuestarios, Programas Públicos
Presidencia (Evidencia, solo Colombia)
Ministerio de Hacienda (Poca Evidencia)
Se publican en algunos países…(CostaRica, México, Brasil, Colombia)
Se desconoce el uso para TdD y paraRdC
Para la programación presupuestaria PAO,
POI, POA´sEl monitoreo y la evaluación…al parecerUna cuestión de cumplir con las normas
presupuestarias
Uso de la Información
Evidencias….sobre la aplicación de los indicadores….
• México
• Costa Rica
• Brasil
• Colombia
• Uruguay
• Chile
Países con Plan Nacional de Desarrollo
Países sin Plan......Lineamientos y Agendas...
Que pasa con los Indicadores que intentan medir Resultados...vinculados al seguimiento y evaluación de los Planes
Nacionales
Algunos casos...
Hay información valiosa, pero existe un desnivel respecto de la
importancia de la información que entregan los INDICADORES DE RESULTADO vinculados al Plan
COSTA RICA: INDICADORES DEL PLAN NACIONAL DE DESARROLLO
Avances en la información sobre la mejora de los Productos (Bienes y servicios) provistos....
Falta cruzar información sobre qué piensan los ciudadanos
Hay un esfuerzo importantePor medir y evaluar los
avances en la gestión de las Unidades Ejecutoras..., se
trata de vincular Objetivos..,Metas concretas..e
Indicadores
URUGUAY
¿Es necesario tratar de medir impacto para la producción genérica o intangible..?
Aplicable a todos los paises
Producto Estratégico al que se Vincula Indicador Fórmula de Cálculo Efectivo
2001Efectivo
2002Efectivo
2003
Efectivo a Junio
2004
Estimado
2004
Meta2005
•Subsidios Habitacionales
Eficacia/Resultado Intermedio
Porcentaje de subsidios pagados dentro del periodo de vigencia año t del total de subsidios otorgados. Aplica Enfoque de Género: NO
((Número de subsidios pagados
dentro del periodo de
vigencia (sin renovación) año t-2/Número total
de subsidios otorgados cuyo
periodo de vigencia (sin renovación)
termina año t-2)*100)
s.i. s.i.45.0 %
30.0 %
25.0 %
45.0 %
•Viviendas Eficacia/ProductoPorcentaje del tiempo efectivo en ejecutar las obras sobre el tiempo estipulado por contratoAplica Enfoque de Género: NO
((Suma en días del tiempo real de ejecución de
las obras terminadas año t/Suma en días
del tiempo según contrato de las
obras terminados año t)*100)
s.i. s.i.116.4
%147.1
%156.1
%136.4
%
CHILE: Indicadores al Presupuesto
•Obras Urbanas y Programas Concursables− Programas Concursables≈Pavimentos Participativos
Eficiencia/Producto
Porcentaje de Metros Lineales (ML) pavimentados en la modalidad Pavimentos Participativos en relación con lo Programado.
Aplica Enfoque de Género: NO
((Número de Metros
Lineales (ML) pavimentados
en la modalidad de Pavimentos
Participativos año t/Nº Total
de Metros Lineales (ML)
según lo Programado año t)*100)
s.i. s.i.104.4
%34.5 %
90.0 %
100.0 %
15%
Producto Estratégico al que se Vincula
Indicador Fórmula de Cálculo Efecti
vo2001
Efectivo
2002
Efectivo
2003
Efectivo a
Junio2004
Estimado2004
Meta2005
Ponde-ración
Los indicadores de calidad de vivienda
Calidad del entorno ..
Satisfacción de los usuarios
Calidad construcción obras y viviendas, están ausentes...
Indudablemente los SEV dan cuenta de avances
Colombia:
Monitoreo y TdD Metas Presidenciales
Insumo Rendición de Cuentas
Indicadores y escasa vinculación con el
Presupuesto
Chile:
Indicadores y Uso en la formulación y
evaluación Presupuesto
Se evalúa alto % gasto público
Información pocoComprensible por
ciudadanía
Escaso uso Evaluación por el Congreso
Uruguay
Indicadores y Uso de los Indicadores como
apoyo a la formulación presupuestaria
(Avance indicadores de eficiencia)
Información pocoComprensible por
ciudadanía
Escaso uso Evaluación por el Congreso
Costa Rica
Información más estratégica al presupuesto
Más simplicidad en la información sobre
resultados
Información pocoComprensible por
ciudadanía
Escaso uso Evaluación por el Congreso
La articulación entre la Planificación y el ProcesoPresupuestario debe ser revisada...
• Plan Nacional de Desarrollo: • Indicadores Macro nivel país
– Tasas de disminución de la Pobreza y marginalidad– Creación de empleo formal– Indicadores de seguridad ciudadana– Indicadores de Salud y Educación
• Planes Sectoriales
• Indicadores de Impacto y resultados intermedios de losProgramas
– Tasas de Desnutrición– Deserción escolar– Disminución de déficit viviendas, etc
• Planes Institucionales
• Indicadores de Objetivos Estratégicos Institucionalesvinculados a los Programas
• Programas Presupuestarios
PRIORIDADESNACIONALES
PRIORIDADESPROGRASECTORIALES
FINES Y OBJETIVOSESTRATEGICOS
INSTITUCIONALES
Indicadores de Impacto Políticas
Estadísticas Nacionales
Indicadores de Impacto y
Resultado IntermedioProgramas
Evaluaciones de Impacto
Indicadoresde Impacto Y resultado intermedioProgramas
PROGRAMACION OPERATIVAIndicadores
de Gestión
Indicadores Impacto – País articulados con metas a nivel sectorial ?
Indicadores de Impacto a nivel sectorial con atribucióndirecta con los Programas ?
Planificación EstratégicaInstitucional y Indicadoresde Objetivos Estratégicosalineados con los Sectoriales?
Indicadores de Gestión alineados con OE?
No hay mayor evidencia empírica de la relación...Monitereo- Evaluación ....Mejoras Gestión..
• Débil relación entre Indicadores-Monitoreo-Evaluación- Mejoras de la Eficacia Asignativa, Eficiencia Operacional, Mejoría provisión productos Usuarios.....
Se mantienen ciertos mitos...
– Se fortalece “cultura de evaluación” v/s tiempos de trabajo de los funcionarios e incentivos....
(Testimonios)
• “Si tuviera tiempo para trabajar, planificar..y no para llenar formularios..Dra. Especialista en Nutrición”. Programa de Nutrición del Ministerio de Salud
• “Si no puedo tener buenos indicadores y me expongo a no cumplir (por razones no controlables.”invento”...subvalúo las metas, etc...”Funcionario de Alto Nivel Jerárquico de Ministerio...
Se mantienen ciertos mitos....
– Presentar indicadores no es rendir cuentas…
– (Testimonios…)– En un país, los PAO´S con informes de indicadores
que van al Congreso tienen promedio 120 páginas ...
– ¿De que indicadores me hablan..? Informes Emitidos../Informes Programados , etc.
Los indicadores como instrumentos de control....
• Las normativas de las leyes de presupuesto, muchas veces conspiran para que se monitoree lo innecesario...
A evaluar, evaluar que el mundo se va a acabar.......
Una nueva enfermedad:Indicadoritis....aguditis..monitoreos trimestrales
De metas físicas...
(Testimonios...)
Las metas de los indicadores...(PAO´s) sin relación con la formulaciónPresupuestaria...desfase de la información
Sugerencias para mejorar los indicadores como apoyo al PoR…..
1. Distintos Indicadores para distintos usos..Como articular la información para la Toma de Decisiones
2. Integrar la Planificación Estratégica como fase previa a la generación de indicadores de desempeño institucional y programático.. Empoderar a los responsables...
3. Algunas sugerencias metodológicas que apunten a la simplicidad y la pertinencia del uso de los indicadores
4. Rendición de Cuentas más estratégica
1. Distintos Indicadores para distintos usos..Como articular la información para la Toma de
Decisiones
No todos los Indicadores deben ir en la información anexa al Presupuesto...
• Monitoreo y Evaluación del Plan de Desarrollo o grandes metas país
• Presupuesto• Sistemas de información gerencial• Sistemas de información operacional
CUAN BIEN LO HACEMOS QUE HACEMOS
HAY ALGUNA MEJORIA
COMO CAMBIAN LASCONDICIONES INICIALES
CUANTOS RECURSOS OCUPAMOS
INDICADORES
Costos planillaCostos unidadesde productos
Número de funcionarios
Licitacionesrealizadas
Actividades
Número de viviendas
Kilómetrosconstruidos
Inspeccionesrealizadas
Costo porvivienda
Costo porkilómetroconstruido
Tiempo de respuestainspecciones
Gastoadministrativo/Gasto TotalGastoEjecutado/Gastoprogramado
COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS
Porcentaje de viviendas con estándares de calidad en la normal
Porcentaje de viviendas con entorno urbanomejorado
Disminución del déficit habitacionalProvincia X
Porcentaje de usuariosque reciben viviendadeclaran satisfacciónpor calidad y entorno
TIPO
Insumos
Inptus
EficienciaCalidadEconomía
USO
INF.
Sistema de InformaciónInterna
Entidades
Contraloría
Eficacia(Cobertura, Focalización)Calidad
Eficacia (Cobertura, Focalización)EficienciaCalidad
EficaciaEficienciaCalidad
Presupuesto(ProductosFinales)
Sistema deInformaciónInterna(ProductosIntermedios)
Presupuesto
Sistema de Informacióninterna(Productosintermedios, Productos finales, no relacionadoscon O.Estratégicos)
Presupuesto
Sistema de InformaciónDirectivo
Presupuesto
Sistema de InformaciónDirectivo
ORGANISMO DE PLANIFICACION
INSUMO PROCESO PRODUCTO RESULTADOINTERMEDIO
RESULTADO
FINAL
MISION
VISION
ESTRATEGIAS
OBJETIVOS
ESTRATEGICOS
METAS o LINEAS DE ACCION
PROYECTOS, PROGRAMAS, ACTIVIDADES
INDICADORES
PLA
N
EST
RA
TE
GIC
ORAZON DE SER DE LA ENTIDAD, FIN, PROPOSITO
FUTURO, ESCENARIO DESEADO, COMO QUIERE SER LA ENTIDAD
MEDIOS PARA LOGRAR LOS OBJETIVOS ESTRATEGICOS
COMO
QUE ESPERA LOGRAR LA ENTIDAD PARA CUMPLIR SU MISION
ANALISIS DEL MEDIO EXTERNO E INTERNO
PROPOSITOS
FUNDAMENTALES
CONCRECION DE LOS
OBJETIVOS ESTRATEGICOS
MEDIDAS PARA ESTABLECER EL GRADO DE CUMPLI MIENTO DE LOS OBJETIVOS
PRESUPUESTO
2. Integrar La Planificacion Estratégica Al Sistema de M&E
a. Necesidad de revisar el concepto de “metasfísicas” para ser incluidas como parte del sistema de monitoreo y evaluación del presupuesto (esto no significa que no se contabilicen…perotiene que ser esa la información que se adjunta al presupuesto ?)
• Genera problemas para la medición de producciónintangible o bienes genéricos e implica una sobre poblaciónde indicadores
– Las experiencias internacionales de PoR más avanzadas no tienen el concepto de meta física, sí el de productos (bienes y servicios)
3. Algunas sugerencias metodológicas..simplicidad y pertinencia
3. Algunas sugerencias metodológicas..simplicidad y pertinencia
b. Necesidad de sincerar las capacidades deconstrucción de indicadoresindicadores de de eficienciaeficiencia
– Para qué tipo de instituciones esconveniente su generación y a qué nivel
Costos para la producción final e intermedia, producción tangible e intangible ?Quien usa la información sobre eficiencia
– Qué tipo de capacidades y sistemas es necesariodesarrollar para construir indicadores de eficiencia
3. Algunas sugerencias metodológicas..simplicidad y pertinencia
Si es tan difícil y estamos tan lejos para medir resultados...orientémonos a medir bien los Insumos, Productos y los Procesos....
Algunos de sus defensores..
MakonShackShick......Quirós...
3. Algunas sugerencias metodológicas..simplicidad y pertinencia
Pero no abandonemos los intentos de generar y mejorar buenos indicadores de resultados...intermedios y finales (impactos)...
• Indicadores que permitan monitorear las prioridades nacionales....y los compromisos asociados a ellos...y sobre todo indicadores que sean útiles para generar acciones..mejoras..información
3. Algunas sugerencias metodológicas..simplicidad y pertinencia
Aprender de las buenas prácticas de presupuesto orientado a resultados...
• Apostar a la simplicidad de los modelos de vinculación Prioridades Gubernamentales...Gasto Público... Asignación Eficiente y Responsabilización...
• Canadá• Nueva Zelanda• Reino Unido
Lamentablemente en América Latina nos cuesta definir PRIORIDADES ESTRATEGICASSectoriales e Institucionales....10, 15 Objetivos
Estratégicos..poco concretablesSe cometen la mayor parte de las prácticas no
aconsejables en evaluación:
“No es posible ni deseable medirlo todo”Evitar la trampa de la medición...
“Haces solo lo que es posible mostrar”Indicadores con incentivos perversos
• Informar lo que interesa conocer…Cumplimiento de Metas físicas de productos?
• Mejoramiento del marketing del presupuesto.. Que información de desempeño y deseable y posible …?
Mayor expertise para presentación de “Informes sobre Resultados” al Congreso y ciudadanos…
4. La Rendición de Cuentas debe ser más estratégica.
Estudio de Mejores Prácticas Sistemas de M&E
Factores que deben ser potenciados
• Capacidad de empoderamiento a los directivos
• Desarrollo de Sistemas de Información
• Rendiciones de Cuentas en un marco de participación ciudadana
• Debe haber una interconección entre el alto nivel de decisión y el desempeñooperacional
• El Sistema de M&E debe incluirIndicadores de desempeñoestratégicos en cascada desde el cuerpo Directivo hacia los departamentos, los indicadores operacionales apoyan a los niveles de gestión senior.
Estudio de Mejores Prácticas Sistemas de M&E
Factores que deben ser potenciados
Recommended