1 1 Noviembre 2009 María Teresa Hamuy Jefa Departamento de Evaluación División Control de Gestión SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN

1

1

Noviembre 2009

María Teresa HamuyJefa Departamento de Evaluación

División Control de Gestión

SISTEMA DE EVALUACIÓN Y CONTROL SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓNDE GESTIÓN

SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN

Generar información de desempeño e introducir prácticas para mejorar la calidad del gasto.

– Eficiencia en la asignación de recursos

– Eficiencia en el uso de los recursos– Transparencia en la gestión de los programas y en

la administración de las finanzas públicas

Objetivos del Sistema de Evaluación y Control de Gestión

2

I. Sistema de Evaluación y Control de Gestión del Gobierno Central

MECANISMOS DE INCENTIVO REMUNERACIONAL INSTITUCIONAL

2) 2007: Metas de Eficiencia Institucional

INDICADORES DE DESEMPEÑO

DEFINICIONES ESTRATÉGICA

S

BALANCE DE GESTIÓN

INTEGRAL

4) 2008: FONDO DE MODERNIZACIÓN DE LA GESTIÓN

PÚBLICA

Período 2006 - 2009

SISTEMA DE EVALUACIÓN6) 2006: Aumento cobertura - 155 programas o instituciones serán evaluados en 2006-2010.

PRESENTACION PROGRAMAS AL PRESUPUESTO

1) 2007: Asistencia Técnica3)2008: Revisión Diseño de Programas

5) 2009: Programa de Mejoramiento de la Gestión (PMG) - Programa Marco de la Calidad

7) 2009: Creación de nueva línea: Evaluación de Programas Nuevos (EPN)

55

INSTRUMENTOS DE EVALUACIÓN Y CONTROL DE GESTIÓN

Instrumentos de Monitoreo y Seguimiento• Indicadores de desempeño (1993)• Balances de Gestión Integral (1997)• Definiciones Estratégicas (2001)• Presentación Estándar de Programas al Presupuesto (2000) – a partir de 2008 con

entrega de asistencia técnica

Evaluación• Evaluación de programas (1997)• Evaluación de Impacto (2001)• Evaluación de Instituciones (2002)• Evaluación de Programas Nuevos (2009)

Mecanismos de Incentivo Institucional• Programas de Mejoramiento de Gestión (1998)• Ley Médica (2003)• Metas de Eficiencia Institucional (2007)

Fondo de Modernización de la Gestión Pública (2008)

SISTEMA DE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES

Programas

Evaluación Programas Gubernamentales (EPG) (1997): Analiza consistencia de los objetivos, aspectos de organización y gestión y resultados a nivel de producto (cobertura, focalización, entre otros).

Evaluación de Impacto (EI) (2001): Además de lo anterior, permite evaluar resultados intermedios y finales en los beneficiarios, utilizando grupos de control y técnicas econométricas.

Evaluación de Programas Nuevos (EPN) (2009): Diseña la evaluación desde que se inicia o planifica un nuevo programa público, estableciendo líneas bases para la futura evaluación de impacto del mismo.

Instituciones

Evaluación Comprehensiva del Gasto (ECG) (2002): Evalúa una o más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones estratégicas, aspectos de gestión organizacional y resultados.

LÍNEA DE EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES (EPG): OBJETIVOS -

METODOLOGÍA

• La metodología utilizada se basa en la metodología de marco lógico.

• La metodología de marco lógico es utilizada por el Banco Interamericano de Desarrollo (BID), el Banco Mundial y otras agencias internacionales.

• Es una herramienta que permite el análisis del ordenamiento, consistencia y cumplimiento de los objetivos (fin, propósito, componente y actividades) del programa.

5. Evaluaciones

• Cuantificar y analizar el resultado final o impacto que tiene el programa o política pública en sus beneficiarios, participantes, o usuarios.

• Para evaluar el efecto del programa sobre resultados finales se debe identificar y separar los beneficios logrados como consecuencia de la intervención del programa, de aquellos que de todas maneras hubieran ocurrido sin la ejecución de éste, por efecto de la evolución normal de las condiciones del entorno o la acción de otros programas públicos o privados.

LÍNEA DE EVALUACIÓN DE IMPACTO

OBJETIVOS

5. Evaluaciones

14

LÍNEA DE EVALUACIÓN DE PROGRAMAS NUEVOS

Esta nueva línea, posee los siguientes aspectos centrales:

•Diseño de la evaluación desde el inicio de la implementación de un nuevo programa.

•Construcción de un grupo de control como parte del diseño de la evaluación, el que será obtenido preferiblemente a partir de un diseño experimental.

• Apoyo técnico de un Panel Asesor Internacional, conformado por académicos de gran prestigio y experiencia en materia de diseño e implementación de evaluaciones de impacto.

•Apoyo del Centro de Microdatos del Departamento de Economía de la Facultad de Economía y Negocios de la Universidad de Chile.

10

EVALUACIÓN – PRINCIPIOS /REQUISITOS

INDEPENDIENTE: La evaluación es externa a la Institución y al Ministerio responsable.

TRANSPARENTE: Los resultados deben ser públicos y enviados al Congreso Nacional.

TÉCNICA: La evaluación debe ser pertinente y objetiva, es decir fundamentarse en antecedentes estrictamente técnicos.

OPORTUNA: La evaluación debe proveer información en los tiempos adecuados para apoyar la toma de decisiones.

EFICIENTE: El costo de la evaluación debe guardar relación con los resultados que se espera de ella (juicios evaluativos).

EVALUACIÓN – PROCESO

Evaluación.• Resultados• Recomendaciones

Compromisos Institución / Ministerio de Hacienda• Acciones Específicas• Plazos

Seguimiento

• Selección de Programas/Instituciones • Selección de Evaluadores• Preparación de Antecedentes• Capacitación y Preparación Marcos Lógicos Preliminares

Envío al Congreso

Propuesta de Instituciones a

evaluarDIPRES

ComitéInter-Ministerial: SEGPRES,

MIDEPLAN y DIPRES

SEGPRES: Ministerio Secretaria General de la Presidencia

MIDEPLAN: Ministerio de Planificación y Cooperación

PROCESO DE EVALUACIÓN

Propuesta de Instituciones a

evaluar

Firma del Protocolo Instituciones seleccionadas

Congreso

Agregan o eliminan prog.

de la listaDIPRES

ComiteInter-Ministerial: SEGPRES,

MIDEPLAN y DIPRES

SEGPRES: Ministerio Secretaria General de la Presidencia

MIDEPLAN: Ministerio de Planificación y Cooperación

ROLES Y FUNCIONESACTORES INVOLUCRADOS

PROCESO DE EVALUACIÓN

EQUIPOEVALUADOR

Informe

Comentarios

DIPRES

Institución. Resp. delPrograma

DIPRES

Institución. Evaluada

15

SISTEMA DE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES

Meta: 155 programas o instituciones serán evaluadas durante esta administración

( ): Evaluaciones en proceso.

Evaluaciones 1997-2009 (Número de programas/Instituciones evaluadas)

1997 - 1999

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Total

Evaluación de Programas Gubernamentales (EPG)

80 18 19 15 13 13 16 13 14 16 20 237

Evaluaciones de Impacto (EI) 2 4 4 14 6 7 11(3) (12) (8) 71

Evaluaciones Comprehensivas del Gasto (ECG)

8 2 4 5 2 4 4 (3) (5) 37

Evaluación de Programas Nuevos (EPN)

(5) 5

Total anual 80 18 21 27 19 31 27 22 32 35 (38) 350Total período 2006-2009: 127

16

Evaluación Comprehensiva del Gasto (ECG) 2008Recomendaciones - Implicancias

Categorías de Efectos Instituciones1.- Ajustes MenoresConsidera instituciones que requieren de ajustes de grado menor, tales como el perfeccionamiento de sus definiciones estratégicas, y/o de sus sistemas de información, monitoreo y seguimiento.

2.- Modificaciones Importantes en el Diseño o Gestión InternaConsidera instituciones que requieren incorporar modificaciones, ya sea en el diseño de parte de su estructura organizacional, y/o cambio en algunas de sus definiciones estratégicas y/o en procesos claves de su gestión interna, tales como asignación y transferencia de recursos e incentivos y relación con agentes ejecutores.

- Defensoría Penal Pública

3.- Rediseño Sustantivo en el Diseño o Gestión InstitucionalConsidera instituciones que requieren reformulaciones o reestructuraciones profundas en su diseño institucional lo que implica cambio en sus definiciones estratégicas, en su estructura organizacional y en su gestión interna.

Sector Pesca:- Subsecretaría de Pesca- Servicio Nacional de Pesca

(SERNAPESCA)- Instituto de Fomento Pesquero

(IFOP)

17

Cumplimiento de Compromisos al 30 de junio 2009, según año de evaluación (1999-2008)

Porcentaje de Cumplimiento de Compromisos de las Evaluaciones de Programas e Instituciones al

30 de Junio de 2009, según año de evaluación (1999-2008)

Año de Evaluación

Calificación Traspaso de Com-promisos1

Nº ProgramasN°

Instituciones

N° de Egresados de Seguimiento2 N° Total de

CompromisosCumplidoParcialmente

CumplidoNo Cumplido

Programas Instituciones

1999 100% 0% 0% - 15 - 15 - 49

2000 99% 1% 0% - 18 - 17 - 148

2001 93% 0% 0% 7% 22 - 21 - 521

2002 99% 1% 0% - 18 6 17 5 566

2003 99% 1% 0% - 14 2 12 0 475

2004 94% 5% 1% - 22 4 14 0 506

2005 83% 11% 6% - 24 6 6 2 789

2006 73% 18% 9% - 17 2 2 0 450

2007 39% 39% 22% - 15 5 0 0 459

2008 35% 50% 15% - 16 - 0 0 216

Total 82% 12% 5% 1% 181 25 104 7 4.179

Notas:

1 Corresponde a compromisos pendientes que han sido traspasados al seguimiento de evaluaciones posteriores de programas o instituciones.

2 Incluye programas/instituciones egresados de seguimiento o cuyos compromisos pendientes se han incorporado a otras evaluaciones posteriores.

Fuente: Dirección de Presupuestos.

EVALUACIÓN COMPREHENSIVA DEL EVALUACIÓN COMPREHENSIVA DEL GASTOGASTO

ASPECTOS METODOLÓGICOS Y ASPECTOS METODOLÓGICOS Y OPERATIVOSOPERATIVOS

19

EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR

a) Diseño Institucional a.1 La consistencia entre:

-Las prioridades gubernamentales;-La misión y objetivos estratégicos ministeriales;-La misión y objetivos estratégicos de la institución;-Los productos y subproductos estratégicos; y-Los beneficiarios vinculados a la institución.

Se evalúa si el cumplimiento de los objetivos estratégicos identificados en la institución contribuyen al logro de los objetivos estratégicos ministeriales. De igual modo, se evalúa la consistencia entre productos y subproductos estratégicos (productos específicos cuando corresponda) y los objetivos institucionales.

20

a) Diseño Institucional (Cont.)

a.2 La consistencia entre los beneficiarios y los productos estratégicos, subproductos, o productos específicos provistos, y entre estos últimos y los objetivos estratégicos. La evaluación de consistencia entre beneficiarios y productos deberá considerar el análisis de los criterios de focalización o selección de beneficiarios definidos por la institución, según corresponda.

a.3 Estructura institucional y la distribución de funciones que genera esa estructura entre cada una de las unidades organizacionales y/o regionales, y su vinculación con los productos / subproductos estratégicos. Lo anterior referido a cómo el diseño institucional genera (o no) los incentivos correctos necesarios para el logro de los objetivos estratégicos de la Institución.


21


a) Diseño Institucional (Cont.)

a.4 Duplicaciones, superposiciones y complementariedades existentes entre productos / subproductos estratégicos, y con productos provistos por otros servicios públicos u otros bienes o servicios provistos por el sector privado.

a.5 Actividades y productos prescindibles o que pueden, por su naturaleza, ser ejecutados por el sector privado o sustituirlos por otros más eficaces. Lo anterior en el contexto de análisis de fallas de mercado y de bienes públicos.

a.6 Si corresponde incorporar el enfoque de género en el diseño de los productos estratégicos.

22

EVALUACIÓN COMPREHENSIVA DEL GASTO MATRIZ DE EVALUACION

Prioridades Gubernamentales

Sistema de Programación Gubernamental

Misión Ministerial Misión Institucional

Objetivos EstratégicosMinisteriales

Objetivos Estratégicos Institucionales

Productos Clientes / Usuarios Indicador Gasto Asociado Medios de Estratégicos Beneficiarios Dimensión / Ámbito (M$) Verificación

23


b) Gestión Organizacional

b.1 Procesos de producción, mecanismos de coordinación y asignación de responsabilidades en relación a la provisión de los productos estratégicos. Identificar y analizar los procesos y agentes claves (público/privado) vinculados a la provisión de cada producto o subproducto relevante y capacidades de coordinación con otros organismos.

b.2 Capacidad institucional respecto de: • Recursos Humanos • Capacidades Tecnológicas• Gestión de la Información• Infraestructura, etc.

24


b) Gestión Organizacional (Cont.)

b.3 Actividades e instrumentos de seguimiento, monitoreo y evaluación que son utilizados en la provisión de sus productos estratégicos; como asimismo las actividades de fiscalización que se desarrollan para velar por el adecuado uso y acceso a sus productos.

b.4 Mecanismos de asignación y transferencia de recursos, las modalidades de pago, los incentivos y la relación entre los agentes ejecutores y la institución pública responsable.

b.5 Mecanismos de auditoría, análisis de gasto, rendición de cuentas y transparencia en el uso de recursos para cada producto estratégico.

25


c) Resultados y Uso de los Recursos

c.1 Consiste en la evaluación de los resultados de productos y subproductos estratégicos, considerando los ámbitos de control (proceso, producto y resultados intermedios y finales) y las dimensiones del desempeño (eficacia, eficiencia, economía y calidad), vinculando estos resultados con los recursos asignados para la provisión de estos beneficios. Los indicadores utilizados en la evaluación tendrán como fuente tanto información construida para la evaluación como la de uso en la Institución.

c.2 Se considera un análisis del presupuesto institucional y de la disciplina financiera (programación de gastos y ejecución financiera).

EVALUACIÓN COMPREHENSIVA DEL GASTO

ASPECTOS A EVALUAR

d) Conclusiones

e) Recomendaciones

26

Caso: Dirección de Arquitectura

Misión Dirección de Arquitectura

“Gestionar la edificación pública, incorporando el patrimonio arquitectónico, el arte y la cultura a la infraestructura y espacio público; generando los instrumentos normativos que permitan la adecuada fiscalización, para satisfacer con calidad los requerimientos de las Instituciones del Sector Público…..”

Objetivos Estratégicos:

1.- Identificar, gestionar y desarrollar proyectos de inversión en edificación pública relevantes para el cumplimiento de las políticas de modernización del Estado.

2.- Gestionar la recuperación del patrimonio arquitectónico de inmuebles de propiedad estatal, y/o declarados Monumentos Nacionales, con el objeto de cautelar y conservar el patrimonio cultural arquitectónico de valor excepcional del Estado.

3.- Gestionar e incorporar obras de arte, en el ámbito de la plástica, a la infraestructura y espacio público.

27


Recomendación:

Redefinir la Misión de la DA con el objeto que quede explícito el rol de asesoría técnica que brinda a instituciones de la administración del Estado.

Compromiso:

Se redefinió la Misión como:

“Proveer y conservar la edificación pública requerida, para favorecer la competitividad y el mejoramiento de la calidad de vida de los habitantes a través del MOP o por mandato de otras instituciones”

Se incorporó el siguiente objetivo estratégico:

“Incorporar estándares y procedimientos para garantizar la transparencia, cobertura y calidad en la Edificación Pública”

28


Recomendación:

- Eliminar el objetivo estratégico 3 “Gestionar e incorporar obras de arte a la infraestructura y espacio público”, su producto y subproductos, traspasando los subproductos convocatoria a concursos de arte y ejecución de obras de arte, al Consejo de la Cultura (CNCA), en la medida que este cuente con las capacidades requeridas para ello.

- Externalizar las actividades relacionadas con los subproductos diseño gráfico de apoyo al Programa Ministerial de Obras de Arte, montaje de exposiciones y diseño de publicaciones .

Compromisos:

- Elaborar un programa de trabajo entre la DA y la CNCA para el traspaso paulatino de las funciones de convocatoria a concursos de arte y ejecución de obras de arte al CNCA.

- Externalizar las actividades relacionadas con el diseño gráfico de apoyo al Programa de Obras de Arte, montaje de exposiciones y diseño de publicaciones.

29


Recomendación :

Definir criterios de selección de clientes y focalizar su rol en aquellas instituciones de la administración pública que no cuentan con las capacidades técnicas para hacer encargos y supervisar contratos de edificación pública, entre las cuales se encuentran los municipios pequeños, o en obras de mayor tamaño o complejidad, tales como las asociadas al tema patrimonial”.

Compromisos :

1.Elaborar metodología para establecer estándares de edificación pública.

2.Difundir los estándares dentro de la DA.

3.Implementar uso de estándares en obras mandatadas a la DA.

4.Elaborar Guía/Pauta que incluya criterios de priorización de obras edificación pública.

30


Recomendación :

Evaluar las reales necesidades de personal para los diversos cargos de la institución realizando un estudio que permita definir un estándar en función del número y/o monto de los proyectos y metros cuadrados construidos, entre otros aspectos. Para los inspectores fiscales se debería establecer la frecuencia y duración de las visitas de inspección por proyecto, en función de tipo de proyectos, etapas del proceso de ejecución, rangos de tamaño y dispersión territorial.

Compromisos :

1.Elaborar diagnóstico de las capacidades de la inspección fiscal y de las brechas existentes.

2.Elaborar propuesta para abordar las brechas detectadas considerando como marco el Proyecto de Modernización Institucional del MOP

3. Implementar propuesta para incorporar cambios que permitan reducir las brechas detectadas, considerando el cronograma de implementación fijado en el marco del Proyecto de Modernización del MOP.

31


Recomendación :

Revisar y perfeccionar los mecanismos de coordinación y discusión presupuestaria al interior del MOP, a los efectos de alcanzar una gestión de planificación de la DA que permita una completa y eficiente ejecución presupuestaria.

Compromisos :

1.Realizar un análisis del proceso de planificación y ejecución de la inversión con el objeto de perfeccionar los mecanismos de coordinación y discusión presupuestaria relevantes para la DA, dentro del MOP.

2. En función de los resultados del análisis de proceso proponer mejoras en los procedimientos y evaluar la pertinencia de desarrollar una programación plurianual de las iniciativas de inversión.

32

33

Sistema de Evaluación de Programas e Instituciones

Los Mitos sobre las Evaluaciones y sus Resultados

1. Las evaluaciones las realiza la Dirección de Presupuestos.

2. La Dirección de Presupuestos evalúa para reducir los recursos de los programas o de las instituciones.

3. Las evaluaciones están hechas para cerrar programas.

4. Nunca se cierran los programas que han sido mal evaluados.

Las evaluaciones realizadas en el marco del Sistema de Evaluación y Control de Gestión buscan mejorar la gestión de los programas y de las instituciones, incorporando las recomendaciones realizadas por los evaluadores externos, contribuyendo a la modernización del Estado.

Es importante tener en cuenta los mitos que se han construido alrededor del Sistema de Evaluación de DIPRES.

34

PRINCIPALES LOGROS DEL SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN

Voluntad política de implementar mejoramiento en la gestión pública de un modo sistemático, gradual y en el marco de la normativa existente.

Se ha logrado vincular el sistema de evaluación y control de gestión al proceso presupuestario permitiendo contar con información de desempeño que utilizada con otras categorías de información ha permitido mejorar el proceso de toma de decisiones.

Involucramiento del Jefe de servicio en los temas de gestión institucional, contribuyendo a la pertinencia y relevancia del proceso en algunos instrumentos tales como evaluaciones institucionales, programa marco de la calidad.

Se han mejorado las prácticas de gestión institucional con el apoyo de especialistas externos, unificando metodologías de trabajo y contribuyendo a definir con mayor claridad las responsabilidades y autoridades al interior de las instituciones.

Se ha incorporado gradualmente una cultura del mejoramiento continuo en las instituciones.

PRINCIPALES DESAFÍOS DEL SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN

Lograr el liderazgo y dirección del Jefe de servicio y equipo directivo con compromiso explícito en el proceso de mejoramiento de gestión de la institución.

Mayor uso de la información de desempeño en los procesos de toma de decisiones al interior de la organización

Mejorar los sistemas de información

• Fortalecer el Sistema de Evaluaciones

• Mejorar la metodología de evaluación comprehensiva del gasto considerando el uso de modelos de evaluación de gestión aplicados en otros sectores (modelo de gestión de calidad, modelos de excelencia, etc.)

• Mejorar oportunidad (contratos, tiempo duración, selección de programas).

• Mejorar Calidad (información disponible, ampliar mercado).• Mayor uso información de evaluación.• Diseñar evaluaciones experimentales aprovechado la gradualidad en

la implementación de las nuevas reformas o políticas

• Avanzar en el mejoramiento del Sistema de Monitoreo de los compromisos

• Integrar sistemas de información actualmente disponible. (CASEN,FPS, RECH, FONASA, etc.)

Principales Desafíos del Sistema de Evaluación de Programas e Instituciones

www.dipres.gov.clSistema de Evaluación y Control de Gestión

http://www.dipres.gov.cl/

Documents

1 1 Noviembre 2009 María Teresa Hamuy Jefa Departamento de Evaluación División Control de Gestión SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN