Upload
carlitos-bandera
View
223
Download
2
Embed Size (px)
Citation preview
Evaluación de Programas Públicos
Sistema de Evaluación del Desempeño SED
El contexto de la Gestión Para
Resultados
Nueva Gerencia Pública
Es un enfoque que otorga “poder y flexibilidad” a los gerentes públicos a cambio de una mayor responsabilidad por la obtención de resultados
Enfoque de la GPR
Gerencia de recursos públicos para el logro de objetivos y resultados
Nueva Gerencia Pública
Las principales implicaciones son:
• El traslado de las funciones ejecutivas a agencias dotadas de mayor autonomía administrativa, otorgándole mayor poder a los gestores públicos (delegación ) y exigiendo la obtención de ciertos logros
• Ajustes en sus sistemas presupuestarios (PBR); flexibilidad, traspaso de
recursos basados en desempeños (contratos)
• El desarrollo de sistemas administrativos y tecnológicos de control de gestión y rendición de cuentas
• Generar valor agregado al gasto público y con resultados de impacto para los usuarios de los servicios públicos
Antecedentes del GPR
El PbR es una herramienta de mejora del gasto público para el logro de resultados que impacten en el bienestar de la población;
Los resultados se logran mediante el diseño estricto de programas públicos;
La evaluación de los programas enfatiza en los resultados por sobre los procedimientos de operación, con lo que se obtiene mejoras en la calidad de los bienes y servicios públicos;
El PbR integra un proceso basado en consideraciones objetivas para la asignación de recursos en un PRESUPUESTO, con el objeto de producir con CRITERIOS de calidad, los bienes y servicios públicos de aquellos PROGRAMAS que son pertinentes y estratégicos para lograr los RESULTADOS comprometidos.
Para Recordar
Marco Conceptual y Teórico de la
Evaluación de Programas Públicos
DEFINICIONES EVALUACION DE PROGRAMAS PUBLICOS
“Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos “ OCDE.
“Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención.....…”Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea
“Conocimiento para la acción” Mejores Prácticas para la Evaluación. Public Management Public
“Apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados.” (OCDE, 2002)
Fuente: Armijo Marianela. Planificación Estratégica Gubernamental, Sistemas de Seguimiento y Evaluación del Desempeño. Apoyo a la Gestión Presupuestaria en Guatemala. 16 y 17 de Noviembre. 2009 (Láminas 2 a 19)
OBJETIVOS DE LA EVALUACION DE PROGRAMAS PUBLICOS
APOYAR EL PROCESO DE TOMA DE DECISIONES
INFORMACION SOBRE IMPACTO DE LAS POLITICAS
AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES GUBERNAMENTALES EN LA EJECUCION DE POLITICAS Y PROGRAMAS
MEJORAR EL RESULTADO DE LAS INTERVENCIONESPUBLICAS
El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo.
• Deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones.
• Emite juicios sobre las causas y las razones de los resultados, examina resultados no buscados, estudia el proceso que se ha seguido para obtenerlos y proporciona recomendaciones para acciones futuras.
• Es mediante un proceso sistemático de recolección y de análisis de información relevante, de acuerdo a una marco metodológico explícito.
Algunas Carácterísticas Generales
REQUISITOS DE UNA BUENA EVALUACIÓN
11
ETAPAS DEL PROCESO DE EVALUACION
ETAPAS
EX -ANTES
Diseño de Programas y Proyectos
OPERATIVA
Ejecución del Programa oProyecto, Productos, Servicios
EX-POST
Medición del desempeño o Impacto
12
Uso de la evaluación de programas
• Seguimiento de la situación de los Programas para fines de rediseño
• Decisiones de asignación de recursos
• Rendición de cuentas
PAPEL DE LA EVALUACIÓN EN LA TOMA DE DECISIONES
14
Planificación y Proceso Presupuestario: Mecanismos de articulación y uso de Evaluación de Programas
Plan Nacional de Desarrollo: TIPOS DE INDICADORES
Indicadores Macro nivel país Tasa de disminución de pobreza,
marginalidad Tasa de creación de empleo Tasa de dismunución de los delitos Indice de Calidad Educativa Indicadores de Morbilidad
Planes SectorialesTIPOS DE INDICADORES
Indicadores de Impacto y de resultados intermedios de los Programas Sectoriales
Tasas de Desnutrición Deserción escolar Disminución de déficit viviendas, etc.
Planes Institucionales TIPOS DE INDICADORES
Indicadores de Impacto, Resultados Intermedios, Productos y Procesos (Eficacia, eficiencia, calidad)
Programas PresupuestariosTIPOS DE INDICADORES
Indicadores de Resultados Intermedios, Productos y Procesos(Eficacia, Eficiencia, calidad), Insumos.
PRIORIDADESSECTORIALES
FINES Y OBJETIVOSESTRATEGICOS
Plan Estratégico Institucional
Ámbitos de Seguimiento y Evaluación
PRIORIDADESNACIONALES
Fuentes de Datos yMetodologías
Estadísticas Nacionales
Evaluaciones de Impacto
Encuestas, Paneles, etc.
Estadísticas Nacionales
Evaluaciones de Impacto
Evaluaciones Cualitativas
Evaluaciones de Impacto
Evaluaciones de Programas (Marco Lógico)Sistema de Seguimiento y Evaluación de Desempeño
OBJETIVOSESTRATEGICOS, METAS DE PRODUCTOS Y PROCESOS
Plan Estratégico y Plan Operativo
Evaluaciones de Programas (Marco Lógico)Sistema de Seguimiento y Evaluación de Desempeño
15
EVALUACION Y GESTION POR RESULTADOS
TIPO DE ACCION GUBERNAMENTAL
QUE SE EVALUA METODOLOGIAS/Fuentes de datos
Estrategias Nacionales Cumplimiento de compromisos, prioridades nacionales
Estadísticas NacionalesEncuestas
Política Públicas Metas nacionales, sectoriales
Comités Científicos de Evaluación, Paneles de ExpertosEVALUACION DE PROGRAMAS(Escritorio, Impacto)
Operativa-Instituciones Cumplimiento de metas de gestión y resultados finalesIndicadores de Eficiencia, Eficacia, Calidad, Economía
Sistema de Indicadores de Desempeño
Cuadro de Mando IntegralEVALUACION DE PROGRAMAS(Escritorio, Impacto)Marco Lógico
Programas Públicos Resultados, gestión, impacto
EVALUACION DE PROGRAMAS(Escritorio, Impacto)Marco Lógico
Inversiones Rentabilidad SocialCosto-Beneficio
Evaluación costo-beneficio ex-ante
Tipos de Evaluaciones
17
TIPOS DE EVALUACIONES DE PROGRAMAS
• Evaluación de gabinete: describir la situación del programa en un tiempo corto, a través de la sistematización de la información disponible (Marco Lógico)
• Evaluación de impacto: logros finales de los efectos esperados por el Programa en el grupo de beneficiarios al cual está dirigido. Si se ha resuelto el problema que justifica la acción pública
• Evaluación costo – efectividad: conocer la relación entre la eficacia del programa como resultado final en los beneficiarios y los costos que se incurre para alcanzar dicho resultado.
TIPOS DE EVALUACIÓN
Según el objeto:
Evaluación de políticas públicas: resultados sobre el cumplimiento de las políticas generales, sectoriales – decisiones sobre políticas públicas.
Evaluación de programas públicos: impacto o resultados de una intervención pública directa sobre una realidad social – mejorar el funcionamiento del programa y el impacto hacia la población beneficiaria.
Evaluación de la gestión y resultados de entidades públicas: resultados obtenidos por las instituciones públicas y su comparación con aquellos planeados – mejorar desempeño.
TIPOS DE EVALUACIÓN
Según la etapa de la intervención:
Ex ante – previa a la implantación de una acción gubernamental. Documenta necesidades iniciales y la factibilidad de programas y políticas. (estudios de diseño de políticas y programas, estudios de pre-inversión de proyectos).
Procesos – durante el ejercicio de la acción gubernamental. Se examina el uso de recursos para el cumplimiento de los objetivos, el ajuste de la programación de la generación de los productos.
Ex post – una vez finalizada la intervención o acción, o la gestión de un determinado período . Involucra análisis y pronunciamiento de los resultados inmediatos, intermedios e impactos o resultados finales.
TIPOS DE EVALUACIÓN DE PROGRAMAS
Evaluación del diseño del programa (MIR)
–Lógica vertical (estructura del programa)–Lógica horizontal
Evaluación de la gestión
Evaluación de resultados (res. Intermedios)–Eficacia - Calidad–Eficiencia – Economía
Evaluación de impactos (res. Finales)
EVALUACIÓ DE RESULTADOS INTERMEDIOS
•Evalúa los cambios en el comportamiento de los beneficiarios que se producen una vez que estos han utilizado y asimilado los componentes del programa. Son resultados de mediano plazo, que presumiblemente facilitarán la generación de los beneficios de largo plazo.
•Se desarrolla, generalmente, a través del análisis de las estadísticas descriptivas de estos resultados con base en información obtenida a través de una encuesta aplicada a una muestra representativa de beneficiarios.
EVALUACIÓ DE RESULTADOS FINALES (IMPACTO)
• Son resultados a nivel de fin del programa. Implican un mejoramiento significativo y, en algunos casos, perdurable o sustentable en el tiempo, en alguna de las condiciones o características de la población beneficiaria. Son resultados de largo plazo.
• Para evaluar el efecto del programa sobre resultados finales se debe identificar y separar los beneficios logrados como consecuencia de la intervención del programa, de aquellos que de todas maneras hubieran ocurrido sin la ejecución de éste, por efecto de la evolución normal
23
Evaluación de Diseño y Resultados Intermedios (gabinete)
• Justificación del Programa• Diseño. • Organización y Gestión..• Resultados: Eficacia, Eficiencia, Economia,
Calidad• Sostenibilidad/Continuidad. • Conclusiones y Recomendaciones.
24
Metodología: Marco Lógico
Ámbitos de Desempeño en la Matriz del marco Lógico: Resumen Narrativo
Indicadores de Evaluación del Desempeño
Medios de Verificación Supuestos
FIN (Objetivo Estratégico Institucional)
Indicadores Estratégicos
SED
Propósito (Objetivo del programa)
Indicadores Estratégicos
Componentes (Bienes y Servicios)
Indicadores Estratégicos e Indicadores de
Gestión
Actividades(Tareas y acciones)
Indicadores de Gestión
Clasificación de los Ámbitos de Desempeño:
INSUMOS O INPUTS
Recursos financieros, humanos y tecnológicos invertidos para operar las actividades del proceso. ESFUERZO. Presupuesto por Programas con base en Resultados
PROCESO
PRODUCTO OOUTPUT
IMPACTO O OUTCOME
RESULTADOS INTERMEDIOS
SM&CG
MEDICIÓN DEL DESEMPEÑO
ANÁLISIS DE EFICACIA
•Desempeño del Programa en cuanto a la producción de COMPONENTES
•Evaluar la evolución histórica en el desempeño de los componentes en cuanto a: niveles de producción, calidad técnica de los componentes, logro de metas , etc.
•Análisis si la producción de los componentes es suficiente para el logro del propósito.
• Comparar resultados del programa a nivel de componentes con aquellos de programas similares (en caso que existan).
ANÁLISIS DE EFICACIA
•Desempeño del Programa a nivel de PROPOSITO
•Evaluar si se ha cumplido el objetivo a nivel de propósito
•Cuantificar y analizar el número de beneficiarios efectivos total y por componente.
•Caracterizar y analizar los beneficiarios efectivos.
•Analizar la cobertura en relación a la población total que presenta el problema (población potencial) y en relación a la población objetivo (programada), según el programa.
ANÁLISIS DE EFICACIA
•Análisis y evaluación de los resultados de la focalización (si es que existen), ¿Se ha llegado a la población que se deseaba atender?, ¿Por qué?.
•Análisis del grado de satisfacción de los usuarios / beneficiarios del programa
ANÁLISIS DE EFICACIA
•Desempeño del Programa a nivel de FIN
¿El Programa ha contribuido al logro del fin?, ¿de qué forma?.
¿Se ha producido algún efecto no planeado del Programa o cambios en grupos de población diferentes a la población objetivo?, ¿estos efectos son positivos o negativos?.
CALIDAD
•¿ Los bienes y servicios se entregaron oportunamente?
•¿Existió continuidad en la prestación del servicio?
•¿Las características del bien o el servicio entregado son las especificadas?
•¿Los beneficiarios del programa están satisfechos con la oportunidad y calidad del bien o servicio recibido?
ANÁLISIS DE EFICIENCIA DEL PROGRAMA
La eficiencia hace referencia a la manera como se realizaron las actividades para la entrega de los componentes y se entregaron los componentes para el logro del propósito . Verifica el grado en que:
•Los insumos se proveyeron de manera organizada, oportuna y al mínimo costo posible.
•Las actividades se ejecutaron al menor costo en los plazos establecidos.
•Los bienes y servicios (Componentes) se obtuvieron al menor costo.•Los costos administrativos fueron lo mas bajo posible.
ANÁLISIS DE LA ECONOMÍA DEL PROGRAMA
La economía se refiere a la capacidad de la gerencia del programa para administrar adecuadamente los recursos financieros.
Analiza cómo:
•Se utilizó el presupuesto asignado.
•Se captaron recursos adicionales a los presupuestarios.
•Se recuperaron recursos en caso existir créditos.
EVALUACION DE IMPACTO
EVALUACIÓN DE IMPACTO
34
PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO
• Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa
• ¿Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa?
– Incremento en el nivel de remuneraciones– Reducción de la tasa de morbilidad de
menores beneficiados con un programa de vacunación
– Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo
35
OBJETIVOS
• Conocer si el programa produjo los efectos deseados en los beneficiarios.
• Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad).
• ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto?
36
METODOLOGIAS
• Diseño experimental tradicional y aleatorio
• Método de doble diferencias• Métodos de comparaciones
Pareadas (matching)• Selección de modelos ( variables
instrumentales)• Evaluaciones cualitativas
37
Metodologías cualitativas
• Evaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución y la evaluación de un programa.
• Focus group
• Entrevistas a informantes claves
Tipos de Evaluación
Diseño
Consistencia y Resultados
Procesos
• Diagnóstico sobre la capacidad institucional, organizacional y de gestión de los programas para alcanzar resultados.
• Análisis de los procesos y la gestión del programa para cumplir con objetivos.
Consistencia y lógica interna de los programas
• Consistencia y Lógica Interna de los programas.
Estratégicas • Valoración de las políticas y estrategias de desarrollo social.
Tipos de Evaluación
Indicadores
Específica de Desempeño
Complementarias
Impacto
• Revisión de la pertinencia y el alcance de los indicadores de un programa para el logro de sus resultados.• Trabajo de campo.
• Profundiza sobre aspectos relevantes del desempeño de los programas.• Realizadas por las dependencias.
• Medición de los efectos netos del programa en la población que atiende.
• Evaluación sintética de la información contenida en el SED.
Tipo de programas•Definir los programas que se evaluarán bajo este enfoque
Objetivo• Analizar sistemáticamente el diseño y el desempeño global de los programas para mejorar su gestión y medir el logro de sus resultados con base en la matriz de indicadores
Temas de estudio
• Diseño• Planeación estratégica• Cobertura y focalización• Operación• Percepción de la población objetivo• Resultados
Resultados •Evaluación diagnóstico
Plazo aproximado de ejecución • 9 meses
Evaluación de Consistencia y Resultados
Tipo de estudio • Funcionamiento y operación
Tipo de programas •Definir el tipo de programas que se sujetarán a este tipo de evaluacion
Objetivo
• Análisis sistemático de la operación del programa, mediante trabajo de campo y gabinete, para conocer las características de sus procesos, examinar ventajas y encontrar problemáticas.
Temas de estudio• Eficacia, suficiencia y pertinencia de los procesos operativos• Problemas para la operación del programa• Buenas prácticas en la operación
Resultados
• Flujogramas generales y específicos de operación• Descripción y ficha narrativa de los procesos del programa• Insumos y productos de cada proceso• Problemas y buenas prácticas en la operación del programa • Recomendaciones
Plazo aproximado de ejecución • 9 meses
Evaluación de Procesos
Tipo de programas • Definir los programas que se sujetarán a este tipo de evaluación
Objetivo • Identifica el cambio en los indicadores a nivel de resultados atribuibles a la ejecución del programa
Temas de estudio • Medición del impacto de los programas en la población beneficiaria con respecto a un grupo control
Resultados • Documento Metodológico de la Evaluación de Impacto• Documento de Resultados de la Evaluación de Impacto
Plazo aproximado de ejecución • Anual
• Multianual
Evaluación de Impacto
Evaluación de Consistencia y Resultados
Evaluación de Programas Púlicos
Evaluar Estratégicamente la Consistencia y los Resultados de los Programas Estatales, en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo, resultados y el ejercicio de los recursos.
Lo anterior, con el fin de que las recomendaciones de este análisis retroalimenten el desempeño de los programas y el ejercicio de los recursos, con base en indicadores estratégicos y de gestión para el cumplimiento de los objetivos para los que están destinados
I. Objetivo General
La evaluación se divide en los siguientes siete temas:
1. Diseño. Es un proceso analítico global que se enfoca en identificar los objetivos de los Programas para luego determinar la consistencia de su diseño y los resultados con tales objetivos.
2. Planeación Estratégica. Implica analizar los instrumentos de planeación de los Programas, y corroborar si tal planeación tiene una orientación para resultados.
3. Cobertura y Focalización. Corresponde cuantificar y determinar la población potencial y la población objetivo que está siendo atendida a través de los Programas.
4. Operación. Analiza las principales actividades y procesos establecidos en la normatividad aplicable; la eficiencia, eficacia y economía operativa de los Programas; y el cumplimiento y avance en los indicadores estratégicos y de gestión.
II.Temas de Evaluación Estratégica.
La evaluación se divide en los siguientes siete temas:
5. Percepción de la Población. Analiza el grado de satisfacción de los beneficiarios de los bienes y servicios que conforman cada Programa.
6. Resultados. Analiza los resultados intermedios y de impacto alcanzado por cada uno de los Programas, en términos de mejora o solución del problema por el cual fue creado cada uno de éstos.
7.Ejercicio de los recursos. Analiza el grado de cumplimiento en la aplicación de los recursos en tiempo y forma, de acuerdo a los objetivos para los cuales están destinados.
II.Temas de Evaluación Estratégica.
La evaluación de consistencia y resultados se realiza a través de un análisis de gabinetecon base en la información proporcionada por la dependencia ejecutora de los recursos que se evalúan.
Dicha información se envía al ente evaluador a través de una bitácora digital que contiene las fuentes de información que conforman los documentos y archivos electrónicos que serán analizados
Cada tema de revisión y análisis se presenta en forma de preguntas metodológicas específicas las cuales deberán responderse mediante un esquema binario (Sí o No).
Para determinar esta respuesta, el evaluador deberá fundamentarla con la evidencia documental previamente remitida y el análisis de la misma, de tal forma que sustente y justifique los principales argumentos de cada una de las preguntas y temas por analizar. Por tanto, en cada respuesta se deberá justificar por qué se respondió de una u otra manera
III.Metodología
Preguntas Metodológicas y Fuentes de Inforamación
Importancia de la fuentes de información para la Evaluación:
• No contar con la información necesaria complica y dificulta y alarga el proceso de evaluación.
• La base de la evaluación es la información • Es fundamental mejorar la calidad de la información sobre
el desempeño: • Registros Administrativos• Estadísticas sobre entrega de bienes y servicios• Estadísticas sobre beneficiarios
EJERCICIO:
1) Conformar equipos por cada uno de los temas que abarca la evaluación de consistencia y resultados
2) Revisar preguntas metodológicas de evaluación de consistencia y resultados por tema
3) Identificar qué fuentes de información (datos, estadísticas, normatividad, registros administrativos, planes, programas, etc) serían necesarias para responder las preguntas del tema
4) Identificar probables retos o dificultades para obtener la información
El Proceso de Evaluación
PROCESO DE EVALUACIÓN
1.Recopilar los datos
2.Validar los datos.
3.Calcular los indicadores.
4.Interpretar la información.
RECOPILACIÓN DE DATOS
Fuentes de información: ej. Test de 10 preguntas sobre las materias tratadas en la capacitación. Método de recopilación ej. Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona. Responsable de la recopilación ej. Altagracia Pérez Frecuencia de recopilación ej. Por una vez, a los tres meses de concluido el último evento de capacitación. Método de análisis ej. Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará porcentaje de aprobación, media y desviación estándar. Modo de distribución ej. Correo electrónico Usuarios ej. Unidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos.
VALIDAR DATOS
•Identificar “outliers”
–Comparar con datos históricos–Comparar con otros datos del período
•Verificar validez de datos “disparados”
•Corregir errores
•Eliminar aquellos datos en que no existe justificación para la desviación.
CÁLCULO DE INDICADORES
.
•Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo).
•Considerar el costo total, no sólo el directo.
•Comparar con situación inicial (resultado) o sin programa (impacto).
INTERPRETACIÓN DE LA INFORMACIÓN
•Comparar valor del indicador con la meta.
•Benchmarking
•Analizar evolución histórica del indicador.
•Identificar causas de la desviación
•Considerar las explicaciones de los agentes claves.
•Concluir / recomendar
• “Es una función continua que utiliza la recopilación sistemática de datos sobre indicadores predefinidos para proporcionar a los administradores y a las principales partes interesadas de una intervención para el desarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados” (OCDE).
• Es un instrumento para gestionar el sector público mediante un conjunto de indicadores que permiten verificar el cumplimiento de los objetivos y de sus expresiones cuantitativas: las metas.
QUÉ ES EL MONITOREO
• El monitoreo ofrece información sobre la situación relativa al cumplimiento de los objetivos y los efectos de una política, programa o proyecto.
• La evaluación explica por qué los objetivos o efectos se están logrando (o se han logrado) o no, y expone los cambios que se han producido en los beneficiarios y en la sociedad.
DIFERENCIA ENTRE MONITOREO Y EVALUACIÓN
Desafíos de la Evaluación
59
Desafíos para la evaluación de programas y su utilización en la Planificación y el proceso presupuestario
• Involucramiento político con la evaluación (Gobierno, partidos políticos, legislativo, ciudadanía)
• Retroalimentación para la toma de decisiones de política pública (arreglos institucionales y técnicos)
• Fortalecimiento de las capacidades técnicas de los mandantes
• Desarrollo de metodologías adecuadas (que permitan el uso de la información en el ciclo presupuestario y de rendición de cuentas)
• Resolver tema costo, tiempo v/s utilización de la información y sentido de la evaluación
60
Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto
• Las evaluaciones realizadas tienen dificultades de ser parte de los insumos de procesos regulares de planificación y presupuesto
• Escasa institucionalización de las evaluaciones de
impacto
Se aplican evaluaciones de impacto en la mayoría de los programas sociales con financiamiento externo
• Con excepciones hay escasa evidencia de que los informes de evaluación de programas (sus resultados) sean utilizados en la toma de decisiones de políticas o programas públicos
– Las evaluaciones de programas operan principalmente como insumo a nivel micro, no contribuyen a la evaluación de políticas
61
Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto
• Escasos mecanismos de validación y /o certificación de las metodologías utilizadas en las evaluaciones
• Los indicadores de los Programas son poco confiables: – Escasamente focalizados y estratégicos– Varían intertemporalmente y se dificulta su
seguimiento e insumo para la evaluación– No auditables
CONCLUSIONES
•Precisas y fundamentarse en las revisiones y análisis evaluativos. •Presentar resultados negativos de acuerdo a los objetivos del programa.
•Indicar resultados positivos de acuerdo a los productos y objetivos del programa.
•Señalar los antecedentes que las respaldan (indicadores, mediciones, etc.).
RECOMENDACIONES
•Deben apuntar a mejorar el diseño, gestión, eficacia/calidad y/o eficiencia/economía del programa.
•Deben indicarse solo las relevantes.
•Deben indicar los aspectos que requieren cambios; el sentido de estos cambios, identificando los elementos técnicos centrales; y las condiciones que hacen posible su implementación.
•Deben elaborarse considerando las conclusiones de la evaluación.
RECOMENDACIONES
•Deben estar fundamentadas en el análisis.
•Proponer acciones para materializar las recomendaciones.
•Analizar beneficios y costos de implementar las recomendaciones.
•Proponer una estrategia de implantación y seguimiento.
•Ser claro, preciso y conciso en la redacción.
Evaluación en el ámbito Estatal
Sistema de Evaluación del Desempeño SED
• Determinar la eficiencia y efectividad de los Programas de desarrollo social.
• Contar con evidencia sobre lo que si funciona y cómo mejorarlo.
• Mejorar el diseño, la implementación y operación del programa o política de desarrollo social.
• Entregar información (indicadores y evaluaciones) a diferentes niveles de tomadores de decisiones, para mejorar la calidad del gasto público.
• Mejorar la Rendición de Cuentas y la Transparencia.
¿Por qué evaluar?
•Los programas sociales son evaluados desde varias aristas y en diferentes etapas.•Hay un menú de instrumentos de evaluación -sustentado en conocimiento científico- que identifican:
•En: Diseño Implementación Operación y desempeño Resultados Seguimiento a recomendaciones Impacto
• Es necesario analizar el conjunto de evaluaciones, puesto que cada evaluación tiene objetivos específicos. • Se alcanza un diagnóstico adecuado gracias a la complementariedad de todos los tipos de evaluación.
Áreas de MejoraAvances Debilidades Logros
¿Por qué hay diferentes tipos de evaluación?
Vinculación de la planeación / programas públicos /
presupuesto, y por ende las metas y objetivos que se quieren lograr y los indicadores con lo que se
habrá de evaluar.
Seguimiento y evaluación a los
indicadores de los programas
públicos, establece los criterios de evaluación y
genera información para la
toma de decisiones y la
asignación de los recursos.
Permite, con base en la información
de evaluación, establecer
mejoras a la gestión de
programas y al gasto público.
Se definen objetivos de
gobierno, políticas, ejes de
desarrollo y líneas de acción.
Planeación del
Desarrollo
Presupuesto con base en
Resultados
Programas de Mejora gasto
y gestión
Sistema de Evaluación del Desempeño
Se diseñan y estructuran
para atender con pertinencia
los asuntos públicos.
Elementos.* Objetivos.* Beneficiarios* Indicadores.* B´s y S´s* Actividades.
Programas Públicos
Ruta
Administrar, Evaluar y Asignar el PRESUPUESTO con criterios de eficiencia, eficacia, economía, transparencia y honradez, para satisfacer los objetivos a los que este destinado.
Reto de gobierno para adoptar la Gestión para Resultados
Ciclo Presupuestal
Planeación
Programación
Presupuestación
EjecuciónControl
Evaluación
Transparencia
Sistema Estatal de Evaluación del
DesempeñoNormas técnico Jurídicas
Órgano técnico de evaluación
Vinculación del ciclo con la fase de Evaluación
GESTORES PÚBLICOS
RESPONSABLES DE GOBIERNOS
RESPONSABLES DE LA
FISCALIZACION CIUDADANOS
¿QUIÉN DEMANDA LA INFORMACIÓN DE LAS EVALUACIONES?
El sistema de evaluación estatal del desempeño debe producir información de evaluaciones relevantes para los
diferentes usuarios de acuerdo a la naturaleza y sus facultades de los mismos
Información de las Evaluaciones
Sistemas de Seguimiento y Evaluación
Sistemas de Seguimiento y Evaluación
Se entiende estos últimos como procesos de reflexión y comunicación que articulan acciones de recolección y gestión de la información, para lograr una adecuada y oportuna rendición de cuentas que propicieaprendizajes.
Diseño de un Sistema de Evaluación del Desempeño
• Deben ser herramientas flexibles e innovadoras
• Hechas a la medida de las necesidades de aprendizaje de múltiples usuarios, reconociendo sus características organizacionales específicas
Sistemas de Seguimiento y Evaluación
Sistema de Evaluación del Desempeño (SED)
Es importante atender a la demanda de los usuarios, beneficiarios e interesados con la finalidad de gestionar y administrar las evaluaciones de los programas públicos de manera integral y sistemática.
Para lo anterior es indispensable conformar un Sistema de Evaluación del Desempeño a través de un órgano técnico responsable de consolidar e integrar las evaluaciones y con un sistema de monitoreo y control de la gestión pública.
Por lo tanto un Sistema de Evaluación del Desempeño se puede concebir en dos grandes pilares:
1. Sistema Integral de Evaluación Estratégica (SIEE) Mide el impacto y evalúa los objetivos del Plan Estatal de Desarrollo.
2. Sistema de Monitoreo y Control de la Gestión (SM&CG) Mide el cumplimiento de la gestión pública de los programas públicos.
Sistema de Evaluación del Desempeño (SED)
Responsable de ejecutar
Evaluadores de impacto estratégico
SM&CG
SIEE
¿Cuánto estamos gastando?¿Se esta ejerciendo el gasto en tiempo y forma?¿En qué se esta gastando?
Debe conocerse
Debe conocerse
Impacto a los beneficiarios¿A que población beneficia el programa?¿Cuáles son los logros y resultados del programa?
Identificación de Responsabilidades
¿Quién Evalúa Qué?
Información del
Desempeño
Entidad de Evaluadora Resultados
De políticas y Programas
Dependencias Ejecutoras
Secretaría De Finanzas
Órgano de Control Interno del Gobierno
Control Interno vs. Evaluación
El control interno es un proceso que lleva a cabo la administración de una organización y que debe estar diseñado para dar una seguridad razonable, en relación con el logro de los objetivos previamente establecidos en los siguientes aspectos básicos:
• Efectividad y eficiencia de las operaciones;
• confiabilidad de los reportes financieros
• Cumplimiento de leyes, normas y regulaciones, que enmarcan la actuación administrativa.
• El campo de acción para la contraloría es el control de gestión
1. Diseño del Órgano Técnico
Artículo 134 constitucional
Soporte legal del Órgano Técnico de Evaluación
• …se administrarán con eficiencia, eficacia, economía, transparencia y honradez para satisfacer los objetivos a los que estén destinados.
1 ) Preparar y administrar recursos para resultados
Los recursos económicos de que dispongan la Federación, los estados, los municipios, el Distrito Federal y los órganos político-administrativos de sus demarcaciones territoriales…
• …serán evaluados por las instancias técnicas que establezcan…
2 ) Evaluar programas para resultados
Los resultados del ejercicio de dichos recursos…
…respectivamente, la Federación, los estados y el Distrito Federal, con el objeto de propiciar que los recursos económicos…
• …se asignen en los respectivos presupuestos en los términos del párrafo anterior…
3 ) Asignar recursos (PRESUPUESTO)
El manejo de recursos económicos federales por parte de los estados, los municipios,…, se sujetará a las bases de este artículo y a las leyes reglamentarias. La evaluación sobre el ejercicio de dichos recursos se realizará por las instancias técnicas de las entidades federativas…
Para la creación de la Instancia Técnica de Evaluación y atendiendo la
soberanía que estable en el artículo 40 Constitucional, las legislaturas
locales podrán establecer las modalidades convenientes para aplicar los
preceptos que establece el artículo 134 y evaluar los recursos propios y
federales transferidos, generando el sustento jurídico aplicable a la
legislación de la entidad.
La constitución de la Instancia Técnica de Evaluación requerirá:
reformas legales
recursos para su financiamiento
capacitar y certificar evaluadores
Diseño del Órgano Técnico
Derivado de la controversia que ha generado la creación de la Instancia Técnica de Evaluación debido a que teóricamente esta instancia pudiera constituirse tanto en el Poder Ejecutivo, Legislativo o Judicial, como en un organismo autónomo e independiente de los ejecutores de gasto, se presentan dos opciones para su aplicación en las entidades, así como sus ventajas y desventajas
Instancia Técnica Autónoma
Podría Constituirse como un órgano autónomo cuyas funciones de evaluación abarcarían a los 3 poderes del Estado, Organismos autónomos, OPD´s, así como gobiernos municipales.
Implicaría: La adecuación al marco jurídico constitucional del Estado, además de las adecuaciones a las leyes locales correspondientes.
Instancia Técnica Autónoma
Ventajas:
Independencia en la evaluación de todos los Poderes y Entes Autónomos, así como de los Gobiernos Municipales.
Garantiza la imparcialidad en la evaluación del desempeño. Mayor profesionalización del personal evaluador.
Desventajas:
Dado que los resultados de la evaluación del desempeño inciden en la programación y presupuestación de proyectos del Ejecutivo, pudiera verse disminuida la flexibilidad en otras etapas en el ciclo Planeación-Programación-Presupuestación.
Requiere reforma constitucional y el proceso de negociación política es significativamente mayor al de reforma legal.
Finalmente la creación de un nuevo órgano autónomo representa indudablemente un impacto presupuestal para su financiamiento.
Instancia Técnica Autónoma
Implicaría:
Dentro del Poder Ejecutivo se pudiera crear ente descentralizado o desconcentrado o bien un Comité.
Para el ámbito municipal correspondería a los Ayuntamientos la creación de la instancia técnica que los evalúe.
En caso de radicar en el Poder Legislativo del Estado, la función de evaluar pudiera realizarse por el Órgano Superior de Fiscalización o su equivalente o un órgano creado para estos efectos, como pudiera ser la creación de un instituto de evaluación.
Estas opciones requerirían afectar, dependiendo el Poder donde quedara radicada la instancia, tanto la Ley Orgánica, así como la Ley de Presupuesto, Contabilidad y Gasto Público, y las demás leyes y reglamentos que tengan vinculación y para dar solidez jurídica al SED incorporarlo a la Constitución Estatal
Instancia Técnica de Evaluación dependiente del Poder Ejecutivo o Legislativo
Ventajas:
Perfecciona el ciclo planeación-programación-presupuestación, dado que la información que se genera derivada de la evaluación servirá de base para la conformación de los presupuestos posteriores.
El proceso legislativo es más sencillo dado que no requiere necesariamente una modificación constitucional.
Evita el riesgo de aumento de recursos humanos y materiales que realicen las funciones de evaluación del desempeño.
Desventaja: Requiere un esfuerzo mayor en la profesionalización del personal
evaluador dentro de la unidad administrativa que se determine. El radicar la instancia evaluadora en un solo Poder, pudiera despertar una
sensación de intromisión de los demás entes evaluados.
Instancia Técnica de Evaluación dependiente del Poder Ejecutivo o Legislativo
Programa (actividades, componentes – productos, propósito)
Conjunto de programas o Estrategias de Políticas (distintos propósitos y un mismo fin)
Organización o institución (programas-productos, objetivos, misión)
Diseño del Órgano Técnico
Las evaluaciones, corresponden a estudios, exámenes o revisiones técnicas, que haciendo uso de un conjunto de información ordenada según un marco metodológico, tienen por finalidad construir valoraciones y encontrar factores explicativos a estas valoraciones o juicios evaluativos respecto de:
Evaluación de los recursos públicos
2. Aspectos tecnológicos de la Evaluación del
Desempeño
ESTRATÉGICOS (forman parte del SED)
Miden el grado de cumplimiento de los objetivos de las políticas públicas y de los programas presupuestarios; y contribuyen a corregir o fortalecer las estrategias y la orientación de los recursos
DE GESTIÓN (forman parte del SCG)
Miden el avance y logro en procesos y actividades, es decir, sobre la forma en que los bienes y servicios públicos son generados y entregados
Tipos de Indicadores de Desempeño
INDICADORES DE DESEMPEÑO Implicados en el SM&C Implicados en el SIEE
Presupuesto ($) Producción
(Q)Resultados
(desde punto de vista de los beneficiarios)
Indicadores
-Intermedio
-Final
Insumos / Procesos
ACTIVIDADES
Indicadores
-Cronograma
Programa de trabajo
-Funciones
-Ejecución de recursos
COMPONENTES
Indicadores
-Cobertura y focalización
-Oportunidad
-Características de Bs. y Ss.
PROPOSITOFIN
EficienciaRelación insumos/productos
EficaciaGrado de logro del objetivo
INSUMOSACTIVIDADES (PROCESO)
PRODUCTOS (BIENES Y SERVICOS)
RESULTADOS INTERMEDIOS
(MEDIANO PLAZO)
RESULTADOS FINALES
(IMPACTOS) (LARGO PLAZO)
Calidadde los bienes y servicios
EconomíaUso de los recursos
DIMENSIONES DEL DESEMPEÑO Y CADENA DE RESULTADOS
RESULTADOS
PRODUCTOS
PROCESOS
INSUMOS
COSTOS
Eficacia
Eficiencia
Economía
Calid
adC
osto
-Efe
cti
vid
ad
Ámbitos de competencia y desempeño
IMPLICADOS EN EL SIEE del Estado Implicados en
un SM&CG por dependencia
¿Qué evaluar por ámbito de desempeño?
INPUTS
PROCESO
PRODUCTO - OUTPUT
IMPACTO - OUTCOME
¿Cómo están cambiando las condiciones que estamos interviniendo?
¿Cuántas unidades de productos y servicios estamos generando?
¿Con qué calidad?
¿Con qué rapidez lo estamos haciendo?
¿Cuánto nos cuesta?
¿Cuántos recursos invertimos, cuánto personal trabajó en el proceso?
Eficacia
Eficiencia
Calidad
Economía
Ámbitos de Desempeño en la Matriz del marco Lógico: Resumen Narrativo
Indicadores de Evaluación del Desempeño
Medios de Verificación Supuestos
FIN (Objetivo Estratégico Institucional)
Indicadores Estratégicos
SED
Propósito (Objetivo del programa)
Indicadores Estratégicos
Componentes (Bienes y Servicios)
Indicadores Estratégicos e Indicadores de
Gestión
Actividades(Tareas y acciones)
Indicadores de Gestión
Clasificación de los Ámbitos de Desempeño:
INSUMOS O INPUTS
Recursos financieros, humanos y tecnológicos invertidos para operar las actividades del proceso. ESFUERZO. Presupuesto por Programas con base en Resultados
PROCESO
PRODUCTO OOUTPUT
IMPACTO O OUTCOME
RESULTADOS INTERMEDIOS
SM&CG
Programación que realizan las dependencias
LOS SISTEMAS INFORMÁTICOS DE EVALUACIÓN DEL DESEMPEÑO TIENE COMO PRINCIPAL FINALIDAD DAR SEGUIMIENTO Y MONITOREO AL
DESEMPEÑO DE LOS PROGRAMAS PÚBLICOS DE GOBIERNO
ESTE SEGUIMIENTO SE REALIZA FUNDAMENTALMENTE A PARTIR DE LOS INDICADORES PROPUESTOS EN CADA UNO DE LOS PROGRAMAS
A NIVEL ESTRATEGICO SE MONITOREA ESPECIALMENTE LOS INDICADORES QUE MIDEN AMBITOS DE LOS OBJETIVOS DE FIN Y PROPÓSITO Y AGUNOS COMPONENTES MUY
RELEVANTES EN LA AGENDA DE GOBIERNO
A NIVEL DE GESTIÓN SE MONITOREA INDICADORES QUE MIDEN LOS AMBITOS DE LOS OBJETIVOS DE COMPONENTES Y ACTIVIDADES
POR TANTO LA FUENTE DE INFORMACIÓN SOBRE LA QUE SE REALIZAN TODOS LOS PROCESOS SON LOS DATOS DE IDENTIFICACION DE ESTOS DE
INDICADORES
Sistemas Informáticos de Evaluación del Desempeño
Ficha Técnica del PP y su vinculo con la Evaluación
SIEEIndicadores Estratégicos
SM&CGIndicadores de
gestión
SIEEIndicadores
financieros y clasificadores de
gasto
Interacción de información de la ficha técnica del PP con los instrumentos de evaluación, control financiero y de la gestión pública.
Evento de entrada
Datos del indicador
Diferenciación por tipo de indicador
Procesos para
indicadores estratégicos
Proceso para indicadores de
gestión
Proceso para indicadores de
eficacia
Proceso para indicadores de
calidad
Proceso para indicadores de componentes
Actividades
Diferenciación por dimensiones de
evaluación
Proceso para indicadores de
eficacia
productoProceso para
indicadores de eficiencia
Proceso para indicadores de
Calidad
12
Proceso para indicadores de
eficacia Indicadores
de Fin o propósito
Procesos implicados en el SIEE y SM&CG
Entradas
Datos de indicador
-Dependencia-Programa-Tipo de Indicador-Dimensión de evaluación
Clasificación de tipo de proceso
Elaboración de rutinas para el indicador de acuerdo a los
datos
Datos de las
variables del
indicador
Aplicación de formulas
del indicador
Comparación contra metas
o Contra
parámetros de referencia
Input´s de las dependencias de
gobierno
- Indicadores-Estadística- información de parámetro- Avance etc.
Salidas output´s
Entradas al inicio del cicloPp
Durante el ciclo
Ejemplo de Ruta que sigue un indicador en el SIEE
Dimensión del Indicador: Eficacia, eficiencia o calidad Ámbito del Indicador: Resultados, finales o intermedios, Productos o servicios (componentes)Descripción: Que mide el indicador.Característica del indicadorUnidad de medida: Tasa, porcentaje, Razón, Índice etc.Variables que intervienen: Fórmula del indicador:Base de Comparación oparámetro (meta): contra que se comparaLínea Base: Datos de inicio del indicadorFuente: información que alimentaran a las vairables ejm: Encuesta nacional del empleo INEGI.
Por Dependencia Por programa
público Por tipo de indicador
(estratégico o de gestión)
Por dimensión a evaluar y por
unidad de medición
Datos a procesar en el SED
3. Gestión de la Evaluación del Desempeño
Gestionar la evaluación implica reforzar los mecanismos para la realización de evaluaciones de calidad, sistemáticas, participativas y orientadas a la incorporación de sus resultados en el ciclo de la planeación y programación de estrategias de solución.
La gestión de la Evaluación implica:
•El Plan Anual de Evaluación•Términos de Referencia•Informe de la Evaluación•Informe Anual de Evaluación•Plan de mejora de la gestión
LA GESTIÓN DE LA EVALUACIÓN
• Regulan la evaluación de los programas y la elaboración de las matrices de indicadores, sistemas de monitoreo y objetivos estratégicos.
• Evaluación:
Tipos de evaluacione
Elaboración d Programa Anual de Evaluación
Elaboración de términos de referencia
Seguimiento del resultado de las evaluaciones
Organización y contratación de las evaluaciones y
Difusión de las evaluaciones
Lineamientos Generales para la Evaluación de Programas
a) Diseño
b) DESARROLLOc) COMUNICACIÓN
E INCORPORACIÓN
1. PLAN ANUAL DE EVALUACIÓN Y TÉRMINOS DE REFERENCIA
2. INFORME DE EVALUACIÓN
3. PLAN DE COMUNICACIÓN
4. PLAN DE MEJORA DE LA GESTIÓN
El Itinerario de la Evaluación
Establecer el calendario de ejecución de las evaluaciones de los programas públicos
Vincular el calendario de ejecución de las evaluaciones con el calendario de actividades de la programación y presupuesto del ejercicio fiscal correspondiente para el siguiente año
Determinar los tipos de evaluación que se aplicarán a los programas mediante un programa integral, gradual y útil para las decisiones de asignación de recursos, en el marco del proceso presupuestario para los ejercicios fiscales correspondientes
Articular las evaluaciones de los programas público presupuestarios en el marco del Presupuesto con base en Resultados y del Sistema de Evaluación del Desempeño
I. EL PLAN ANUAL DE EVALUACIÓN
Para analizar distintos aspectos de los programas y efectos del Gasto en la población, el Plan Anual de Evaluación prevé lo siguiente:
Revisión y mejora de las matrices de indicadores de los programas presupuestarios estatales
Evaluación del Impacto social y económico de los principales programas públicos
Evaluación del diseño y desempeño global de los programas
Evaluación de la eficiencia de la gestión de los sectores públicos
Evaluación de los procesos que se siguen en la generación de los bienes y servicios públicos que se entregan a los beneficiarios a través de los programas presupuestarios
Estas evaluaciones se convenian o contratan con instituciones públicas o privadas ajenas a la administración y operación de los programas. De ese modo se cumple con la premisa de “no ser juez y parte”
Para el efecto:Se entrega a los evaluadores la información pertinente así como los términos de referencia bajo los cuales se establece la evaluación; El formato a través del cual se integra el reporte de resultados;Los tiempos de entrega; ySe firman los convenios o contratos específicos y legalmente revisados.
I. EL PLAN ANUAL DE EVALUACIÓN
OBSERVACIONES IMPORTANTES A CONTEMPLAR EN EL PLAN ANUAL DE EVALUACIÓN
Publicar convocatorias en la página Web del Gobierno del Estado, así como en la de la Secretaría de Finanzas
Las entidades e instituciones interesadas en realizar la tarea de evaluación, deberán entregar la siguiente información:
- Datos de identificación de la institución evaluadora postulante;- Nombre del programa o de la dependencia pública (evaluación sectorial) con interés de evaluar;- Currículum institucional;- Resumen curricular de los evaluadores participantes;- Protocolo del proyecto de evaluación.
Una vez concluido este proceso, se publicará en las páginas Web del Gobierno del Estado y de la Secretarías de Finanzas y de la Contraloría, tanto los programas a evaluar como la correspondiente instancia evaluadora seleccionada, las fechas de realización, y las fechas de publicación de resultados.
Los TDR constituyen el llamado público para recibir propuestas de instituciones académicas o de empresas consultoras especializadas en evaluación del diseño, impacto, procesos, desempeño global y eficiencia de la gestión de programas públicos, cuyas principales características son:
Ofrecen una estructura básica que facilita la contratación de evaluaciones
Destacan los principales aspectos gerenciales detrás del uso de la contratación al exterior como un mecanismo de mercado aplicado a la gestión pública
Términos de Referencia
Estructura básica de los TDR•Antecedentes
•Objetivo General y objetivos específicos de la evaluación
•Alcance, enfoque de la evaluación, actores implicados y sus responsabilidades
•Metodología
•Actividades a Realizar
•Productos e Informes a entregar
•Duración del servicio
•Recursos y facilidades a ser provistas por la entidad contratante
•Costos y remuneración
•Perfil del evaluador
•Criterio de selección/evaluación
•Confidencialidad de la información y ANEXOS
TDR: Antecedentes del programa
Breve descripción del programa o proyecto gubernamental que se pretende evaluar, y de la o las necesidades que se pretenden satisfacer con los entregables de la consultoría, incluyendo una síntesis de la problemática que el programa aborda y los supuestos de su intervención
La descripción debe incluir aspectos generales del programa, tales como: objetivo principal, tiempo que lleva implementándose, población objetivo, cobertura geográfica, metas y logros de la intervención, principales hallazgos de evaluaciones previas, contexto institucional en el que se ubica el programa, aspectos organizativos y de gestión del programa y asignación presupuestal, entre otros
Es necesario describir el propósito esencial que persigue la ejecución de los servicios de consultoría a contratar.
Debe existir un solo objetivo general.
Los objetivos específicos deben señalar con mayor precisión y detalle los propósitos concretos que se deben alcanzar.
Estos objetivos constituirán una guía para el consultor en la ejecución de los trabajos designados, y una pauta de supervisión para la entidad contratante.
Usualmente, los objetivos específicos referidos a evaluaciones de programas en operación se relacionan con ajustes en la validación de la pertinencia de objetivos, redefinición de metas, definición y ajuste de mecanismos de focalización, elaboración de indicadores, integración de fuentes de información, diseño de sistemas automatizados de indicadores, entre otros
TDR: Objetivos de la Evaluación
TDR: Alcance y enfoque de la evaluación
Debe definirse con detalle y claridad la lista de las preguntas clave que deberán ser resueltas con la evaluación, lo que permitirá identificar los atributos más relevantes que faciliten la identificación de la modalidad de evaluación requerida
Los aspectos a definir son:
- El agente que la realizará (interno, externo o combinación de estos)
- Aspecto o aspectos gerenciales a evaluar (diseño, procesos, satisfacción de beneficiarios, información y/o impacto)
- El ciclo de vida en que se ubica la evaluación (ex ante, concurrente y de medio término, ex post), y otras dimensiones o atributos de la evaluación antes descritos
- El período temporal que comprende la evaluación
TDR: Metodología
Los elementos conceptuales básicos a incluir en la descripción metodológica de una evaluación de programa público son:
Técnicas a aplicar, cuyo empleo hará más probables los resultados esperados
Métodos y técnicas sistematizadas que deberán ser empleadas por el consultor
Estrategias de desarrollo de la consultoría
TDR: Actividades a realizar
Indicar las actividades de campo y las que comprenden el denominado trabajo de gabinete, así como los soportes con los que se respalda la información recolectada, entre otros aspectos
Las actividades deberán estar contenidas en un cronograma de trabajo tipo Gantt en el que se indiquen las fechas en las que se deberán presentar los entregables (escritos y electrónicos) a la entidad contratante
En ocasiones, los TDR de estudios de evaluación describen un listado secuencial de tareas en las que cada una de ellas refiere a un punto geográfico distinto; el cronograma debe incluir la dimensión espacial en estos casos
En resumen, este apartado de actividades es de naturaleza netamente programática; presupone objetivos específicos definidos sobre los que la asignación de responsables, tiempos, procesos y productos también es definida
TDR: Productos e Informes a entregar
Los productos deben ser definidos de manera específica y clara, así como la secuencia y los tiempos de entrega con fechas de seguimiento a través de tres tipos de informes, uno inicial, informes periódicos o de avance y el final
Determinar la frecuencia de los informes periódicos de avance y las características en cuanto a contenido, así como de edición y formato del mismo
Determinar la extensión, número de ejemplares a entregar, tipo y tamaño de letra, márgenes, tablas que deberán incluirse, anexos, tipo de soporte en el que se entregarán -impreso y/o digital-, exigencia de un resumen ejecutivo, nombre y cargo de las personas que recibirán los informes, etc.
Para evaluaciones que involucren la realización de análisis estadísticos, los requerimientos deben ser muy precisos e incluir la documentación (metadatos) requerida como respaldo, objetivos de la operación estadística, instrumento de recolección de información, diseño y tamaño de la muestra, trabajo de campo, etc. En ocasiones, los productos involucran el desarrollo de modelos geográficos que permitan referenciar las bases de datos.
La evaluación de programas públicos exige contar con resúmenes ejecutivos que presenten una síntesis de los hallazgos y las recomendaciones, así como la ubicación de los temas indicados en las síntesis
Un problema muy frecuente es querer utilizar los estudios derivados de las evaluaciones ante audiencias diversas, sin considerar que un documento enorme y con cierta complejidad técnica puede desalentar y desmotivar fácilmente a cualquier lector
TDR: Productos e Informes a entregar
TDR: Duración del Servicio
Es necesario estimar el tiempo para cada una de los entregables.
Para el caso, el cronograma de actividades deberá contener el producto o entregable correspondiente.
Los tiempos de consultoría deben ser congruentes con los tiempos legales en términos del ciclo presupuestal con el fin de que éstos sean oportunos
TDR: Recursos y facilidades por parte de la entidad contratante
Implica un listado de la información, bienes y servicios que el área técnica considere necesario para llevar a cabo la consultoría, por ejemplo: espacio de oficinas, vehículo (de ser necesario) equipo de computación, equipo de impresión, etc. En el caso de evaluaciones que involucran trabajo de campo, estos recursos y facilidades constituyen una parte fundamental del trabajo de la evaluación
Documentos a ser entregados al consultor evaluador y aquellos a los que puede recurrir, dónde los puede encontrar y la persona que se los habrá de suministrar
Se recomienda designar a un responsable de la entidad contratante que pueda suministrar la información, ya sea por una o varias áreas
En ciertos estudios, la información que provea la entidad contratante y que se establezca en los TDR resulta fundamental para llevar adelante tales estudios
TDR: Costos y remuneración
Los costos de una consultoría normalmente tienen dos componentes: los referidos a honorarios o remuneración de los consultores y los denominados gastos reembolsables (directos y necesarios)
Debe establecerse qué elementos constituyen la remuneración, ya que estos pueden variar en función de la legislación
La remuneración de consultores puede distinguir entre consultores locales y extranjeros, personal profesional y personal de apoyo o administrativo, personal de campo o de oficina
Las tarifas deben establecerse sobre la base de la complejidad del servicio y localización
La entidad contratante debe indicar los requerimientos mínimos profesionales, generalmente divididos en dos partes: formación y experiencia
En los requerimientos académicos se define el nivel máximo (licenciatura, posgrado, doctorado) y si se requiere alguna formación especializada (cursos de capacitación, diplomados, etc.)
La experiencia profesional se refiere a la experiencia previa en la realización de estudios similares; en ocasiones suele distinguirse la experiencia general en el campo y la específica en el tipo de evaluación concreta a la que se refieren los TDR; ésta, sin duda, es la más relevante
Debe precisarse la especialidad que deberá tener el consultor (en el caso de consultores individuales) o la de éste y de los miembros clave del equipo del consultor (en el caso de firmas de consultoría). Como regla práctica se recomienda que si se requieren tres o más consultores individuales, es mejor optar por una firma y designar en uno el rol de liderazgo
TDR: El Perfil del Evaluador
TDR: Criterio de selección / evaluación
La siguiente lista da una idea de la ponderación usualmente utilizada, así como la correspondiente tabla o esquema de evaluación (Medina Giopp y cols., 2004): Experiencia específica en relación con la metodología de
evaluación solicitada y el campo. Puntaje 0-10. Calidad de la metodología - plan de trabajo. Puntaje 20-50. Calificaciones personal clave. Puntaje 30 a 60. Transferencia de conocimientos (de ser necesario). Puntaje 0-
10. Otros (participación de personal nacional). Puntaje 0-10.
TDR: Confidencialidad de la información y ANEXOS
Es importante que la entidad contratante entregue al consultor información relativa a la normativa vigente en relación con la diseminación estadística
En todas las leyes estadísticas existen secciones específicas vinculadas al denominado “secreto estadístico” y “secreto tributario”, que regulan los temas de confidencialidad tanto de personas como de establecimientos comerciales; es decir, si el consultor lidera la realización de una operación estadística, debe observar las disposiciones vigentes
El monto que la entidad contratante pague al consultor en los términos del contrato de prestación de servicios que suscriban, incluye la titularidad de los derechos patrimoniales a favor de la entidad contratante, sobre los entregables y demás que resulten derivados de los servicios materia de contratación, por lo que el consultor no tendrá derecho a cobrar cantidad adicional por este concepto; en el entendido de que la metodología, herramientas y demás conocimientos que el propio consultor utilice para la prestación de los servicios, seguirán siendo propiedad de este último
Si existen documentos o información adicional que por su volumen no convenga incluir en el documento principal de los Términos de Referencia, se presentarán como anexos.
Una buena guía de “Términos de Referencia” es la desarrollada por la Secretaría de Hacienda y Crédito Público, en colaboración con la Secretaría de la Función Pública y el CONEVAL
El modelo utilizado incluye seis temas de evaluación:
1. Características del programa
2. Contribución a los objetivos estratégicos
3. Matriz de indicadores
4. Población potencial y objetivo
5. Vinculación con las Reglas de Operación
6. Coincidencias, complementariedades y duplicidades.
Ejemplo de TDR
II. Reporte de Evaluación
El documento informativo de la evaluación deberá contener lo siguiente:
A. Resumen Ejecutivo (Máximo 2 cuartillas).
B. Informe Final (bajo el siguiente índice):
1. Introducción (1 cuartilla).
2. Evaluación de Diseño (36 cuartillas).
3. Principales Fortalezas, Retos y Recomendaciones (Máximo 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas, y 5 recomendaciones).
4. Conclusiones (2 cuartillas).
5. Bibliografía
6. Anexos
- Características generales de programa.
- Objetivos estratégicos de la dependencia y/o entidad.
- Instrumentos de recolección de información.
- Bases de datos de gabinete utilizadas para el análisis en formato electrónico.
III. Informe Anual de Evaluación: El Plan de Comunicación
El plan de comunicación es una importante herramienta que permite apreciar de una mejor manera el alcance de resultados, con el fin de mejorar las políticas públicas y los programas de intervención, que para el caso, se identifican como Programas Presupuestarios
La información a comunicar debe ser transmitida a los usuarios potenciales adecuados, es decir, a quienes toman las decisiones de mejora de programas y de políticas públicas, considerando los siguientes criterios:
Los informes deben tratar temas que los usuarios perciban como importantes, y en ese sentido, los tomadores de decisión deberán considerar como base el documento informativo emitido por la instancia o institución que realizó la evaluación.
Los informes deben oportunos en tiempo y forma, así como comprensibles para los usuarios a los que están dirigidos.
IV. PLAN DE MEJORA DE LA GESTIÓN
El propósito del Plan de Mejora de la Gestión es contribuir en
toda la acción pública para lograr sus mayores y mejores efectos
con eficiencia, eficacia, calidad, economía, transparencia y
honradez
De manera articulada con el Sistema de Evaluación del
Desempeño, el Programa de Mejora de la Gestión PMGN, mide
y evalúa los avances en el desarrollo interno de las instituciones
de la Administración Pública Estatal del y la efectividad de sus
programas y servicios, a fin de encontrar y promover las mejores
formas y prácticas de ejecución orientadas al éxito de su Misión.
El Programa constituye la propuesta y estrategia del Gobierno Estatal,
para transformarlo e impulsar la consecución de sus objetivos estratégicos
En este enfoque la evaluación está orientada hacia la mejora, y sus
resultados son el insumo para promover las transformaciones
estructurales necesarias para el desarrollo social y económico de la
entidad
La mejora de la gestión es, por tanto, la estrategia enfocada a realizar
avances que transformen la operación cotidiana de las instituciones
públicas hacia el logro de resultados tangibles y verificables
IV. PLAN DE MEJORA DE LA GESTIÓN
El Programa de Mejora de la Gestión tiene como finalidad última contribuir con información sobre el desempeño y la gestión institucional, tanto para la toma de decisiones presupuestales como para la mejora de las políticas y programas y rendición de cuentas, con una ponderación objetiva de los resultados alcanzados y esperados de las actividades institucionales
IV. PLAN DE MEJORA DE LA GESTIÓN
QUÉ IMPLICA Y PARA QUÉ….
Cumplir estos objetivos y metas de gobierno, asume:
•El reto de modernizar las estructuras de la administración pública
•Mejorar los sistemas y procedimientos a través de los cuales los recursos se transforman en bienes, trámites y servicios públicos •Profesionalizar al nivel de experto la función pública
•Sustento en disposiciones de carácter institucional
IV. PLAN DE MEJORA DE LA GESTIÓN
Objetivos:
• Establecer el proceso que deberán seguir las dependencias para dar seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones, con el fin de contribuir a mejorar tanto el desempeño (resultados) como el proceso de programación y presupuestación
• Integrar los ASM en el diseño de los programas públicos para el siguiente ejercicio
• Articular los resultados de las evaluaciones en el marco del SED para mejorar el desempeño
• Establecer los responsables de definir los instrumentos de trabajo para el seguimiento de los ASM así como su formalización
Mecanismo para Segumiento de ASM
Contenido:
Definición del ámbito de aplicaciónProceso de Para el seguimientoIdentificación de fuentes de informaciónAnálisis y clasificación de los aspectos susceptibles de
mejoraDefinición e los instrumentos de trabajo para el
seguimiento de los ASM (planes de trabajo, documentos de trabajo, compromisos establecidos)
Mecanismo para Seguimiento de ASM
1. Selección de los aspectos
susceptibles de mejora
2. Clasificación de los aspectos susceptibles de mejora
3. Formulación de instrumentos susceptibles de mejora
4.Difusión de
instrumentos
Criterios de selección:• Claridad• Relevancia• Justificación• Factibilidad
Nivel de prioridad:• Alta• Media • Baja
Clasificación de Aspectos:• Específicos• Institucionales• Interinstitucionales• Intergubernamentales
Mecanismo para el seguimiento de los Aspectos Susceptibles de Mejora
Tipo de Aspecto:• Específico• Institucional• Social
La Alta Dirección Pública es un factor esencial (Recursos Humanos calificados) para desarrollar e instrumentar procesos de reforma del Estado que se han llevado a cabo en los países de la OCDE en los últimos 20 años.
Por ejemplo en el caso de Chile en América Latina se acompañó la instrumentación de la Gestión para Resultados con un Sistema de Alta Dirección Pública que permita conducir a niveles directivos y gerenciales la aplicación de políticas públicas hacia un mejor desempeño eficiente y eficaz del Estado
Es por eso necesario vincular el proceso de la formación de recursos humanos calificados a la gestión para resultados
Alta Dirección Pública en la implementación del PBR-SED
En la mayoría de los países de la OCDE existe una “Unidad Central” encargada de gestionar a la Alta Función Pública
Rendición de cuenta: Ante el Congreso, Presidente o Ministros
Grado de independencia del poder político
Sistemas tipo Westminster altamente independientes del poder político
Sistemas híbridos que contemplan concursos abiertos y equitativos con poder más o menos discrecional del poder ejecutivo para realizar los nombramientos
Alta dependencia del poder ejecutivo.
Sistemas de Función Pública
Sistemas basados en el mérito entregan la selección a las “Unidades Centrales”
Comisión independiente es encargada de filtrar candidatos y el nombramiento corresponde a la autoridad política
Acceso a la categoría de Alta Función se realiza por mérito pero las promociones al interior de la categoría son menos transparentes
En muchos países los cargos están abiertos a candidatos del sector privado
Los mandatos en la mayoría de los países tienen duración limitada
Muchos países aplican a los altos funcionarios remuneraciones ligadas al desempeño.
Proceso de reclutamiento
Generar información de desempeño de los programas, proyecto u otras acciones de gobierno
Asegurar la disponibilidad de información para su análisis en el proceso presupuestario
Limitar el mal uso de recursos públicos e incentivar incrementos en el desempeño
Utilizar evaluaciones de impacto en los programas públicos que genere evidencia de los resultados de la población beneficiaria del programa
Informar a los actores de la sociedad respecto de cómo se están usando los recursos por parte de los políticos y burócratas
Sugerencias para la implementación de la Evaluación
Instituto para el Desarrollo Técnico de las Haciendas Públicas
Lic. Rebeca Elizalde HernándezTécnico Investigador
Lic. René HerreraTécnico Investigador
Lerdo de Tejada 2469 , Col. Arcos Sur Guadalajara, Jalisco. C.P. 44500
T. (33) 36 69 55 50 al 59
www.indetec.gob.mx
Gracias por su Atención