SFP“El uso de los resultados de

monitoreo y evaluación en el ciclo

de las políticas publicas”

Agosto 25, 2010

IV CONFERENCIA

Red de monitoreo y Evaluación de America Latina y el

Caribe

Evaluación de la gestión

Contenido

Herramientas de monitoreo y

evaluación

1. Matriz de acciones de mejora

2. Encuesta de percepción

3. Revisión de Matrices de Indicadores de

Resultados (MIR)

4. Padrón único de beneficiarios (SIIPP-G)

Instrumento derivado del PAE y del mecanismo para el seguimiento de losaspectos susceptibles de mejora.

Herramienta de seguimiento, transparencia y rendición de cuentas.

Tener integrados en una sola BD; los asm, las recomendaciones que lesdieron origen, las actividades previstas para su atención, y las fechascompromiso propuestas

Detectar áreas de oportunidad generales para mejorar el desempeño de losprogramas federales.

De los programas evaluados durante los años 2008 y 2009: 924 asm derivados de 152 programas evaluados, correspondientes a 13 dependencias y

entidades de la Administración Pública Federal

1. Matriz de acciones de mejora

Herramientas

20

Impacto

Diseño

Procesos

Específica

Consistencia yResultados

Específica delDesempeño

Otras

250

101

20

127

387

257

Tipos de evaluación y asm derivados2008-2009

Hay 7 ASM que no registraron el tipo de evaluación

Aspectos susceptibles de mejora capturados

Nivel de prioridad

549314

61

0 100 200 300 400 500

Alta

Media

Baja

Atendiendo a la contribución de los asm al logro del fin y propósito de los programas,

aquéllos se clasifican como de Alta, Media y Baja Prioridad.

De los 924 asm capturados, 59.41% fueron clasificados como aspectos de Alta

Prioridad.

Aspectos Susceptibles de Mejora Derivados de

Evaluaciones de Diseño

Para determinar áreas de oportunidad en los programas, se analizó a manera de

ejemplo el resultado de las Evaluaciones de Diseño realizadas durante 2008 y 2009,

detectando que los asm reportados se dirigieron principalmente al mejoramiento de: la

Matriz de Marco Lógico, las Reglas de Operación y la Definición de los Objetivos de los

Programas.

65

70

28

13

19

55

0 100 200 300 400 500

Matríz de Indicadores

Reglas de Operación

Definición de Objetivos

Ausencia de Diagnósticos

Otros

Sin Definir

De 153 programas registrados en el SSAS del CONEVAL:

9 (5.8%) no cuentan con asm;

165 asm (17.8%) no están vinculados a una recomendación; y

61 asm (6.6%) no tienen una actividad a realizar definida.

1. Mejorar alineación

2. Valorar conexión directa entre las recomendaciones emitidas por los

evaluadores y las acciones establecidas por las instituciones

3. Fortalecer monitoreo para evaluar mejoras concretas de los programas, a

través de mecanismos existentes

Áreas de oportunidad

Periodo de aplicación del 02 al 18 de agosto de 2010.

Conocer la utilidad que las diversas evaluaciones externas han generado en

cuanto a la eficiencia, mejora y cumplimiento de metas y objetivos de los

programas federales.

Aplicada a:• Operadores de programas que hayan realizado algún tipo de evaluación

en el marco del Programa Anual de Evaluación.• Responsables de áreas o unidades de evaluación de las instituciones

evaluadas.

Universo: 161 programas evaluados en el periodo 2007-2009.

2. Encuesta de percepción sobre el PAE

Instituciones participantes

1 CENTRO DE INVESTIGACIÓN Y DE ESTUDIOS AVANZADOS DEL IPN CINVESTAV

2 COMISIÓN NACIONAL DE CULTURA FÍSICA Y DEPORTE CONADE

3 COMISIÓN NACIONAL DE VIVIENDA CONAVI

4 COMISIÓN NACIONAL DEL AGUA CONAGUA

5 COMISIÓN NACIONAL FORESTAL CONAFOR

6 COMISIÓN NACIONAL PARA EL DESARROLLO DE LOS PUEBLOS INDÍGENAS CDI

7 CONSEJO NACIONAL DE ÁREAS NATURALES PROTEGIDAS CONANP

8 CONSEJO NACIONAL DE CIENCIA Y TECNOLOGÍA CONACYT

9 CONSEJO NACIONAL DE FOMENTO EDUCATIVO CONAFE

10 CONSEJO NACIONAL PARA LA CULTURA Y LAS ARTES CONACULTA

11 DICONSA DICONSA

12 FIDEICOMISOS INSTITUIDOS EN RELACIÓN CON LA AGRICULTURA FIRA

13 FINANCIERA RURAL

14 FONDO DE CAPITALIZACIÓN E INVERSIÓN DEL SECTOR RURAL FOCIR

15 FONDO NACIONAL PARA EL FOMENTO DE LAS ARTESANÍAS FONART

16 IMSS-Oportunidades Oportunidades

17 INSTITUTO NACIONAL DE ECOLOGÍA INE

18 INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN INEE

Instituciones participantes (Continuación)

19 INSTITUTO POLITÉCNICO NACIONAL IPN

20 SECRETARÍA DE AGRICULTURA, GANADERÍA, DESARROLLO RURAL, PESCA Y ALIMENTACIÓN SAGARPA

21 SECRETARIA DE LA REFORMA AGRARIA SRA

22 SECRETARÍA DE SALUD SSA

23 SECRETARÍA DEL TRABAJO Y PREVISIÓN SOCIAL STPS

24 SISTEMA NACIONAL PARA EL DESARROLLO INTEGRAL DE LA FAMILIA SNDIF

25 SS-SEGURO POPULAR

26 UNIVERSIDAD AUTÓNOMA AGRARIA ANTONIO NARRO UAAAN

88% de los encuestados han utilizado los resultados de las

evaluaciones para hacer mejoras a los programas.

Lugar Mejoras

1

Rediseñar el programa (clarificación de objetivos; planeación;

establecimiento de estrategias; población objetivo)

2 Precisar, mejorar y actualizar las ROP

3 Mejorar la operación (mejora de procesos y procedimientos)

4 Mejorar los indicadores de las MIR

5 Definir y enfocar las metas

6 Ajustar la normatividad (actualización de manuales)

7 Hacer más eficiente la asignación de los recursos.

8 Formular planes de trabajo

9 Definir nuevos programas

10 Mejorar los procesos administrativos

11 Definir controles

12 Detectar necesidades de capacitación

13 Redistribuir cargas de trabajo

14 Dar mejor atención a los usuarios

15 Motivar al personal

+ menciones

- menciones

Tipos de mejoras implantadas

90% de los encuestados considera que las evaluaciones aportan

información relevante al programa.

Más de la mitad de los compromisos derivados de las evaluaciones son

incorporados a las metas del área que opera el programa y 32% a las

metas de la institución.

Motivos por los cuales se realizan otras evaluaciones… Porcentaje

Conocer aspectos específicos del programa 45%

Evaluar los resultados (impacto) 13%

Conocer la percepción de beneficiarios y focalización 13%

Créditos externos 5%

Mecanismos internos de control y autoevaluación 5%

Seguimiento de indicadores 3%

Evaluación de la normatividad 3%

Certificación ISO 3%

Otras 3%

NO

NO

Lugar Sugerencias

1

Mecanismos formales de comunicación. Mejorar la comunicación estableciendo mecanismos

de retroalimentación en todo el proceso de evaluación: entre las instituciones rectoras de la

evaluación, las áreas de evaluación y seguimiento y los dueños de los programas evaluados.

2

Proceso de evaluación. Mejorar el proceso de evaluación; revisión metodológica y su

implantación; discutir y revalorar las políticas de evaluación del desempeño para que respondan

a las necesidades medición, control y evaluación de los programas.

3

Experiencia y conocimiento de los evaluadores externos. Incorporación de expertos en los

temas evaluados.

4

Flexibilidad en los TDRs. Permitir que los TDRs puedan ser complementados para que

respondan a las necesidades específicas de los programas.

5

Coordinación y acuerdos entre globalizadoras. Mejorar la coordinación entre las instituciones

rectoras de la evaluación.

6

Ejercicio de recursos. Facilitar los mecanismos financieros para que se puedan realizar las

evaluaciones así como para la implantación de mejoras que requieren recursos.

7 Periodicidad de las evaluaciones. Modificar la periodicidad de las evaluaciones.

8

Recomendaciones en todos los niveles. Establecimiento de compromisos y seguimiento a

todos los niveles, no solo a las áreas operadoras de los programas.

9

Cultura de evaluación. Introducir una cultura de evaluación en las instituciones, especialmente

en los niveles directivos.

10

Resultado de las evaluaciones. Tomar en cuenta los resultados de los indicadores y

evaluaciones para la asignación presupuestal y toma de decisiones.

11 Evaluaciones de impacto. Orientar las evaluaciones hacia el impacto de los programas.

+ menciones

- menciones

Sugerencias más recurrentes orientadas a mejorar el proceso de

evaluación

3. Matriz de Indicadores de Resultados (MIR)

Se realizó la revisión de las MIR de 114 Programas Presupuestarios (Pp)

correspondientes a 55 Instituciones de la APF.

Se seleccionaron y convocaron para una 1a Etapa a 22 Instituciones y sus

respectivas áreas de planeación y/o evaluación, programación y presupuesto y

responsables de la operación de los Programas.

Se integraron grupos de trabajo conformados por personal de la UEGDG,

CGOVC, OIC y la UPCP-SHCP.

Se promovió el registro en el PASH, de las mejoras de las MIR revisadas y

concertadas para el ciclo de programación y presupuestación del ejercicio 2011.

Se realizará una 2a Etapa (Sep-10 a Feb-11), a fin de concertar los aspectos

susceptibles de mejora que no se concretaron en la 1a Etapa, así como, incluir a

las instituciones faltantes.

UR INSTITUCIONES

C00

COORDINACIÓN GENERAL DEL PROGRAMA

NACIONAL DE APOYO PARA LAS EMPRESAS DE

SOLIDARIDAD

HKASERVICIO DE ADMINISTRACIÓN Y ENAJENACIÓN

DE BIENES

10 SECRETARÍA DE ECONOMÍA

C00 COMISION NACIONAL DE SEGUROS Y FIANZAS

HHQLOTERÍA NACIONAL PARA LA ASISTENCIA

PÚBLICA

PEMEX- EXPLORACIÓN Y PRODUCCIÓN

HJY PRONÓSTICOS PARA LA ASISTENCIA PÚBLICA

18 SECRETARÍA DE ENERGÍA

T41 PEMEX- REFINACIÓN

PEMEX- GAS Y PETROQUÍMICA BÁSICA

W3N FONDO NACIONAL DE FOMENTO AL TURISMO

50 INSTITUTO MEXICANO DEL SEGURO SOCIAL

51 ISSSTE

21 SECRETARÍA DE TURISMO

E00 SERVICIO DE ADMINISTRACIÓN TRIBUTARIA

GICBANCO NACIONAL DE OBRAS Y SERVICIOS

PUBLICOS, S.N.C.

B00 COMISIÓN NACIONAL DEL AGUA

C00ADMINISTRACION FEDERAL DE SERVICIOS

EDUCATIVOS EN EL DISTRITO FEDERAL

J0UCAMINOS Y PUENTES FEDERALES DE INGRESOS

Y SERVICIOS CONEXOS

16SECRETARÍA DEL MEDIO AMBIENTE Y REC.

NATURALES

HIU NACIONAL FINANCIERA, S.N.C.

11 SECRETARÍA DE EDUCACIÓN PÚBLICA

RESULTADOS DE LA PRIMERA ETAPA

El 33.3%, rediseño total de la MIR

El 31.3%, construcción del indicadory elementos asociados

El 21.2%, consistencia, alineación ycongruencia de la MIR (Actividades,Componentes, Propósito y Fin)

El 15.1%, sintaxis de los resúmenesnarrativos, redacción de los mediosde verificación y supuestos y falta deinformación en estos últimos

MEJORAS POR TIPO DE INCONSISTENCIA

33, 33%

21, 21%

15, 15%

31, 31%

REDISEÑO TOTAL DE MIR

CONSISTENCIA, ALINEACIÓN Y CONGRUENCIA DE LA MIR

CONSTRUCCIÓN DEL INDICADOR Y ELEMENTOS ASOCIADOS

RECOMENDACIONES MENORES (Sintáxis, Resumen Narrativo, Redacción de los Campos de la MIR,

Se concertaron mejoras con 22 instituciones respecto de 40 MIR con un totalaproximado de 240 indicadores, y las recomendaciones se orientaron a corregir lasinconsistencias de :

RESULTADOS

1. Articulación de las Áreas de Planeación y/o Evaluación, Programación-

presupuestación y Unidades Ejecutoras de los Programas Presupuestarios en las

Instituciones, parte fundamental en la consolidación de las MIR

2. Requerimientos de capacitación gradual sobre el SED para las instituciones.

3. Implantar un sistema de incentivos para fomentar la aplicación de evaluaciones y el

uso de sus resultados en los diferentes niveles

Sistema de Integración de Información

Padrón de Padrones

Herramienta de la APF para identificar:

• Beneficiarios y/o Derechohabientes

• Beneficios

• Concurrencias

• Ubicar geográficamente entrega de beneficios

Propósitos:

• Evaluar y generar recomendaciones para mejorar los programas

• Lograr mayor identificación de mexicanos

• Ayudará en la transparencia y rendición de cuentas

4. ¿Qué es el SIIPP-G?

Integración del Padrón Único

104,774,313

30,684,00669,385,044

21,184,382

Beneficiarios Beneficios

Julio 2010Enero 2009

Beneficiarios SIIPP-G

49,122,386

6,251,378

Sector Salud

Beneficiarios y Derechohabientes

Sector Social

26,514,036

42,871,008

49,122,386

6,251,378

26,514,036

2006-2010: 69,385,044 personas

20,264,158

Confrontas 2010

Sector InstitucionesRegistros

Con CURPObjetivo

Acción

Sector

Salud

•Seguro popular

•IMSS

•ISSSTE

•SEMAR

•SEDENA

60,132,497

• Derechohabientes por

entidad federativa

• Identificar

concurrencias

• Determinar exclusión

1. Mejorar la calidad en la

integración de derechohabientes

2. Incrementar identificación con

CURP

3. Determinar si las concurrencias

son legales.

Sector

Social

y Rural

•PROCAMPO

•OPORTUNIDADES

•PROARBOL

•SRA

•FIRA

•SALUD

25,865,692

• Concurrencias en el

mismo padrón

• Concurrencia con

otros programas

• Determinar cantidad de

beneficios

1. Mejorar Reglas de Operación

2. Depurar padrones periódicamente

3. Determinar si la concurrencia es

duplicidad de recurso público

Causas que impiden integración de padrones

Causas %

Estrategias

(Programa de trabajo)

Deficiente calidad general de los padrones

1.Problemas de identificación de beneficiarios de

programas con la CURP

2.Falta de datos confiables de identificación geográfica,

monto de los beneficios, etc.

3.No se distingue entre la población vigente y la

histórica

50%

1. Integrar CURP en línea

2. Nuevo Manual de Operación del Padrón Único

3. Invertir en el Sistema informático del Padrón

Único

Procesos deficientes de recopilación de información

1.Descoordinación entre los operadores de programas

del mismo sector y de la misma dependencia

2.Falta de sistemas informáticos apropiados

(procesos manuales)

1.Gran diversidad de modelos de padrón

30%

4. Analizar procesos e integrar proyectos de mejora

por programa

5. Estandarizar cédulas de captura

Reglas de operación complejas

1.No enfocadas en el ciudadano

2.Insuficientes elementos de control 20%

6. Integrar recomendaciones de SFP Coneval,

Cofemer

7. Actualizar Reglas de Operación

¡ Gracias !