Programa de Empleo Temporal

Terminos de Referencia

Introducci6n

La evaluaci6n de 10s programas sociales es un instrumento promotor del cambio y eficiencia de las politicas pljblicas. La principal virtud de una evaluaci6n externa es

que, permite verificarpara medir si el funcionamiento y 10s efectos de un programa se encuentran alineados de acuerdo con 10s objetivos que se propuso alcanzar, por lo que se convierte en una herramienta indispensable que contribuye a la toma de decisiones para mejorar la futura programaci6n, operaci6n y rendici6n de cuentas.

En particular, la evaluaci6n es un proceso sistematico que permite: valorar 10s res~~ltados de la operation del Programa y cuantificar la magnitud e impacto de sus

beneficios, aislandolos de otros factores; examinar 10s efectos no previstos en 10s beneficiarios y en 10s lugares donde opera el Programa; proponer medidas de

reorientation de sus acciones; mejorar la funcionalidad de sus procesos; y en general, aumentar la efectividad y eficiencia del uso de 10s recursos para el logro de sus objetivos.

En este sentido, el Decreto de Presupuesto de Egresos de la Federation para el Ejercicio Fiscal del 2004' establece, en el articulo 55 inciso b) de la fraccibn IV, y

octavo transitorio, que el Programa de Empleo Temporal (PET) debera ser evaluado por instituciones academicas y de investigation u organismos especializados, de

caracter nacional, que cuenten con reconocimiento y experiencia en las respectivas materias de 10s programas, en 10s terminos de las disposiciones emitidas por la i

Secretaria y la Funci6n P~jblica, en el ambito de sus competencias.

Asimismo, la instituci6n debera realizar una evaluaci6n de resultados que sera :? .

enviada a la Comisi6n de Presupuesto y Cuenta Pljblica de la H. Camara de '\

Diputados, a la Secretaria y a la Funci6n Pljblica, a mas tardar el 15 de octubre, a I I' f / \

efecto de que 10s resultados Sean considerados en el proceso de analisis y ( I, , \ \ ... -

'DOF, "Presupuesto de Egresos de la Federaci6n para el Ejercicio Fiscal 2004", Mibrcoles 31 de Diciembre de 2003.

Programa de Empleo Temporal Terminos de Referencia para la Evaluaci6n Externa

aprobaci6n del Presupuesto de Egresos de la Federaci6n para el siguiente ejercicio

fiscal.

Las Reglas de Operaci6n del PE? (RO), en el numeral 8.2, establecen que la evaluaci6n externa debera realizarse conforme a 10s presentes Terminos de Referencia, mismos que fueron conformados colegiadamente entre las dependencias participantes en el sen0 del Comite Tecnico.

El Grupo Permanente de Trabajo del Programa (GFT), por designaci6n del Comite Tecnico, es la instancia responsable de coordinar el proceso de evaluaci6n externa, asi como proporcionar la informaci6n necesaria para llevar a cab0 la evaluaci6n. Adicionalmente, la Direcci6n General de Evaluaci6n de 10s Programas Sociales de la

SEDESOL apoyaran tecnicamente al GPT para que la instituci6n evaluadora cumpla con 10s objetivos que se establecen en el presente documento.

Los Terminos de Referencia constan de diez apartados; en 10s primeros tres se presentan brevemente algunas caracteristicas del Programa; el cuarto plantea 10s antecedentes de evaluaci6n; mas adelante se precisan 10s objetivos y el period0 de

la evaluaci6n; en el apartado siete se vierten algunas premisas que podran guiar la evaluaci6n; el ocho p~.~ntualiza algunos aspectos que debera cumplir la propuesta tecnica, el siguiente enfatiza sobre algunos aspectos metodol6gicos de muestreo; y por Ijltimo, el dkcimo apartado especifica 10s productos a entregar resultantes de la evaluaci6n.

I. Antecedentes del Programa

El PET, tal como opera en la actualidad, se aplic6 en 1999 como una de las estrategias diseiiadas por el Gobierno Federal para promover la igualdad de

oportunidades, elevar 10s niveles de bienestar y la calidad de vida de 10s

DOF, "Acuerdo por el que 10s integrantes del Cornit6 Tknico del Programa de Empleo Temporal (Pet), emiten y publican las Reglas de Operaci6n del Programa de Empleo Temporal (PET)para el ejercicio 2003", Miercoles 16 de abril de 2003, p. 8. y DOF, "Acuerdo por el que 10s integrantes del Comite Tknico del Programa de Empleo Temporal (Pet), establecen las Reglas de Operaci6n del Programa de Empleo Temporal modifican las Reglas de Operaci6n del Programa de Empleo Temporal (PET)para el ejercicio 2003, publicadas el 16 de abril de 2003" Mattes 29 de Julio de 2003, que son las que operan para el aiio 2004.

Programa de Empleo Temporal Tkrminos de Referencia para la Evaluaci6n Externa

mexicanos, especialmente en periodos de baja demanda de mano de obra en las

localidades atendidas, asi como contribuir a abatir la pobreza y la exclusi6n social.

No obstante, sus raices se encuentran en 1995, con la puesta en marcha del Programa Especial de Empleo y el Programa Especial de Conservaci6n de Caminos

Rurales con uso intensivo de Mano de Obra, coordinados por SEDESOL y SCT, CUYO

objetivo principal era la generaci6n de empleos temporales mediante la ejecucidn de obras de beneficio comunitario y el mantenimiento de caminos rurales. Dos aAos mas tarde debido a 10s resultados alcanzados por el programa nace el PET, incorporindose a su operaci6n la entonces Secretaria de Agricultura, Ganaderia y

Desarrollo Rural (SAGAR), y en 1999 se incorpora la Secretaria del Medio Arnbiente, Recursos Naturales y Pesca (SEMARNAP), para ampliar la estrategia interinstitucional

del programa y alcanzar mayor impacto.

2. Objetivos del PET

En general para el aiio 2004, tal como lo establecen las Reglas de 0peraci6n3, el

Programa de Empleo Terr~poral a cargo de las Secretarias de Desarrollo Social (SEDESOL), Medio Ambiente y Recursos Naturales (SEMARNAT), Agricultura,

Ganaderia, Desarrollo Rural, Pesca y Alimentaci6n (SAGARPA), y Comunicaciones y Transportes (SCT), se presenta como un instrumento bdsico para la superaci6n de

la pobreza extrema, a traves de la generacion de oportunidades de ingresos en el medio rural, mediante acciones dirigidas al desarrollo del capital humano, asi como al desarrollo y mantenimiento de la infraestructura social, productiva y preservaci6n del medio ambiente.

Asirr~ismo, el PET busca mejorar las alternativas de insercidn en el mercado laboral de las familias que habitan en el medio rural en condiciones de pobreza extrema, mediante el apoyo de acciones intensivas en mano de obra, que generan

beneficios inmediatos y de largo plazo. Estas acciones deben elevar y diversificar el ingreso permanente al aumentar el valor, la capitalizacidn y la rentabilidad de 10s .rl\ activos que poseen 10s habitantes de las localidades rurales ubicadas en 10s

DOF, 16 de abril y 29 de julio, 2002, op, cit, pp. 2-64.

Programa de Empleo Temporal Thrminos de Referencia para la Evaluaci6n Externa

municipios incluidos en el anexo 1 de las RO generando, al mismo tiempo,

oportunidades de ingresos en 10s periodos de menor demanda de mano de obra.

Para el afio de 2004, el Programa dispone de un presupuesto total de $4,034.537

millones de pesos, de 10s cuales el 80 por ciento de 10s recursos (3,227.629 rnp) se

operan bajo la modalidad de PET-NORMAL, y el 20 por ciento (806.908 mp) constituye una reserva para su aplicaci6n en caso de emergencias a traves del PET- INMEDIATO.

De manera general, 10s objetivos del PET-NORMAL son: (i) complementar de manera transitoria las fuentes de empleo en las zonas marginadas del medio rural, en localidades de hasta 5,000 habitantes en epocas de baja actividad productiva y demanda laboral ubicados preferentemente en microrregiones y otros municipios

prioritarios; (ii) amortiguar las fluctuaciones en el ingreso de las familias en

condiciones de pobreza extrema; (iii) generar oportul-ridades de empleo para la mano de obra no calificada, a traves de su apoyo econ6mico por su participaci6n en la construcci6nI rehabilitacion y mejoramiento de la infraestructura social

productiva y para la conservacion y aprovechamiento de 10s recursos naturales; (iv) apoyar proyectos que promueven empleos de mayor permanencia; y (v) atender las prioridades de caracter nacional e institucional, que se deterrninen en 10s Linearnientos Especificos de cada Dependencia, por medio del PET Inrnediato.

Por su parte, el PET-INMEDIATO busca reactivar las actividades economicas, la

reparacion de la infraestructura pljblica daiiada y la recuperaci6n del potencial productive, de patrimonio familiar, comunitario y preservacion del medio ambiente

de zonas afectadas por desastres naturales o economicos, tambien podra destinarse a obras y/o acciones, para atender situaciones que sin ser desastres naturales, tengan un impact0 negativo en actividades productivas, que afecten a la

poblacion rural, manteniendo el principio de atenci6n a poblaci6n rural en , '

condiciones de pobreza. fi>

Programa de Empleo Temporal Tkrminos de Referencia para la Evaluaci6n Externa

La poblaci6n objetivo del Programa son 10s habitantes del medio rural en pobreza extrema, que viven en las regiones definidas en las Reglas de operaci6n4 mayores de 16 afios, que estkn dispuestos a participar en el mismo; pueden ser productores rurales, jornaleros con y sin tierra, asi como hombres y/o mujeres. El apoyo econ6mico -jornal- asciende al 99 por ciento del salario minimo diario

vigente en la zona 'C", es decir 42 pesos para el afio 2004, y se entrega invariablemente en forma monetaria por un maximo de 88 jornales.

3. Vertientes de actuacidn del PET

La SEDESOL apoya obras y/o acciones de infraestrudura produdiva, comul-litaria y social basica en localidades marginadas del medio rural, a travks de las siguientes vertientes:

a) Produdiva -minim0 el 50 por ciento de 10s recursos5: impulsa proyedos que

aprovechan el potencial produdivo de las comunidades rurales en pobreza extrema, que generan oportunidades de empleo, autoempleo y propician el ingreso permanente en cierto tip0 de obras.

b) Comunitaria -maxim0 el 20 por ciento del presupuesto6: se destina a acciones para la creaci6n y fortalecimiento de infraestrudura social.

c) Formaci6n de capital familiar -maxim0 el 30 por ciento de 10s recursos7: se destina a proyedos de beneficio familiar con acciones que impadan diredamente en la formaci6n de capital familiar, tales como piso firme, rehabilitaci6n o ampliaci6n de vivienda rural y areas de servicios sanitarios.

En el caso de la SAGARPA, el 60 por ciento del total de 10s recursos del PET-NORMAL

se destina a apoyar adividades produdivas consideradas de beneficio comunitario , ' ,, ' \ \

y/o regional. El 40 por ciento restante, se dedica a aquellas obras de beneficio familiar o individual. Bajo esta distribucibn de recursos se encuentra la atenci6n de

DOF, 16 de abril y 29 de julio, 2002, op. cit, pp. 65-103. Del Total del presupuesto de SEDESOL para el PET-NORMAL. :[bidem. ' Ibidem.

Programa de Empleo Temporal Tkrminos de Referencia Dara la Evaluacion Externa

las siguientes 4 lineas de acci6n: agricultura sostenible en zonas con sequia

recurrente, agricultura sostenible en zonas con uso de fuego en adividades agropecuarias, construcci6n de pequeia infraestrudura rural, y atenci6n a cadenas produdivas de interes estatal y national.

La SCT por medio del PET genera empleos mediante trabajos de conservaci6n de caminos rurales y reconstrucci6n de caminos rurales y mejoramiento de brechas,

procurando un adecuado nivel de servicio en la red rural, que permita el transit0 en todas las epocas del aio. Del total de recursos del PET-NORMAL, de esta

dependencia, se dedica como minimo, un 78 por ciento para la atenci6n de

localidades rurales ubicadas en las microrregiones y otros municipios prioritarios en pobreza extrema; y el 22 por ciento como maximo en otros m~~nicipios de atenci6n institucional.

Finalmente, la SEMARNAT destina, como minimo, el 78 por ciento del PET-NORMAL a

Microrregiones y otros municipios prioritarios; y un maximo de 22 por ciento a

otros municipios de atenci6n institucional. Los proyedos y acciones que se apoyan se ubican en las siguientes vertientes:

d) Produdivas de beneficio comunitario -minim0 el 70 por ciento de 10s recursos8: se consideran proyectos de participaci6n cornunitaria, orientados a la generaci6n de empleos de mayor permanencia basados en el manejo y aprovechamiento sustentable de 10s recursos naturales.

e) Produdivas para el manejo de predios -maxim0 el 10 por ciento del presupuestog: se consideran acciones que benefician directamente a las familias mas pobres a traves de la promoci6n de adividades productivas

ligadas al uso de sus recursos naturales y que complementan su ingreso.

f) De infraestrudura social de beneficio comunitario -el resto de 10s recursos: se consideran obras de construcci6n, ampliaci6n y rehabilitacibn de infraestrudura social bisica, mediante la incorporaci6n de mano de obra no calificada, y orientadas al cuidado del medio ambiente y 10s recursos naturales.

Del Total del presupuesto de SEMARNAT para el PIT-NORMAL Ibidem

Programa de Empleo Temporal Terminos de Referencia Dara la Evaluaci6n Externa

4. Antecedentes de evaluation En materia de evaluaci6n externa se han realizado varios ejercicios, el primer0 fue un estudio preliminar y propuesta de tkrminos de referencia para la evaluaci6n del PET elaborado por el Centro de Investigaci6n y Docencia Econ6mica (CIDE),'~ en el aiio 2000; el segundo ejercicio fue la evaluaci6n externa realizada en el 2001 por parte de la Universidad de Colima (UCOL) "; en tercer tkrmino se cont6 con las evaluaciones de la Universidad Aut6noma Metropolitana Xochimilco para 10s aiios 2001 a 2003, l2 todos ellos han sentado las bases para el mejoramiento continuo del programa.

El objetivo principal del estudio llevado a cab0 por el CIDE fue ofrecer lineamientos metodol6gicos para evaluar el programa, y el objetivo secundario fue inferir

algunos resultados a partir de la informaci6n obtenida sobre la operaci6n e impact0 del programa.

Los objetivos generales de la evaluaci6n externa realizada por la UCOL fueron valorar 10s beneficios econbmicos, sociales y ambientales del programa, costo- efectividad, apego a las Reglas Generales de Operaci6n y elaborar un diagn6stico basal, para el periodo enero 2000 - julio 2001 durante el periodo julio - octubre 200 1.

Con base en lo anterior, la Llniversidad de Colima llevo a cab0 diversas actividades identificables en cuatro etapas: trabajo de gabinete, trabajo de campo, sistematizaci6n de la informaci6n e integracidn del documento final. Entre 10s resultados mas importantes de la evaluaci6n se encuentran 10s siguientes:

lo CIDE, Diseiio de Evaluaci6n Dara el Prwrama de EmDleo Temwral, diciembre, 2000. l1 UCOL, Evaluaci6n Externa. Prwrama de EmDle0 Temwral. Documento Final v Bases de Datos, octubre, 2001.

UAM-X, Evaluaci6n Externa del Prwrama de Empleo Temwral. 2001-2002, octubre 2002, marzo y mavo 2003;y Evaluaci6n Externa del Prwrama de Em~leo Temwral. 2003. octubre y diciembre 2003 y marzo 2004.

Programa de Empleo Temporal Tkrminos de Referencia para la Evaluaci6n Externa

Generaci6n de mas de un mill6n de empleos en zonas de alta y muy alta

marginaci6n de todo el pais.

60.16% de 10s beneficiarios del programa supera anualmente la linea de

extrema pobreza.

Conservaci6n y reconstrucci6n de 62,257 kil6metros de caminos rurales.

Fortalecimiento de la infraestructura social de las regiones donde opera el

programa.

Evidencia de una mayor participaci6n de la mujer.

Incidencia en el ingreso y gasto familiar.

Impulso a la actividad productiva.

Efectividad de las tecnologias para la conservacidn de recursos naturales.

Asimismo, entre las modificaciones mas significativas incorporadas a las Reglas de Operaci6n 2002 del programa, product0 de 10s resultados y las recomendaciones derivadas de la evaluaci6n 2001, se encuentran las siguientes: simplificaci6n de las

RO; la elaboracidn y publicacidn de 10s Lineamientos de Funcionamiento del Comitk Tkcnico, Grupo Permanente de Trabajo y Comitks Estatales del Programa de Empleo Temporal; la prohibici6n explicita para que funcionarios de 10s tres ordenes de gobierno participen de 10s beneficios del Programa; seguimiento del GPT a las acciones de coordinaci6n que se realicen en 10s Comitks Estatales; evidenciar la transparencia en el ejercicio de gobierno, propiciando asi, la credibilidad y confianza en las instituciones; estandarizacidn de estructuras de 10s formatos de control y seguimiento asi como 10s de alimentaci6n del SIIPET, asi como la utilizaci6n en este Sistema de las bases de datos del CONAPO e INEGI y; ,-

la identificacidn y seguimiento mediante sistemas de control de zonas de vulnerabilidad que tengan que ver con 10s estilos de ejecuci6n de alta o baja sustentabilidad regional.

Por hltimo, las evaluaciones realizadas por la UAM-X (2001 a 2003) incorporaron instrumentos tanto de caricter cuantitativo como cualitativo a 10s procedimientos de medici6n de impactos y determinaci6n de eficacia y eficiencia del Programa.

Programa de Empleo Temporal Terminos de Referencia para la Evaluaci6n Externa

A partir de 10s objetivos de la evaluaci6n de valorar 10s beneficios econ6micos y

sociales del Programa, y de las mediciones de costo-beneficio, costo-efectividad, apego a las Reglas Generales de Operaci6nf anilisis organizacional y operacional del Programa, y la identificaci6n de vulnerabilidades y potencialidades del mismo, se leg6 a la elaboraci6n de un diagn6stico de caricter prospective, mismo que tuvo una relaci6n de continuidad metodol6gica y procedimental entre 10s aiios 2001 y 2003.

Dentro de 10s principales hallazgos y aportaciones de las evaluaciones mencionadas se pueden citar 10s siguientes:

Establecimiento de una metodologia para la evaluaci6n del Programa que

mantiene una 16gica de continuidad temporal y una integralidad en sus

instrumentos.

Desde el punto de vista organizacional el PET parte de un esquema de

funcionamiento que es de operaci611, no de planeaci6n ni de seguimiento, por lo que se recomienda la generacidn de instancias de planeaci6n que articulen intersecretarialmente las acciones de cada una de las dependencias, alineando

a su vez dichas acciones con 10s objetivos institucionales de cada una de ellas y

con 10s del PET.

Se recomienda la readecuaci6n de las RO para que, sin perder 10s controles

necesarios, flexibilice la estructura de 10s Comitks Estatales a partir de sus

funciones.

Existe una gran eficiencia de la estruct~~ra organizacional del programa, sin

embargo es necesario fortalecerla a partir de no reproducir instancias de direcci6n centrales, sin0 de procurar instancias de coordinaci6n operacional.

En relaci6n con la informaci6n secundaria obtenida de las dependencias, se han

detectado inconsistencias de informaci6n de acuerdo con distintos niveles de ,

agregaci6n de la misma, que fueron revisadas por las dependencias en el K

proceso de evaluaci6n.

Si bien se atendi6 a aproximadamente el 14% de las localidades potenciales

PET en 10s aiios 2001 y 2002, 10s niveles de focalizaci6n del periodo fueron de

Programa de Empleo Tempordl Tkrminos de Referencia Dara la Evaluaci6n Externa

alrededor del 85%. La focalizaci6n de la poblacibn especifica (mayor de 16 afios) fue de 39% para 2001 y 28% para 2002.

El analisis de costo beneficio, incorporando una visi6n conservadora de la

monetarizaci6n de la percepci6n subjetiva del Programa, fue satisfactorio con

valores superiores a 1.

El impacto del PET en 10s beneficiarios, de acuerdo con la encuesta ex post a

beneficiarios con grupo de control, se verific6 especialmente en la menor propensidn a la migraci6n de 10s beneficiarios PET, asi como en cierta superioridad del grupo beneficiario en el consumo y en la estructura del gasto.

5. Objetivos de la evaluaci6n

Objetivo General

Evaluar 10s resultados, impacto, desempefio, eficacia, eficiencia y apego a las reglas de operaci6n del Programa de Empleo Temporal, tanto en el corto como en el mediano y largo plazos.

Objetivos Especificos:

Del diseiio del Programa. 1. Analizar la pertinencib3 del Programa, a travks de la revisi6n de sincronia que

presenta respecto al Plan Nacional de Desarrollo y al Programa Nacional de Desarrollo Social, con el prop6sito de conocer si las actividades que desarrolla el Programa son congruentes para cumplir con las metas nacionales y sectoriales planteadas.

2. Analizar la mmplementariedad y duplicidad de las acciones del Programa con el resto de 10s Programas sociales (operados por 10s tres 6rdenes de gobierno), asi como la complementariedad y duplicidad que guardan las acciones de cada una de las vertientes del programa.

3. Analizar la mngruencia entre actividades y objetivos del programa. Se '

requiere valorar si el marco legal que norma al programa y el marco organizacional que le da estructura de funcionamiento, son 10s mas apropiados para alcanzar sus f o bjetivos.

l3 Estudia si las metas del programa son congruentes con los objetivos planteados a nivel sectorial, estatal y nacional. Fuente: El Banco Mundial, Evaluaci6n de las Operaciones de Desarrollo: Mktodos para valorar sus resultados v su im~acto. Vol. 2, No. 10, 1997.

Programa de Empleo Temporal Terminos de Referencia para la Evaluation Externa

De la evaluaci6n de procesos. 4. Revisar la transparencia en funci6n de 10s recursos y operaci6n del Programa. Es

necesario analizar si la selecci6n de 10s proyectos autorizados es oportuna y precisa, evitando la discrecionalidad en la aprobaci6n de 10s recursos. Es importante conocer la percepci6n de 10s beneficiarios respecto de 10s derechos y obligaciones derivados de la operaci6n del programa, asi como su conocimiento del proceso de operaci6n del mismo.

5. Identificar 10s problemas encontrados en la implementaci6n del Programa a partir de 10s "cuellos de botella" organizacionales y procedimentales que se presenten en su operaci6n .

6. Establecer la oobertura y focalization del Programa por tip0 de apoyo y su variaci6n con respecto a la obtenida en el afio anterior, a nivel nacional, por entidad federativa y por nljcleo de poblaci6n. En terminos de cobertura interesa conacer al menos el porcentaje de beneficiarios atendidos con relaci6n a la poblaci6n objetivo y el porcentqle de beneficiarios atendidos en 10s lugares en donde opera el mismo. Adicionalmente, se requiere conocer el indice de facalizaci6nI donde se consideren 10s errores de inclusi6n y ex~lusi6n'~ en 10s que incurre el Programa. Esta revision debe realizarse en relaci6n al 2004 comparando las diferencias resultantes entre dicho ejercicio y 10s anteriores, ubicando las diferencias y secretaria responsable.

7. Medir la eficacia del Programa, en terminos del cumplimiento de metas15 fisicas y financieras.

8. Cuantificar el gmdo de cumplimieniv de Iasreglasde operaci6n que regulan el programa. En este caso, deberan atenderse 10s numerales de las reglas de operaci6n del PET, en particular aquellas solicitadas por el GPT y la Direcci6n General de Evaluacidn de Programas Sociales, la cual, para efectos de evaluaci6n, se integrara al Gm. Asimismo, en el caso de aquellas reglas que no se cumplan al 100 por ciento, y que coadyuven al cumplimiento de 10s objetivos y desarrollo del Programa, deberan proporcionarse sugerencias pertinentes para su mejora. Tambitin debera incluirse un Anexo donde se especifiquen 10s elementos considerados para obtener las conclusiones planteadas a ese respecto, asi como la metodologia que se emplearia para la recolecci6n de la informaci6n necesaria para estos fines (tanto cuantitativa como cualitativa).

9. Evaluar la implementaci6n y funcionamiento del S i ' m a Integral de Inhnnacidn (SIIPR3, asi como la eficiencia y efcacia del Centm de Inhnnacidn (CIPET) en tkrminos de costo-beneficio y su funcionamiento con respecto a las dependencias operadoras del Programa, asi como con otros de , caracter social o con naturaleza de subsidios.

De 10s costos- beneficios 10. Valorar el nivel de eficiencia del Programa, en terminos de la relaci6n que existe

entre 10s productos (bienes y servicios) que otorga el Programa y 10s costos de 10s

l4 A travk del error de inclusi6n se deberi medir las personas u hogares que no se consideran dentro de la poblaci6n objetivo, per0 fueron incluidas como beneficiarios. El error de exclusi6n debera cuantificar a la poblaci6n que no fue atendida por el Programa y que sin embargo, cumplia con las caracteristicas para ser apoyada. 13 Meta: Unidad de product0 (bien o servicio en un periodo determinado de tiempo.

Programa de Empleo Temporal Tkrminos de Referencia Dara la Evaluacibn Externa

recursos (insumos y actividades) en 10s que incurre para otorgarlos. Las dimensiones centrales son: metas, tiempo, costos y durabilidad.

11. Revisar en campo la eficacia del Programa, esto es, el resultado del cumplimiento de las metas16 fisicas y financieras del Programa. Asimismo, deberan indagarse en qu4 medida el Programa contribuye a generar mayores ingresos para 10s participantes y sus familias.

12. Medir el oosto-efectividad de 10s recursos asignados al Programa, en funcidn de 10s costos y gastos unitarios en que se incurre para operar el prograrna." Igualmente, deberan analizarse y medirse 10s impactos sobre la poblaci6n objetivo del Programa.

De la evaluaci6n de Impactos. 13. Determinar el grado de cumplimiento de 10s objetivos, general y particulares,

del programa. Es importante considerar el grado de cumplimiento de 10s resultados esperados del programa, asi como de 10s productos que, en principio, deben generarlos, ambos expresados en el numeral 3 de este anexo.

14. Evaluar el grado de satistkzidn de la poblaci6n objetivo del programa asi como del resto de las familias de la comunidad que no participan en el mismo (en t4rminos de la propia satisfacci6t1, la utilidad y la efectividad de 10s beneficiario~), sin restringirse llnicamente a una 'encuesta de opinion" y diferenciando entre grupos.18

15. Identificar y estimar 10s beneficios econ6mioos y sociales que resultan de la aplicaci6n de 10s recursos asignados al programa. En este apartado se destacara, entre otros aspectos, un analisis de 10s efectos probables que tienen las obras o acciones realizadas sobre el bienestar de las familias de la localidad (beneficiarias y no beneficiarias) as: como el impacto del Programa de Empleo Temporal en 10s ambitos de oportunidades de generaci6n de ingresos, impacto sobre el mercado regional de trabajo (en particular sobre la oferta laboral), integraci6n social y, de ser posible, el aumento de las posibilidades de inversidn privada.

16. Determinar 10s efectos, tanto positivos como negativos, no esperados del programa. 17. Comparar el programa con otras alternativas a fin de determinar opciones 6ptimas

para el logro de 10s objetivos planteados. 18. Analizar el impacto y resultados del programa sobre el bienestar, la equidad, la

igualdad y la no discriminaci6n de las mujeres. 19. Elaborar wnc/usiones y recomendauones que destaquen, particularmente, 10s

aspectos antes seRalados.

l6 Meta: unidad de product0 (bien o servicio) que otorga el Programa en un period0 deterrninado (tiempo). l7 Se requiere conocer, por lo menos, cuinto le cuesta a cada Secretaria que llegue un peso al beneficiario, a travgs del Programa. I s Utilidad: Provecho o inter& que obtiene del Prograrna. Que le sirvi6 para algo. Beneficio mn6mico o social que reciben direda o indirectamente las personas que integran una comunidad (Diccionario de la administracibn pirblica municipal). Satisfaccihn: Complacer o realizar completamente una expectativa o deseo. Solucionar, resolver. Que ha calmado una necesidad o deseo. Ef'ectividad: Calidad de efectivo. Cumplimiento al ciento por ciento de 10s objetivos planteados. (Glosario de Tkrrninos de la SHCP).

Programa de Empleo Temporal Terminos de Referencia para la Evaluaci6n Externa

20. Con base en 10s resultados obtenidos, elaborar y presentar el escenario pmspedvdg del Programa.

En caso que 10s participantes en el concurso de evaluacion consideren que cualquiera de 10s objetivos anteriormente seiialados para la evaluacion no Sean fadibles de obtener, por cuestiones tecnicas o de costo, deberan plantearlo en sus respedivas propuestas.

Cualquier cambio a estas condiciones, en particular a 10s produdos a entregar como evaluacion externa, solo podra realizarse mediante la autorizacion expresa del GPT y la Direction General de Evaluation de Programas Sociales, la cual, para efedos de evaluacion, se integrara al GPT.

6. Periodo de evaluaci6n y plazos de entrega

El periodo de evaluaci6n comprende de enero a diciembre del 2004, en dos momentos:

Primer momento: Un Informe preliminar del periodo enero-junio del 2004

cornparativo con el mismo periodo del aiio inmediato anterior, que debera presentarse a mas tardar el 15 de Odubre del 2004.

Segundo momento: Un informe final del periodo enero a diciembre de 2004, que se debera presentar a mas tardar el 31 de Marzo de 2005.

7. Premisas b5sicas para la eva1uaci6n.~~

a) La estratificacidn de la operation del Programa, con base en el desempleo estacional, contribuye, en el corto plazo, a que 10s beneficiarios conserven

su nivel de ingreso y de consumo constante durante ese periodo.

b) Las obras y acciones desarrolladas por cada una de las secretarias, en las diferentes vertientes, promueve, en el mediano y largo plazo, el desarrollo social, humano y produdivo de la region y de su poblacion, asi como, la adopcidn de usos y costumbres a favor de la conservaci6n del medio

\

l9 Presentaci6n de las posibles situaciones positivas y negativas derivadas de la aplicaci6n del Programa. 20 Lo expresado en este apartado pretende ofrecer, a 10s equips de investigadores, hip6tesis de trabajo o lineas de investigaci6n de situaciones que la operaci6n del Programa supone que suceden e interesaria saber si efedivamente ocurren, lo anterior con el objeto de que sea analizada su pertinencia y viabilidad para ser incluidas en la evaluaci6n externa y/o replantear en otros terminos su inclusi6n.

Programa de Empleo Temporal Tkrminos de Referencia para la Evaluaci6n Externa

ambiente; originando un increment0 sostenible y sustentable del bienestar

de la poblaci6n beneficiaria, su familia y su comunidad.

c) El enfoque complementario de las obras y acciones emprendidas, por cada una de las cuatro secretarias, fomenta el aprovechamiento y la asignaci6n 6ptima de 10s recursos, acrecentando la efectividad y 10s beneficios del

Programa.

d) Respecto a la cuantificaci6n del Cumplimiento de Reglas interesaria, tambien:

Verificar el cumplimiento de 10s objetivos de 10s Lineamientos Especificos

para cada Dependencia, asi como la congruencia que muestran con la informaci6n de avances financieros y de metas alcanzadas.

Analizar si la integraci6n de expedientes tecnicos, por dependencia, es la

adecuada -respecto a lo establecido en la normatividad.

Conocer si la distribuci6n de 10s apoyos econ6micos son adecuados -en

la forma en la que se realizan y la oportunidad con la que se entregan.

Estudiar si el funcionamiento de las directivas de 10s diversos comites - federales, estatales, comunitarios, etc.- es pertinente y eficiente, asi como si la participaci6n de estos en 10s trabajos son ~jtiles para el

funcionamiento del PIT, es decir si se refleja en el mejor desempefio, operaci6n y ejecuci6n del Programa. Asimismo, si cada uno de estos comites cumple con las funciones y atribuciones que les han sido conferidas.

Valorar la utilidad de la elaboraci6n peri6dica de informes y reportes

internos, con el fin de contribuir al mejoramiento del Programa y la toma de decisiones,

Verificar si la Contraloria Social ha realizado sus funciones de control y

vigilancia, en este sentido conviene conocer en que medida se cumplen '\

las funciones, asi como si existe un agil acceso para la captaci6n de

quejas, seguimiento y resoluciones.

Analizar la relaci6n que existe de obras no concluidas o realizadas,

respecto del total, asi como las causas que lo generaron.

Programa de Empleo Temporal T4rminos de Referencia para la Evaluaci6n Externa

Determinar la utilidad del Programa para 10s beneficiarios en terminos

del ingreso percibido y, de ser posible, cuantificar, la contribuci6n del Programa para la reducci6n de la pobreza extrema.

e) Determinar por dependencia ejecutora, el grado de satisfacci6n de 10s beneficiarios en funci6n de 10s beneficios percibidos por las obras y/o acciones realizadas por el PET. Tambien es necesario tratar de medir 10s beneficios indiredos de las obras, en particular la satisfaccidn de la

comunidad (incluyendo a 10s no participantes en el PIT) por las obras generadas.

f) Es iroportante conocer, la utilidad de las obras, diferenciando el tip0 de acci6n y la dependencia.

g) Cuantificar en que medida identifican o reconocen al Programa de Empleo

Temporal, por dependencia.

h) Determinar si 10s beneficiarios perciben y/o conocen que las acciones del Programa se llevan a cabo, a traves de la coordinaci6n interinstitucional,

mediante 10s tres 6rdenes de gobierno.

i) Investigar si 10s beneficiarios perciben duplicidad o complementariedad de las obras y acciones que realiza el Programa, a traves de cada dependencia o por 10s otros niveles de gobierno -estatal y municipal.

j) En el analisis prospedivo, analizar la situaci6n de suspensi6n o inexistencia del Programa, en la situaci6n especifica de cada dependencia, proyedando las repercusiones de indole social y econ6micast asi como aquellas

diredamente relacionadas a 10s trabajos especificos que realiza cada Secretaria (v.gr conservacidn y reconstrucci6n de caminos, infraestrudura social comunitaria, proyedos produdivos o mantenimiento y conservacidn del medio ambiente).

8. El contenido de la propuesta t6cnica

La propuesta tknica debera expone? y explicarZ2 la metodologia de evaluaci6n especifica a implementar. Esto implica una descripci6n de las herramientas

r 2' MPONER: Mostrar, exhibir, ostentar, enseiiar

Programa de Empleo Temporal Tkrminos de ~ e f e r e n c i ~ ~ a r a la ~valuaci6n Externa

tebricas, muestrales, estadisticas y econometricas a ser aplicadas en el estudio.

Asimismo, sera necesario enunciar 10s trabajos de gabinete, de campo y, en su caso, las encuestas que se realizaran (incluyendo las piloto), asi como el conjunto del trabao de camp0 y la bibliografia que 10s sustenta.

Es necesario que la propuesta tknica muestre c6mo se abordaran cada uno de 10s objetivos de la evaluaci6nI asi corr~o las tecnicas que se emplearan para cumplir con cada uno de ellos. Adicionalmente, se deberan presentar 10s indicadores que atenderan cada objetivo, las variables que lo componen y las fuentes de

informaci6n con las que se construiran, bajo el siguiente formato:

Asimismo, debe especificarse con que metodologia (s) se cubrira (n) cada uno de 10s objetivos de la evaluaci6n, especificando sus alcances y limitaciones.

La propuesta tecnica, tambien, debera contener la presentaci6n del plan de trabajo que se pretende llevar a cab0 para cumplir con la evaluaci6n propuesta, en donde se especifiquen fechas de entrega parciales y definitivas de 10s productos que se deriven de la evaluaci6n.

Objetivo especifico de la evaluaci6n que se atiende:

Ademas, se debera presentar la estructura tematica del(los) informe(s) a elaborar con una breve descripci6n de su contenido.

Nombre del Indicador

9. Aspectos metodolog icos a considerar en la evaluacion.

Para el desarrollo de la evaluacion sera necesario:

Diseiiar y obtener una base de datos tipo panel, con un "grupo de controlrr, que permita tanto el seguimiento de un grupo de beneficiarios como la comparaci6n

Variables y metodologia de dlculo

22 EXPUCAR: Aclarar, describir, esclarecer \ "\'

Fuentes de informaci6n

Programa de Empleo Temporal TCrminos de Referencia para la Evaluaci6n Externa

longitudinal de 10s beneficios del Programa con el fin de coadyuvar al logro de todos 10s objetivos seiialados en esta Secci6n.

De esta forma, la metodologia debera tener como parametro de comparaci6n un "grupo de control" con caracteristicas similares que no participe en el Programa (muy probablemente en localidades no atendidas) que permita inferir c6mo mejoran 10s participantes del Programa respecto de aquellos.

Se contemplara el total de la poblaci6n atendida y se cornparara con el nljmero potencial de beneficiarios en cada uno de 10s niveles seiialados en 10s objetivos especificos de este documento. Las encuestas realizadas (tanto las piloto como las definitivas) deberan seiialar con claridad cuales son las preguntas que se aplicaran a 10s beneficiarios actuales y cuales al grupo de control, resaltando las encaminadas a obtener las respectivas caracteristicas socio-demograficas de 10s encuestados. En particular, se requiere determinar si la poblaci6n que participa en el Programa tiene las caracteristicas que se considera como poblaci6n objetivo, de acuerdo a la RO.

Toda propuesta de evaluaci6n debera presentar una propuesta de encuesta en campo destinada a ser utilizada como panel, que debera ser estadistiwmente signifiwtiva, destacando 10s siguientes elementos:

a) Ser representativa de la poblaci6n que atiende el Programa

b) Ser probabilistica

c) Contar con un nivel de confianza del95 por ciento

d) Factores de e ~ p a n s i 6 n ~ ~

e) Ser realizadas por expertos en levantamiento de encuestas y muestreo

f) Apegarse a 10s lineamientos que consideren pertinentes el GPT y la Direcci6n General de Evaluaci6n de Programas Sociales, la cual, para efectos de evaluaci6n1 quedari integrada al Gm. y Dichos lineamientos se daran a conocer a quien se seleccione como F., evaluador externo.

\

Para el desarrollo de estudios de caracter cualitativo que impriman un caracter ) , .[\ integral a la evaluaci6n1 cada una da las propuestas debera estar sustentada con la r'F\% 23 Se utilizan cuando la muestra total no es representativa, debido a circunstancias externas, como la no respuesta, y se calcula con base a la muestra efectivamente realizada. ,

Prograrna de Ernpleo Temporal Tkrminos de Referencia para la Evaluaci6n Externa

metodologia especifica asi como del mecanismo o el desarrollo conceptual

mediante 10s cuales se pretenda generar esa integralidad.

10. Productos minimos a entregar como resultado de la evaluation

a) Sintesis ejecutiva preliminar y final.

b) Documento preliminar y final.

c) Los documentos deberan corresponder a 10s objetivos de evaluaci6n y a

las metodologias empleadas, de manera explicita.

d) Base de datos tip0 panel, que contenga un grupo de control.

e) Bitacoras de C6mputo.

f) Cuestionarios aplicados en campo, tanto pilotos como definitivos.

g) Anexo metodol6gico.

h) Cualquier otro documento que se acuerde con el grupo evaluador

externo una vez que se asignen 10s trabajos.

i) Reporte acerca de la evoluci6n de aquellos indicadores construidos con

evaluaciones anteriores que Sean susceptibles de darseles seguimiento.

Todos 10s productos a entregar deberan ser presentados en archivo magnktico. La

sintesis ejecutiva y el documento global (preliminar y final) deberhn ser

presentados en cinco tantos.