La evaluación del Programa Escuelas de Calidad: resultados y retos

Raquel Ahuja SánchezDirectora de Fomento a la Investigación

Edith Vázquez ViquezCoordinadora de Evaluación

Humberto Rivera NavarroResponsable de Proyectos Especiales

A diez años del PEC

El Programa Escuelas de Calidad (PEC) ha estado comprometido desde su inicio con la evaluación de su trabajo. Antes de que, en 2007, el Gobierno Federal publicara los Lineamientos Generales para la Evaluación de los Programas Federales, el PEC ya había rea-lizado seis evaluaciones anuales externas (ver Tabla 1), y desde ese año han continuado. Además de las evaluaciones solicitadas por el Programa y previstas por la normatividad mencionada, hay decenas de estudios realizados por instituciones nacionales y extranjeras. Entre esos hay dos evaluaciones de impacto.

Tabla 1

Tipo de evaluación Evaluaciones realizadas

Evaluación anual externa de resultados

2001, 2002, 2003, 2004, 2005, 2006

Evaluación de diseño, consis-tencia y resultados

2007

Evaluación complementaria (seguimiento al cumplimiento del PETE)

2008

Evaluación específica de desempeño

2008, 2009

Evaluación de impacto 2006 (dos evaluaciones)

Estudios diversos Decenas de estudios naciona-les y extranjeros

23

opera. Esta revisión se concentrará en algunos temas que pueden relacionarse con los resultados de las evaluaciones de impacto.

El Programa ha cumplido sus metas de cobertura anual, como lo reporta la Evaluación Específica de Desempeño 2009-2010. Sin embargo, ya en el Informe de la Evaluación Específica de Desempeño 2008 se menciona la necesidad de que el PEC afine sus herramien-tas para identificar y cuantificar su población objetivo, para que este avance de cobertura refleje mejor los criterios de focalización del Programa. Por cierto, estos criterios contemplan, entre otras, a las escuelas de zonas urbano-marginadas, lo que esa misma evaluación considera un gran acierto del PEC, pues esa población no es atendida por otros programas educativos.

Otro reto observado por la Evaluación Específica de Desempeño 2009-2010 es el monitoreo de las acciones que no controla direc-tamente la Coordinación Nacional del PEC, ya que no se conoce con precisión cómo están implementando el modelo de gestión escolar con enfoque estratégico las escuelas incorporadas. Si no se efectúa conforme a lo previsto, se pone en riesgo el logro de los objetivos del PEC.

La mencionada evaluación reconoce las dificultades que este monitoreo conlleva, pues la participación en el Programa (tanto a nivel entidad como a nivel escuela) es voluntaria y la operación se realiza de manera descentralizada. Por eso recomienda que el reforzamiento del monitoreo incluya encuestas para conocer el involucramiento y la satisfacción de los beneficiarios.

ConclusionesEl PEC ha mostrado una gran capacidad operativa para cumplir sus metas de desempeño. En un horizonte más amplio, hay hallazgos alentadores sobre la contribución del PEC al mejoramiento de la educación en nuestro país.

Las evaluaciones externas han arrojado información de aspec-tos cuya atención por el Programa es de primera importancia. Es central que el PEC pueda conocer las características de las escuelas que solicitan ingreso y de las que se incorporan para dar atención y apoyo diferencial en función de varios factores, entre ellos los relacionados con el nivel de desarrollo humano y la pre-sencia de población hablante de lenguas indígenas, de manera que pueda revertirse la carencia de impactos en las entidades con menor IRDH y mayor presencia de hablantes de lenguas indíge-nas; esto contribuiría a la equidad del Sistema Educativo Nacional. El PEC ya ha avanzado en esta línea al conformar una base de datos con las escuelas que constituyen su población potencial.

Por otra parte, la Evaluación Específica de Desempeño 2009-2010 señala otro gran reto del PEC: el monitoreo de su implanta-ción. Un monitoreo adecuado puede ayudar a que la operación del Programa sea más eficiente y uniforme, lo que reforzaría el

En este artículo se presentarán algunos de los resultados más rele-vantes de las evaluaciones realizadas sobre el PEC y se valorará su aportación al mejoramiento del Programa.

Evaluaciones de impactoEl impacto tiene que ver con la contribución última que un pro-grama hace al bienestar de la población, en este caso al logro educativo de los niños y niñas. Las dos evaluaciones de impacto del PEC se han enfocado a tres indicadores relacionados con ese logro: deserción, reprobación y repetición; fueron realiza-das por investigadores de instituciones académicas extranjeras: una por investigadores de la Universidad de Harvard (Murnane y otros, 2006), la otra por investigadores de la London School of Economics y del Banco Mundial (Skoufias y Shapiro, 2006). Los resultados principales son los siguientes:

Murnane y otros (2006) encontraron que las escuelas �de la segunda generación del PEC (que ingresaron al programa en el ciclo escolar 2002-2003), tras tres años de participación, tuvieron tasas de deserción menores que las escuelas no PEC. Este impacto fue mayor en las escuelas de estados con Índice Refinado de Desarrollo Humano (IRDH) medio que en las de IRDH alto.

En las entidades de IRDH bajo, el efecto no fue signifi-cativo. Los autores del estudio consideran que una posible explicación para este último dato es que las autoridades educativas de esas entidades no tuvieron la capacidad para dar el apoyo que las escuelas PEC requerían.

Skoufias y Shapiro (2006) concluyeron que las escuelas �PEC lograron que sus tasas de deserción fueran menores que las de escuelas no PEC. Lo mismo ocurre con las tasas de reprobación y de repetición. En las escuelas indígenas no hubo impactos medibles.

Estos resultados, aunque modestos, son estadísticamente signifi-cativos porque revelan el aporte que el Programa está realizando, y los factores a tomar en cuenta para mejorar dicha contribución.

Fortalezas y debilidades en el funcionamiento del PECDespués de referir lo arrojado por las evaluaciones de impacto del PEC, enseguida se hace una breve presentación de hallazgos de las evaluaciones más recientes acerca de la forma en que el PEC

24

impacto, y serviría para hacer evaluaciones más detalladas, esto es, que permitieran conocer el impacto de la incorporación y de las diferentes formas de participación en el PEC. El Programa ya ha incluido en las Reglas de Operación previsiones acerca del monitoreo, que se aplican en el ciclo escolar 2010-2011.

Finalmente, se recomienda que el PEC mantenga el propósito de realizar evalua-ciones de impacto en las que el criterio sea el resultado de las escuelas en la Prueba ENLACE. Este criterio se acerca más al logro educativo que las variables de reprobación, deserción y repetición. También sería con-veniente que estas evaluaciones pudieran distinguir los resultados de las diferentes generaciones del PEC, para dar cuenta de la evolución de este Programa clave para la educación básica de nuestro país.

ReferenciasInforme de la Evaluación Específica de

Desempeño 2009-2010. Programa Escuelas de Calidad. México: Coneval/SEP.

Informe de la Evaluación Específica de Desempeño 2008. Programa Escuelas de Calidad. México: Coneval/SEP.

Murnane, R.J.; Willett, J.; Cardenas, S. (2006). “¿Ha contribuido el Programa Escuelas de Calidad a mejorar la educación pública en México?”. En Reimers, F. (ed). Aprender más y mejor, políticas, programas y oportunidades de aprendizaje en educación básica en México 2000-2006. México: Fondo de Cultura Económica.

Reglas de Operación del Programa Escuelas de Calidad (2010). México: SEP.

Skoufias, E. and Shapiro, J. (2006). Evaluating the Impact of Mexico’s Quality Schools Program: The Pitfalls of Using Nonexperimental Data. Impact Evaluation Series No. 8.

25