RELATORÍA - IPRODER · RELATORÍA Mesa Redonda: El Papel del Congreso en la Evaluación de las Políticas Públicas Rurales 2 de abril de 2008 JUNIO DE 2008 DEPPR/REP/08

RELATORÍA

Mesa Redonda: El Papel del Congreso en la Evaluación

de las Políticas Públicas Rurales 2 de abril de 2008

JUNIO DE 2008 DEPPR/REP/08

El Papel del Congreso en la Evaluación de las Políticas Públicas Rurales

JUNIO DE 2008 2


JUNIO DE 2008 3

Presentación

El Comité y el Centro de Estudios para el Desarrollo Rural Sustentable y la Soberanía Alimentaria (CEDRSSA), celebraron el día 2 de abril de 2008 la Mesa Redonda El Papel del Congreso en la Evaluación de las

Políticas Públicas Rurales, con el propósito de que la la reflexión conjunta con los actores involucrados, sobre la situación que guarda la evaluación de las políticas públicas rurales aportara elementos para la construcción de iniciativas que fortalezcan al Congreso en sus tareas evaluatorias y de control de la gestión pública a través de sus Comisiones Ordinarias y sus órganos técnicos.

Este propósito responde a lo dispuesto en los artículos vigésimo y vigésimo segundo del Decreto de Presupuesto de Egresos de la Federación 2008, en el sentido de que la Cámara de Diputados adecuaría al marco constitucional “la legislación que regula las funciones de fiscalización y evaluación del gasto público de sus Comisiones Ordinarias y sus órganos técnicos” (uno de ellos el CEDRSSA), previendo “mecanismos que propicien la interrelación en estas materias con el Poder Ejecutivo, los gobiernos de las entidades federativas y los Congresos locales”, para lo cual realizaría “un diagnóstico y consulta a los agentes involucrados”.

A la Mesa Redonda, que tuvo lugar en el Salón “C” del Edificio “G” del Palacio Legislativo de San Lázaro, asistieron 132 personas, distribuidas como sigue por sector de procedencia: siete Diputados Federales, cuatro de ellos fueron expositores y una moderadora; 43 asesores e investigadores del Congreso, uno de los cuales procedente del Senado; 22 funcionarios del gobierno federal, cinco de ellos presentaron ponencias; un funcionario internacional (FAO), también con una ponencia; cuatro funcionarios de la Auditoría Superior de la Federación, uno de ellos como conferencista magistral; diez investigadores, la mitad como conferencitas Magistrales y la otra como ponentes; 22 miembros de organizaciones de productores o de la sociedad civil; 15 estudiantes de universidades, centros de estudio o de investigación, y ocho particulares.

A continuación se presentan la Relatoría del evento, con el propósito de que sirva de insumo a los CC. Diputados y Diputadas interesados en la temática que se abordó. Para agilizar la lectura, se presenta al inicio,


JUNIO DE 2008 4

un compendio de las principales propuestas que hicieron los participantes respecto al papel del Congreso en materia evaluación particularmente de los programas rurales y otras para mejorar este proceso de evaluación. El folleto informativo sobre los propósitos de la Mesa y las currícula de los ponentes, así como el programa del evento y las ponencias presentadas por los especialistas, se encuentran disponibles en el portal del Centro: http://www.cedrssa.gob.mx/?id=237.


JUNIO DE 2008 5

Índice

PRESENTACIÓN .......................................................................................................... 3

La separación de la evaluación interna y la evaluación externa: Una condición del equilibrio de poderes Dr. Germán Vargas Larios. Universidad Autónoma Metropolitana - Iztapalapa ................................................................ 12

Modernización presupuestal: ventajas y desventajas de los presupuestos por resultados. El papel del Poder Legislativo. Dr. David Arellano Gault. Centro de Investigación y Docencia Económicas (CIDE).................................................... 13

Dip. Antonio Ortega Martínez Presidente de la Comisión de Vigilancia de la Auditoría Superior de la Federación. .................................................................... 16

Dip. Xavier López Adame Presidente de la Comisión de Investigación para conocer la legalidad de los contratos de PEMEX de 1997 a la fecha.............. 18

Dip. Carlos Rojas Gutiérrez Integrante de las Comisiones de Presupuesto y Cuenta Pública y de Agricultura y Ganadería .................................................... 19

Mtro. Ricardo Miranda Burgos Director General Adjunto de Seguimiento y Evaluación Presupuestaria de la Secretaría de Hacienda y Crédito Público .. 21

Mtro. Javier González Gómez Director General de Eficiencia Administrativa y Buen Gobierno Secretaría de la Función Pública. .............................................. 23

La calidad del gasto público rural. Dr. John Scott, Centro de Investigación y Docencia Económicas, CIDE................................................................................. 27

El futuro de la fiscalización y la rendición de cuentas en México. Dr. John Ackerman, Instituto de Investigaciones Jurídicas de la UNAM ......................... 30

MVZ Renato Olvera Nevárez. Director General Adjunto de Planeación y Evaluación, SAGARPA ............................................................................................ 32

Dra. Gloria Rubio Soto. Directora General de Evaluación y Monitoreo de Programas Sociales, SEDESOL................................................................................ 35

Dr. Gonzalo Hernández Licona. Secretario Ejecutivo, CONEVAL ...................... 38

Dip. Carlos Ernesto Navarro López. Presidente de la Comisión de Desarrollo Rural.......................................................................................................................... 39


JUNIO DE 2008 6

Reflexiones y propuestas a partir de las auditorías del desempeño Mtro. Miguel Ángel Phinder Villalón Director de Auditoría de Desempeño al Desarrollo Económico, Auditoría Superior de la Federación ............................. 43

Reflexiones y propuestas a partir de las evaluaciones externas. Dr. Jorge Andres Raygoza Echegaray, Profesor Universidad Iberoamericana ................ 46

Dr. Alfredo González Cambero. Director Técnico Nacional de la FAO y Responsable de la evaluación del Programa Alianza para el Campo............ 50

M.C. Juan Manuel Peña Garza.Universidad Autónoma Agraria Antonio Narro.................................................................................................................................. 54

Dr. Jorge Mario Soto Romero. Evaluador externo de Programas Sociales ....... 56

Dr. José María Salas Universidad Autónoma de Chapingo .............................. 59


JUNIO DE 2008 7

Propuestas realizadas en la Mesa Redonda en torno a la

Evaluación de la Administración Pública Federal

- Emprender dos grandes reformas dirigidas a logar que la Secretaría de la Función

Pública y el Congreso Federal asuman plenamente sus funciones, la primera, de

evaluación interna, y el segundo, de fiscalización y evaluación externa, lo que

implica fortalecer su capacidad institucional. En cuanto al Ejecutivo Federal,

para introducir la evaluación, en este caso interna, como fundamento de la

gestión pública; en el segundo caso, del Congreso y de la Auditoría Superior de

la Federación, para aumentar y precisar sus facultades constitucionales de

fiscalización y evaluación externa.

- Dejar en manos del Congreso el sistema de evaluación externa, para que haya

una realmente un equilibrio de poderes. El Poder Legislativo debe ser el centro

articulador de un nuevo Sistema de Fiscalización Nacional, en donde la Auditoría

Superior de la Federación debe ser fortalecida, pero sin extraerla del Poder

Legislativo.

- Hacer que el Legislativo reconoza que el Presupuesto por Resultados es parte de

un proceso de aprendizaje, incluso por etapas, para mejorar la acción

gubernamental y no sólo un mecanismo de control, si bien, en este caso,

estableciendo sanciones específicas (por daño patrimonial) para quienes

desvíen recursos a personas o localidades no elegibles.

- Analizar las razones por las que se obtuvieron determinados resultados y avances

en las metas propuestas, en lugar de calificarlos de manera automática.

- Articular las áreas de diseño y de ejecución de las políticas públicas, para

favorecer la evaluación de la acción pública.

- Involucrar a los administradores del programa en la evaluación y tratar a las

evaluaciones de manera distinta a las auditorías, para lograr la colaboración de

estos autores, con una actitud mucho más abierta, crítica y positiva a fin de la

evaluación la base y la columna vertebral de la fiscalización, que permita


JUNIO DE 2008 8

conocer el impacto, pero que también aporte elementos para el rediseño de los

programas y las políticas públicas.

- Requerir al Ejecutivo Federal que establezca con claridad las características y

ubicación de la población objetivo de los programas federales.

- Establecer mecanismos regulatorios e incentivos positivos para promover que los

actores gubernamentales usen las evaluaciones;

- Difundir los resultados de manera propositiva, hacia diversos públicos que

puedan aportar ideas y propuestas valiosas.

- Establecer espacios de discusión técnica y política de políticas públicas al seno

de las dependencias, así como entre éstas y el Congreso, a fin de avanzar en

agendas para dar un uso apropiado a las evaluaciones.

- Acordar un auténtico mecanismo de coordinación entre el Ejecutivo y el

Legislativo, que deberá ser incluido en la Ley Federal de Presupuesto y

Responsabilidad Hacendaria y en su reglamento. En este mecanismo se

especificarían las responsabilidades de cada uno de los actores del proceso de

evaluación, para abordar, entre otras cosas, las siguientes:

o Los indicadores de evaluación, incluidos los de evaluación social, con relación a usos alternativos de los mismos fondos en otros programas (costo/beneficio –efectividad).

o Los indicadores de gestión que permitan conocer si los servicios que se ofrecen son de calidad homogénea para todas las localidades en las que opera el programa y a lo largo del tiempo.

o El tipo de información que necesita para tomar decisiones presupuestarias con base en los resultados e impactos obtenidos y no sólo de inercias;

o Las áreas que recibirían los beneficios de las reformas presupuestales y la proporción en que lo harían.

o La creación de sistemas de información unificados de los programas, particularmente sobre sus beneficiarios y sus contextos locales, lo que coadyuvará a su focalización, monitoreo y evaluación.

- Realizar los siguientes cambios específicos al proceso de evaluación:


JUNIO DE 2008 9

o Definir la metodología de evaluación desde la concepción del Programa. La base de un buen SED son las evaluaciones realizadas a las políticas y los programas.

o Crear sistemas ágiles de evaluación, con participación creciente y múltiple de las instituciones de educación, públicas y privadas, así como de la sociedad civil.

o Considerar el periodo para la construcción de la línea de base antes de iniciar la operación del programa.

o Garantizar la disponibilidad de información necesaria para identificar la población potencial y objetivo; de tratamiento y testigo.

o Establecer un calendario de evaluación para cada programa, que contemple distintos tipos de evaluación pero que también considere un reporte preliminar en marzo del año posterior al evaluado, para cubrir todo el ejercicio de gasto, incluyendo las Adefas (actualmente se entrega en septiembre, con corte a junio del año evaluado);

o Definir para todo programa, en particular los sociales, una estimación sobre el período de maduración necesario para observar el impacto esperado;

o Transparentar la información que se genere de las evaluaciones, incluidos los medios de recolección o verificación de información y todos los pormenores de las encuestas pertinentes a la evaluación, incluyendo los nombres de las encuestadoras; y

o Establecer procedimientos claros para definir la pertinencia y en su caso incorporación de los cambios que sugieran los evaluadores. En todo caso, hacer obligatorio el seguimiento a las recomendaciones, con lo que se obliga a los responsables del Programa a involucrarse en la evaluación.

- Apoyar la formación y el desarrollo de investigadores académicos y consultores,

por un lado, así como de equipos técnicos tanto en las dependencias, como en

el Congreso; mejorar los procesos técnicos y administrativos para la selección de

los evaluadores externos; definir un procedimiento transparente para la

asignación de evaluaciones, que podría ser internalizar los montos presupuestales

adecuados para llevar a cabo la evaluación (entre 1 y 5 por ciento de los

recursos del programa).

- Otras propuestas, no menos importantes, fueron las siguientes:

o La misión y objetivos estratégicos, y muchos de los elementos operacionales, deben ser objeto de debate público con los ciudadanos y sus organizaciones.


JUNIO DE 2008 10

o Considerar que, para un buen diseño de los programas se requiere identificar el problema, estudiar las causas y efectos, plantear los fines y medios, contar con un diagnóstico actualizado de la situación actual en el área de influencia; determinación del déficit; analizar las alternativas del proyecto, señalando cuál fue seleccionada y por qué; identificar costos y beneficios estimados para el proyecto (identificados y valorados); evaluar la iniciativa y contar con el presupuesto para su ejecución.

o Garantizar una actuación coherente y responsable de los beneficiarios a través de una condicionalidad efectiva.


JUNIO DE 2008 11

Inauguración

El Dr. Sergio Barrales Domínguez, Director General del CEDRSSA dio la

bienvenida a los asistentes y explicó la importancia de este evento para los

trabajos de la Cámara de Diputados. Mencionó que uno de los grandes

compromisos con el país es el de evaluar las políticas públicas, aspecto éste

último que, si bien en general, no es grato para cualquiera que sea

evaluado, resulta necesario para identificar puntos de mejora, en aras de

que se beneficie a todos los mexicanos. Asimismo, continuó el Dr. Barrales, las

nuevas corrientes internacionales indican que el presupuesto, cuya

aprobación es otra de las tareas fundamentales del Legislativo, tiene que

asignarse en función de resultados y ello hace necesaria la evaluación. El

tema, pues, no es simple. La evaluación exige madurez, no sólo de quien

evalúa, sino quien es evaluado; madurez, para aceptar los resultados, pero

sobre todo, para mejorar. Con este preámbulo agradeció a los asistentes,

evaluadores y evaluados, su colaboración en este proceso de discusión

sobre la evaluación de las políticas públicas.

Por su parte, en su discurso inaugural y luego de dar a los asistentes la

bienvenida a nombre de los integrantes del Comité del CEDRSSA, el Diputado

Alejandro Martínez Hernández, en su calidad de Presidente del mismo,

destacó que esta jornada de trabajo tiene su origen en el principio de división

de poderes, en un esquema de equilibrios que garantice la consolidación de

la democracia y el ejercicio responsable de gobierno, pero reconociendo

que la labor pública, para ser fructífera, requiere que haya armonía y

colaboración entre todos ellos. Subrayó que es en este espíritu en el que se

debe entender la revitalización del papel del Legislativo en materia de

evaluación de las políticas públicas rurales, motivo de reflexión en esta Mesa

Redonda, de la cual se espera obtener elementos que coadyuven a la

construcción de inicativas que promuevan las reformas legales e


JUNIO DE 2008 12

institucionales necesarias para que la evaluación funcione y contribuya a

mejorar el quehacer público y a tomar mejores decisiones en materia de

planeación, programación y presupuestación de la gestión pública. Dicho lo

anterior, declaró formalmente inaugurada la mesa redonda sobre “El Papel

del Congreso en la Evaluación de las Políticas Públicas Rurales”, el día 2 de

abril de 2008, a las 9:50 de la mañana.

Mesa 1. El equilibrio de poderes en el marco de un presupuesto basado en resultados

Moderación a cargo de la Diputada Susana Monreal Ávila

Objetivo

Analizar la situación que guarda la evaluación de las políticas públicas rurales en México y debatir sobre la importancia del control parlamentario como un mecanismo de contrapesos al Ejecutivo Federal que garantice una efectiva rendición de cuentas ante la sociedad, a través de sus representantes populares.

Conferencias Magistrales

La separación de la evaluación interna y la evaluación externa: Una condición del equilibrio de poderes

Dr. Germán Vargas Larios. Universidad Autónoma Metropolitana - Iztapalapa

Su ponencia se centró en la necesidad de separar la evaluación interna de la

evaluación externa, como una condición para el Equilibrio de Poderes, en donde la

primera le correspondería al Ejecutivo Federal y la segunda al Legislativo. Recalcó

que la política pública es conflicto y, si se quiere ver del lado positivo, es

negociación; la correlación de fuerzas hace que en ella intervengan múltiples

actores, lo que determina el carácter pluralista con el que se tiene que realizar su

evaluación que, por lo demás, es bastante compleja.

Esta complejidad deviene no sólo de este carácter pluralista, sino también de la

forma en la que tienen lugar los procesos de diseño e instrumentación de las

políticas públicas. Con base en dos trabajos de metaevaluación (de programas

agrícolas y de programas sociales del PEC) que la Universidad Autónoma

Metropolitana Unidad Iztapalapa (UAM-I) ha realizado para la Cámara, afirma que


JUNIO DE 2008 13

la construcción de las políticas públicas dirigidas al campo en las dos últimas

décadas se ha caracterizado por la existencia de dos grandes rupturas, una en su

propia base conceptual, en tanto que no existe una conexión entre lo económico y

lo social; la otra, en su base institucional, de manera que quienes diseñan y formulan

las políticas públicas, esto es, quienes planean, están desvinculados de quienes las

instrumentan.

Señaló que en este sentido existen dificultades para evaluar los resultados en la

forma en la que lo establecen diversos preceptos legales vigentes, como el artículo

3°, párrafo segundo de la Ley de Planeación, el cual señala que “mediante la

planeación se fijarán los objetivos, metas… y tiempos de ejecución…y se evaluarán

resultados”; y más aún para, con base en esta evaluación, “adoptar (con

objetividad) las medidas necesarias para corregir las desviaciones detectadas y

reformar, en su caso, el Plan y los programas respectivos”.

A manera de conclusión, sentenció que la evaluación de la acción pública enfrenta

un problema fundamental a partir de una visión fragmentada entre el diseño y la

ejecución de las políticas públicas. Entendido que el objeto es el mismo: la acción

pública dirigida a resolver problemas públicos, es inobjetable que no sólo su

evaluación, sino su propio diseño, se definan a partir de un proceso de discusión y

con mecanismos de participación social. Pero sobre todo, para que la evaluación

contribuya efectivamente a mejorar el desempeño público, se requiere emprender

dos grandes reformas dirigidas a fortalecer la capacidad institucional, en el primer

caso, del Ejecutivo Federal, mediante la introducción de la evaluación como

fundamento de la Gestión Pública, esto es, desde una óptica de evaluación interna;

en el segundo caso, del Congreso y de la Auditoría Superior de la Federación,

mediante el fortalecimiento de sus facultades constitucionales de fiscalización y

evaluación externa. Por lo anterior, se pronunció por un escenario en el que la

Secretaría de la Función Pública y el Congreso Federal asuman plenamente sus

funciones, la primera, de evaluación interna, y el segundo, de fiscalización y

evaluación externa.

Modernización presupuestal: ventajas y desventajas de los presupuestos por resultados. El papel del Poder Legislativo.


JUNIO DE 2008 14

Dr. David Arellano Gault. Centro de Investigación y Docencia Económicas (CIDE)

Luego de señalar que el Presupuesto por Resultados no es algo nuevo sino que se ha

venido instrumentando desde hace más de 20 años en muy diversos países, el Dr.

David Arellano Gault, apuntó que uno de los fundamentos de esta propuesta, era la

necesidad de corregir la ineficiente determinación de los presupuestos tradicionales

que prevalece en las democracias, no por fallas administrativas o de planeación,

sino por su diseño institucional, en el que el presupuesto se asigna a partir de distintos

enfoques: el de los representantes, que deben responder a las demandas de sus

representados en condiciones de desventaja respecto a la insuficiente información

que tienen de los resultados de los programas y el de los ejecutores de éstos, que si

bien tienen información directa, a fin de cumplir con los representantes, responden

más a los procesos que a los resultados. En consecuencia, el producto de esos

presupuestos es la ineficiencia.

En contraposición al presupuesto tradicional, en el Presupuesto por Resultados,

explica el Dr. Arellano, la asignación de los recursos se hace en función de los

resultados, esto es, el qué se obtuvo y no el cómo se logró. Se tiene la esperanza de

que con un mecanismo transparente de evaluación, se rompa la asimetría en la

información que existe entre ambos poderes y aún con los ciudadanos y, por ende,

se generen los incentivos para una democracia eficiente.

En este sentido, opina que la idea de instrumentar en México un Presupuesto por

Resultados es excelente, pero que llevado en forma equivocada, generaría

dificultades entre las organizaciones gubernamentales para proponer, identificar y

medir resultados de manera efectiva y podría terminar siendo un ejercicio más de la

normatividad y del papeleo que se les impone sin que, por ello, aporte información

útil y confiable para el poder Legislativo. Sin embargo, mencionó que si bien evaluar

por resultados se dice rápido, no hay que hacerse ilusiones, ya que los retos que

enfrenta son enormes, tanto de instrumentación, como de evaluación y políticos.

En cuanto a su instrumentación es un proceso muy largo: experiencias

internacionales de más de 20 años, aún no han rendido los frutos que se esperaban.

Señaló que en México se tiene, además, un problema de sobre regulación, que


JUNIO DE 2008 15

obliga a dedicar mucho tiempo y recursos a responder a necesidades de las

agencias controladoras, incluido el Congreso. Al ser el Presupuesto por Resultados

una carga adicional, se pueden generar incentivos perversos para su

funcionamiento adecuado. Sugiere que la opción es la desregulación.

La evaluación, por su parte, requiere distinguir entre resultados e impactos: el

resultado es lo que se genera cuantitativamente a través del programa, mientras

que el impacto es la transformación de la realidad. Sin embargo, ninguno de los dos

se deriva sólo de una acción deliberada de gobierno, sino que involucra aspectos

que están fuera del control de la acción gubernamental y la evaluación tiene que ir

más allá del resultado, tiene que ver si se construyeron adecuadamente las cadenas

causales y se lograron los impactos. Recomendó, por lo tanto, una mayor

sofisticación en el entendimiento de lo que es la evaluación y una adecuada

selección de indicadores.

Por último, están los retos políticos. Considera que “no hay elemento más político en

los procesos de decisión pública que la presupuestación, desde su diseño,

distribución, control, hasta su ejecución”, de manera que un cambio en la política

presupuestal derivado del Presupuesto por Resultados, implica un cambio en el

sistema político, en sus estructuras y en las relaciones de los actores. En este sentido,

estima importante que se entienda que el Presupuesto por Resultados debe servir, no

para enjuiciar en automático, sino para encauzar un cambio en la acción

gubernamental.

Finalmente, estableció que para que el Presupuesto por Resultados realmente sea

útil y propicie cambios orientados a mejorar la acción gubernamental, se requiere,

entre otras cosas, que el poder Legislativo vaya más allá de las intenciones de

control y lo reconozca como parte de un proceso de aprendizaje por etapas, en el

que participe con el Ejecutivo, desde la discusión sobre el tipo de información que

necesita para tomar decisiones presupuestarias con base en ideas de resultados e

impactos y no sólo de inercias, hasta la identificación de las área que recibirían los

beneficios de las reformas presupuestales y de la proporción en que lo harían. En

este sentido, no deben generarse expectativas falsas del Presupuesto por

Resultados. Si no se afrontan los retos señalados, éste puede acabar convirtiéndose


JUNIO DE 2008 16

en uno más de los requerimientos de las entidades controladoras y globalizadoras y

en vez de generar incentivos hará lo contrario, se constituirá en un incentivo

perverso.

Expositores:

Dip. Antonio Ortega Martínez Presidente de la Comisión de Vigilancia

de la Auditoría Superior de la Federación.

En su intervención, el Diputado Antonio Ortega señaló la oportunidad como el gran

mérito del Dip. Alejandro Martínez al realizar esta Mesa Redonda, porque coincidía

con la entrega por parte de la Secretaría de Hacienda y Crédito Público a la de

Cámara de Diputados del documento base para la recepción de la propuesta de

presupuesto y de ingreso del próximo año, por lo que en las próximas semanas la

Cámara se convertirá en un recinto de lucha por el presupuesto 2009. Comentó que

usualmente el presupuesto de cada año se define a partir de cuatro prácticas:

inercia inflacionaria, prioridades de desarrollo, cabildeo y correlación de fuerzas

parlamentarias, pero que en ningún caso se encontraba presente la evaluación del

desempeño de las políticas, de las entidades y funcionarios. Así pues, esta Mesa

podría ser un primer esfuerzo para iniciar una segunda batalla en esta Legislatura

para incorporar en el presupuesto esta nueva práctica política.

Mencionó que la evaluación del desempeño ha estado en el debate político de

diversos temas (PEF, Cuenta Pública, entre otros), y reconoció que si bien se había

avanzado en las funciones que la propia Constitución establece para la Cámara en

materia de evaluación y fiscalización, así como para expedir las leyes que normen la

gestión, control y evaluación de los poderes de la Unión y los entes públicos

federales, en la práctica estas tareas generaban tal tensión que acababan

politizándose. Así había sucedido con el Sistema de Evaluación del Desempeño en el

marco de la reforma hacendaria. Al respecto, reconoció la labor de varios

diputados, entre ellos los Diputados Carlos Rojas, Xavier López Adame y la Diputada

Susana Monreal, que en la Reforma Hacendaria y Fiscal del año pasado, habían

defendido la propuesta de incluir la figura de la oficina de Evaluación del

Desempeño de las Políticas Públicas regida por la Cámara de Diputados, pero

señaló que lamentablemente se había perdido la batalla. Por ello, considera


JUNIO DE 2008 17

importante que el Legislativo cuente con órganos de evaluación autónomos en

términos técnicos y de gestión.

Al respecto, hizo algunas reflexiones sobre la experiencia de la Comisión de

Vigilancia, particularmente en los resultados que presenta la Auditoría Superior de la

Federación destacando no sólo las irregularidades en cuanto al cumplimiento de los

preceptos del artículo 134 constitucional (sobre los principios de eficiencia, eficacia,

transparencia y honradez con que deben administrarse los recursos públicos), sino

también en las dificultades para evaluar el desempeño, ante la ausencia de

indicadores, y la falta de controles para mejorar la gestión de las obras y programas

públicos.

Con respecto al informe del Auditor sobre la revisión de la Cuenta Pública 2006,

destacó que el 10% de los recursos auditados correspondieron a evaluaciones de

desempeño y que este porcentaje estaba destinado a aumentar. Señaló que el 8%

de las irregularidades detectadas se debían a la ausencia o mal diseño de objetivos,

metas e indicadores y el total de irregularidades recurrentes relacionadas con el

desempeño institucional, alcanza el 36.1%. Particularizó esta situación para el

Programa de Fomento Agrícola, del cual el Auditor se había declarado incapaz de

medir el cumplimiento de su objetivo, en tanto que no había ni indicadores ni metas,

de manera que no se había podido determinar si los mil ochocientos millones de

pesos que se asignaron a este programa, habían servido para algo.

En suma, reconoció que la evaluación como práctica aún se encuentra lejos del

estado ideal a alcanzar y, mencionó que la reciente reforma constitucional contiene

avances importantes en materia de fiscalización, rendición de cuentas y evaluación,

como la facultad de que el Congreso legisle para homologar la contabilidad de los

tres órdenes de gobierno; la facultad explícita de la ASF de evaluar el desempeño; y

la evaluación en función del artículo 134 constitucional, de los tres órdenes de

gobierno cuando utilicen recursos federales, con el objeto de que estas

evaluaciones se tomen en cuenta para la asignación presupuestal del siguiente

ejercicio fiscal.


JUNIO DE 2008 18

Dip. Xavier López Adame Presidente de la Comisión de Investigación para conocer la legalidad de los contratos de PEMEX de 1997 a la fecha.

El Dip. López Adame fue presentado por la Dip. Susana Monreal, como un

especialista en temas de burocracia, transparencia y rendición de cuentas, por

cuyas contribuciones escritas ha ganado varios premios; asimismo, hizo mención a la

iniciativa de creación de la Ley de Evaluación de la Gestión Gubernamental, que el

Dip. López Adame presentó en abril de 2007 y que aún se encuentra pendiente de

dictamen.

El expositor hizo una reflexión inicial sobre el equilibrio de poderes, refiriendo que si

bien éste se encuentra presente en nuestra Constitución desde mucho antes de que

se le reconociera como práctica política reciente, es mucho más complejo. Lo

equiparó a un campo de batalla jurídica y política, en donde de manera

corresponsable el Ejecutivo y el Legislativo deben, el primero, planear y presentar un

proyecto de presupuesto de egresos para financiar sus programas, mientras que el

segundo, lo aprueba y fiscaliza; ambos, soportados por el poder político que les

confieren sus votantes y representados.

Señaló que en este marco se dan la propuesta de contar con un presupuesto

basado en resultados, incluido por primera vez en una Ley, la Ley Federal de

Presupuesto y Responsabilidad Hacendaria aprobada en 2006 y el Sistema de

Evaluación del Desempeño (SED) que de ahí se desprende, si bien apuntó que

también datan de tiempo atrás, como parte de un proyecto conjunto del Ejecutivo

Federal y el Banco Mundial, al que ambos le han invertido mucho dinero. Al

respecto, destacó el rechazo de la Cámara de Diputados a la propuesta de SED

que le hiciera el Ejecutivo en marzo de 2007, por las siguientes razones:

a) Si bien el SED aporta mejores herramientas de información al Ejecutivo y al

Legislativo para entender en qué deben gastarse los recursos públicos para

alcanzar los resultados esperados, está claro que la asignación del

presupuesto no puede obedecer sólo a criterios técnicos;

b) No hay un acuerdo respecto del diseño y la calificación de los indicadores

para medir la eficacia de un programa público y en general, como ya lo


JUNIO DE 2008 19

había destacado el Dip. Ortega, no hay información para poder evaluar el

desempeño, porque no se genera. Ejemplificó con los indicadores

ambientales incorporados en el PEF 2008, que en opinión del Partido Verde

Ecologista, no reflejan el impacto real ni los resultados que se están teniendo,

además de que presentan una serie de deficiencias, como lo señalan dos

estudios recientes, uno del Instituto Mexicano de Competitividad y otro del

CEDRSSA.

c) La Auditoría Superior de la Federación debería calificar la calidad de los

indicadores que se presenten en el SED, como él mismo lo propone en su

iniciativa de Ley; sin embargo, éste es un aspecto no compartido por la SHCP,

porque considera que sería intervenir en las facultades del Ejecutivo, pues

sería hacer política pública. El tema es un debate, en el que no sólo hay que

determinar cuáles son los indicadores estratégicos y quién los determina, el

Ejecutivo o el Congreso, sino que una vez que se tenga esta información,

también habría que platicar las razones por las que se cumplieron o no las

metas propuestas. Y

d) La Cámara también había establecido que el Coneval, no tiene facultades

para realizar lo que le han encargado, es decir, para emitir lineamientos para

toda la administración pública federal; algo que le corresponde a la

Secretaría de la Función Pública.

Concluye que el SED funcionará cuando acordemos un auténtico mecanismo de

coordinación entre el Ejecutivo y el Legislativo. Hay que poner en la Ley qué tipo de

información deben generar las dependencias y obligar a que las agencias de

gobierno lo hagan.

Dip. Carlos Rojas Gutiérrez Integrante de las Comisiones de Presupuesto y Cuenta Pública

y de Agricultura y Ganadería

A partir de su experiencia legislativa, el Dip. Carlos Rojas hizo un recorrido por la

historia reciente de la relación entre el Congreso y el Ejecutivo Federal en materia

del presupuesto y de la evaluación de su ejercicio. Comentó lo difícil que habría sido

hasta hace poco realizar en la Cámara este debate sobre el desempeño y sus

indicadores y comparó la situación del pasado cuando el presupuesto venía ya


JUNIO DE 2008 20

definido al llegar al Congreso, con la actual batalla entre los grupos parlamentarios

y aún a su interior, situación que lejos de debilitar la posición del Congreso, la

fortalece, pues al final en los últimos años se han tenido presupuestos aprobados por

unanimidad. Empero, comentó el Dip. Rojas, había que ser autocríticos, pues estos

avances no se habían logrado en campos importantes como el de la Cuenta

Pública, cuyo dictamen no había sido enviado al Pleno por la Comisión de

Presupuesto y Cuenta Pública desde la correspondiente al Ejercicio Fiscal 2002.

Reconoció también los progresos del Gobierno Federal, tanto en la presentación de

los anteproyectos de egresos, como de un sistema de evaluación del desempeño

que concreta los intentos que desde hace años se vienen haciendo en este sentido.

De igual manera, celebró que la SHCP presentara finalmente, después de años de

intentarlo, una propuesta concreta de evaluación del desempeño, aún con

omisiones entendibles por la carencia de una cultura de evaluación por parte de las

dependencias, pero que podría mejorarse con las aportaciones de todos.

Sin embargo, lamentó que una vez aprobado el presupuesto, éste no se ejerciera

conforme a la voluntad del Congreso. Un claro ejemplo de ello era lo acontecido

este año con las reglas de operación impuestas por la SAGARPA, cuyas

disposiciones no eran consecuentes con el esfuerzo realizado por el Congreso que

aprobó por unanimidad para el sector un presupuesto histórico. Señaló que estas

regulaciones eran restrictivas y excesivas. Por ejemplo, si al mes de marzo los

gobiernos estatales no presentan sus proyectos ejecutivos, la Comisión Nacional del

Agua les reduce el presupuesto, sin importar lo que haya decidido la Cámara de

Diputados; en otros casos, la regulación y el papeleo parecen ser más importantes

que el propio resultado de los programas.

Por otro lado, señaló que hubo un intento de Hacienda para que se hiciera una

síntesis de programas para el desarrollo rural, aún así se encuentran duplicidades y

multiplicidades, donde todas las secretarias vinculadas a lo social tienen programas

para mujeres y compiten entre dependencias y el pleito es ver que dependencia

atiende a tal o cual actor. Esto no se ve en el sistema de evaluación del

desempeño. Uno de los grandes riesgos del SED es que se convierta en un ejercicio

tecnocrático donde todo se quiera cuantificar y perdiéndose la búsqueda del


JUNIO DE 2008 21

objetivo y propósito superior de cada proyecto. Lo que la evaluación tiene que

aportar son elementos para que cuando se tomen las decisiones los diputados

puedan hacerlo correctamente.

Finalmente comentpo que la fracción del PRI va a proponer una reforma de Ley

para que junto con el presupuesto se aprueben las reglas de operación de todos los

programas.

En referencia a las características de la evaluación, mencionó que es indispensable

que sean sistemas ágiles, con participación creciente y múltiple de las instituciones

de educación, públicas y privadas, y que no sean realizados por el gobierno. El

sistema de evaluación requiere estar en manos del Congreso, para que haya una

realmente un equilibrio de poderes.

Mtro. Ricardo Miranda Burgos Director General Adjunto de Seguimiento y Evaluación Presupuestaria

de la Secretaría de Hacienda y Crédito Público

Antes de iniciar la presentación que tenía preparada, el Mtro. Ricardo Miranda, en

atención a los señalamientos que se habían hecho en las exposiciones previas,

ofreció la plena disposición de la Secretaría de Hacienda y Crédito Público a

participar en las reuniones que la Cámara de Diputados juzgue pertinente.

A continuación, destacó la importancia que el Presupuesto Basado en Resultados y

el Sistema de Evaluación del Desempeño (SED) previsto para medir dichos

resultados, tienen en la toma de decisiones de Gobierno, entendido éste en un

sentido amplio, esto es, no sólo el Ejecutivo Federal, sino también el Poder Legislativo

y los órdenes estatal y municipal, que cada vez absorben una proporción mayor de

recursos contenidos en el Presupuesto de Egresos de la Federación. Asimismo,

subrayó que la integración de este último constituye un proceso compartido, en

donde el reto es alinear de manera adecuada los recursos que se destinan año con

año con los objetivos, estrategias y prioridades del Plan Nacional de Desarrollo y de

los programas que se derivan de ella, esto es, los sectoriales, especiales e

institucionales, que tienen una perspectiva de largo y mediano plazos.


JUNIO DE 2008 22

Al llegar a este punto, hizo alusión a las críticas efectuadas por los legisladores que lo

precedieron en esta Mesa Redonda respecto a las reglas de operación de los

programas de desarrollo rural y manifestó su confianza en que la SAGARPA daría

respuesta a ellas. Reconoció que los tiempos actuales y la diversidad del país exigen

procesos abiertos y participativos para la elaboración de las reglas de operación,

como los que ya venía instrumentado la propia Secretaría de Hacienda, entre otros,

con los Fondos Regional y el Metropolitano, en cuya definición habían concurrido los

gobiernos locales y las Comisiones competentes de la Cámara.

Retomando su exposición, el Mtro. Miranda precisó que el presupuesto no es más

que un medio de ejecución de políticas, de gestión de programas y de operación

de instituciones, en donde lo relevante es cómo éstas inciden en el bienestar de la

población. Por lo tanto, el SED debe incorporar información útil y objetiva, para las

decisiones presupuestales. Recordó que en cumplimiento de la Ley Federal de

Presupuesto y Responsabilidad Hacendaria, el presupuesto de este año dispone la

elaboración de matrices de indicadores para los programas presupuestarios, en las

que se procura justamente establecer con claridad cómo contribuyen los objetivos

de un programa y sus componentes a los objetivos nacional, regionales y sectoriales,

a través de la alineación de los objetivos de los distintos niveles de la planeación –

programación y de la selección de indicadores que aporten elementos para

comprender mejor la realidad sobre la cual inciden los programas. Explicó que es

por ello que, en ocasiones parecía que los objetivos se duplicaban, cuando en

realidad concurrían.

Adelantó que la construcción del presupuesto 2008 con estas características,

permitirá actualizar y mejorar los indicadores que se presentaron en septiembre del

2007; ello se verá en el primer informe que entreguen a la Cámara como lo dispone

el Artículo 24 del Decreto del PEF; asimismo, se apreciará que las matrices

incorporaron también la perspectiva de género, como lo prevé el artículo 25; y las

metas de los programas sectoriales publicados a fines de 2007, deberán se ajustadas

en función de las adiciones y reducciones que hicieron los legisladores al

presupuesto. Añadió que la información anterior sería oportuna para la definición

del presupuesto 2009, cuyo proyecto enviará el Ejecutivo a la Cámara en el mes de

septiembre, previo a lo cual, el 1 de abril se habían enviado ya la relación de los


JUNIO DE 2008 23

programas prioritarios y sus montos y en junio se entregarán su estructura

programática, la información de los programas especiales y una propuesta de

nuevos programas, así como el informe de avance físico y financiero de los

programas autorizados para 2008.

Adicionalmente, aclaró que el Ejecutivo federal no se ha planteado ninguna

evaluación que no sea externa, ni tampoco ser juez y parte y que para ello la

Secretaría de Hacienda, junto con la Secretaría de la Función Pública y en

ocasiones con el CONEVAL, habían definido un Programa Anual de Evaluación, con

siete tipos de evaluaciones que serían realizadas por instituciones nacionales e

internacionales y que para ello trabajan en equipo con las dependencias y

entidades paraestatales sectorizadas a través de sus instancias de coordinación

recientemente establecidas y los gobiernos locales que operan recursos federales,

con los que venían trabajando desde marzo para elaborar los indicadores y luego

definir las evaluaciones que se realizarán.

Mencionó que en esta Mesa se tendría la oportunidad de escuchar a los propios

evaluadores externos, entre ellos al Dr. Germán Vargas que había cuestionado los

resultados de las evaluaciones. Al respecto, reconoció que todo este proceso es

perfectible y reiteró la disposición del Ejecutivo Federal de trabajar en equipo

también con la Cámara de Diputados para definir qué tipo de evaluaciones hacer,

a qué políticas, a qué estrategias y a qué programas; incluso, con qué términos de

referencia. Ello, con el fin de construir los instrumentos metodológicos que permitan

tener una valoración objetiva, confiable y válida.

Concluyó su intervención con el ofrecimiento de asignar a las Comisiones Ordinarias,

a la Auditoría Superior de la Federación y a los Centros de Estudio, una clave de

usuario de los sistemas que contienen la información y evaluaciones que mencionó

en su exposición, sin menoscabo de que pudieran tener acceso a ellas por las

instancias de la Cámara y los medios públicos previstos en la ley.

Mtro. Javier González Gómez Director General de Eficiencia Administrativa y Buen Gobierno

Secretaría de la Función Pública.


JUNIO DE 2008 24

Como lo anunciara, el Mtro. González Gómez hizo tres reflexiones concretas, en las

que dejó clara su postura de que el SED no agota las posibilidades evaluadoras de

los actores, ni de la Secretaría de la Función Pública, ni de la Auditoría Superior de la

Federación, ni de otros agentes externos:

En su primera reflexión estableció que la función evaluadora del Estado es un

concepto muy amplio, en donde intervienen diversos actores desde diferentes

conceptos, ópticas, funciones, entre ellos la Secretaría de la Función Pública,

particularmente para establecer el Sistema de Control y Evaluación de la Gestión

Pública, como se indica en la Fracc. 1ª del artículo 37 de la Ley Orgánica de la

Administración Pública Federal. Pero también la Secretaría de Hacienda, el

CONEVAL, el Instituto Nacional de Evaluación de la Educación, las propias

dependencias, la Cámara de Diputados y la Auditoría Superior de la Federación, de

manera que nadie tiene el monopolio de la evaluación.

Su segunda reflexión fue en el sentido de que existen otras evaluaciones igualmente

importantes que las del SED, pero que al no tener un impacto directo inmediato

sobre el presupuesto, no estaban dimensionadas en la Ley que regula al SED. Al igual

que otros ponentes de esta Mesa, no dejó de reconocer el avance que representa

este Sistema aún con las dificultades señaladas de sus indicadores, al articular la

planeación nacional con los programas presupuestarios, en un esquema en el que

la evaluación empieza con la planeación y al fomentar la eficiencia y eficacia

gubernamental y la calidad del gasto. No obstante, precisó que los objetivos de la

evaluación rebasan lo presupuestal y para ello, hizo referencia a la evaluación de la

gestión institucional, esto es, la evaluación de procesos y de las estructuras internas

de cada dependencia; la evaluación del clima organizacional; la evaluación del

control interno de las instituciones; la de los servidores públicos, sus competencias,

capacidades y habilidades; y la evaluación ciudadana de los servicios públicos en

donde se sitúa su percepción sobre las reglas de operación. Subrayó la necesidad

de que se establecieran conexiones claras entre estas evaluaciones.

Como tercer punto, consideró conveniente revisar las iniciativas que existen en torno

a la evaluación y hacer las reformas legales necesarias para que se generen los

equilibrios entre los poderes Ejecutivo y Legislativo, que procuren la


JUNIO DE 2008 25

complementariedad de enfoques y actores, definiendo con claridad los roles de

cada uno; y que permitan articular los distintos tipos de evaluación. En este sentido,

consideró que el Poder Legislativo podría centrarse en la fiscalización, en la

evaluación ex post, dado que no puede generar un aparato administrativo que

participe en el diseño, instrumentación y valoración de las políticas públicas porque

sería distraer la función de los representantes electos por voluntad popular.

Preguntas:

Se recibió un comentario, para destacar la ausencia en esta Mesa Redonda de las

organizaciones campesinas, lo que en opinión del quejoso habría sido importante,

dado que son ellas las que conocen de manera directa la forma en la que se

operan los programas que se dirigen al campo.

Una segunda pregunta fue dirigida al Dip. López Adame, sobre la responsabilidad

que tienen los evaluadores de los programas de reforestación, que convalidan la

siembra de millones de árboles, cuando en realidad lo que aumenta es la

degradación ambiental. Al respecto, el Dip. López Adame reconoció que al

momento no había reglas específicas sobre la responsabilidad en que pudieran

incurrir los evaluadores. Destacó que en el caso de Proárbol se habían autorizado

presupuestos muy generosos que no se reflejaban en los resultados obtenidos,

cuestionando los criterios con los que el Ejecutivo asigna el presupuesto, pues por

ejemplo, le retiraba apoyos a las áreas naturales protegidas cuya tasa de éxito ya

estaba probada y se los asignaba a un programa de reforestación cuya tasa de

éxito no había sido probada.

Para finalizar esta Mesa, la Diputada Susana Monreal recalcó que esta discusión no

podía acabar aquí y que más allá de cuestionar las bondades del presupuesto

basado en resultados, lo que estaba en juego en este momento era quién iba a

implementar este sistema. Al interior de la Cámara había una amplia coincidencia

en que ésta debería estar incidiendo en la elaboración de indicadores y

mecanismos de evaluación, con una amplia coincidencia en que fuesen

implementados por la Auditoría Superior de la Federación, propuesta que ella misma

había ya concretado en una iniciativa de ley que ya había presentado, en la que

consideraba, además, la participación de las comisiones ordinarias en la definición


JUNIO DE 2008 26

de los mecanismos y criterios para definir los indicadores. La Diputada Monreal

comentó que se trata de establecer por ley, las facultades que tiene la Cámara en

materia de evaluación, pues si bien efectivamente el Ejecutivo Federal le hacía

llegar la información que había mencionado el Lic. Miranda, no había nada que

asegurara que incorporarían las observaciones de la Cámara.

Insistió en que la Secretaría de Hacienda no debería ser juez y parte ni tampoco

debería determinar cómo recortar el presupuesto. Reconoció que el Ejecutivo tiene

derecho a evaluarse, pero dado que la Ley establece que los resultados de esas

evaluaciones incidirán sobre el presupuesto, no pueden quedar concentradas en el

Poder Ejecutivo, concretamente en la Secretaría de Hacienda. Recordó que esta

postura ya había sido expuesta por la Comisión de Presupuesto y Cuenta Pública

con el aval de todas las Comisiones Ordinarias, sin que la Secretaría de Hacienda lo

hubiese tomado en cuenta y pese al ofrecimiento de colaboración que este día

había hecho el Lic. Miranda, se había mantenido en su totalidad el mismo

planteamiento que el Ejecutivo presentó a la Cámara respecto del SED.


JUNIO DE 2008 27

Mesa 2. La rendición de cuentas en el marco del SED propuesto por el Ejecutivo y las responsabilidades de control y evaluación

del poder Legislativo.

Moderación a cargo del Lic. Bladimiro Hernández Díaz

Unidad de Evaluación y Control de la Comisión de Vigilancia de la Auditoría Superior de la Federación

Objetivo

Analizar los alcances del SED para elevar la calidad del gasto rural y fortalecer la transparencia y garantizar la rendición de cuentas y el cumplimiento de las responsabilidades de control y evaluación que el poder Legislativo tiene ante sus representados. En una sana división de poderes, hay quien ejecuta el gasto y quien evalúa sus resultados y revisa sus cuentas; sin embargo, crece entre la sociedad civil la exigencia de una rendición de cuentas más directa y no sólo a través de sus representantes populares, dando pie a la pregunta de si la sociedad tiene el contrapeso necesario para llamar a cuentas al Ejecutivo.


La calidad del gasto público rural. Dr. John Scott,

Centro de Investigación y Docencia Económicas, CIDE

El Dr. Scott destacó la importancia de evaluar el gasto rural, no sólo por la magnitud

que éste había alcanzado en los últimos años, sino sobre todo porque no guardaba

relación con los resultados que se habían obtenido. Enunció los temas sobre los

cuales versaría su exposición: la relación entre la cantidad y la calidad del gasto,

dimensionando la primera en función de su costo de oportunidad fiscal; trataría de

demostrar que no hay un problema de magnitud. En segundo término, hablaría

sobre la división que se hace entre los programas productivos y los sociales; en tercer

lugar, abordaría el tema de la equidad entre las zonas urbanas y las rurales,

señalando que en el caso del gasto social ha habido una mejor focalización de los

recursos, no así en el caso del gasto productivo; por último, hablaría sobre la

importancia de transparentar el impacto de los recursos públicos para conocer


JUNIO DE 2008 28

quién se beneficia de ellos. Mencionó que también era importante conocer si la

asignación privilegiaba los bienes privados o los bienes públicos, si bien en esta

ocasión no abordaría esta discusión.

A partir de la presentación de la evolución de diversos indicadores registrada

durante los últimos cinco lustros, el Dr. John Scott, mostró que los niveles de pobreza

en el medio rural apenas son similares a los que se tenían antes de la crisis de 1995 y

en el mejor de los casos se podría decir que los resultados de los propósitos de

reducción de esta problemática han sido más bien modestos; el ingreso

agropecuario representa hoy en día el 17% del ingreso rural, mientras que el

componente no agropecuario, las remesas, las transferencias públicas (Procampo y

Oportunidades) y las pensiones, han ido adquiriendo una importancia creciente; la

seguridad social en las zonas rurales es prácticamente nula: en una lista de 15 países

latinoamericanos México ocupa el lugar número 11 en cuanto al porcentaje de sus

adultos mayores en áreas rurales que cuentan con seguridad social, 4.8% vs. 5.1% de

Bolivia, 6.9% de Guatemala, 23% de Costa Rica y 92% de Brasil, entre otros, todo ello

se refleja en aspectos como la tasa de mortalidad infantil, que si bien ha disminuido,

sigue mostrando una diferencia de casi 30 veces entre el municipio más pobre y el

menos pobre.

El investigador concluyó que los resultados anteriores no se han debido a un

problema de magnitud de los recursos que se destinan al campo, los cuales se han

duplicado desde el año 2000 y actualmente se equiparan como porcentaje del PIB

a los que otorgan nuestros socios comerciales del TLCAN (Canadá y EEUU), si bien,

como se desprende de los indicadores socioeconómicos comentados, con un costo

de oportunidad sensiblemente más alto. Tales resultados tampoco se han debido al

sesgo urbano de los programas sociales, los cuales, en la última década, han

disminuido esa orientación.

Más aún, el Dr. Scott destacó la paradoja que se observa en los programas

agrícolas: “a mayor pobreza, menores apoyos”, lo que demuestró en términos

geográficos, utilizando los índices de marginalidad estatal calculados por CONAPO;

pero también por el nivel de propiedad de activos productivos, como la tierra; por

deciles de ingreso de la población beneficiaria y con base en las tipologías de


JUNIO DE 2008 29

productores utilizadas por los propios programas. Entre las cifras que manejó, se

cuentan que el 10% de los productores con mayores tierras concentra el 80% del

programa Ingreso Objetivo, 60% de los subsidios energéticos e hídricos, 55% de

Desarrollo Rural y 45% de Procampo; el 75% de las transferencias, en realidad llega a

los productores medios y sólo el 25% del dinero llega al 75% de los productores.

De esta forma llegó a otras conclusiones importantes: “a excepción de Procampo,

los apoyos agrícolas aumentan la desigualdad rural y, dado su peso presupuestal en

relación a otras fuentes de ingreso, estos apoyos cancelan el impacto redistributivo

de los programas sociales y representan la determinante principal de la desigualdad

en el campo; más aún, dado el costo de oportunidad de los recursos públicos,

limitan el impacto del gasto fiscal en la disminución de la pobreza”.

El Dr. Scott se preguntó cómo se asignan los subsidios agrícolas y, en el mismo

sentido que ya había apuntado el Dr. Germán Vargas, señaló la desvinculación que

existe entre los programas productivos y los sociales, destacando la ausencia de

programas productivos dirigidos a apoyar a los productores pobres y de programas

sociales dirigidos a mejorar de manera permanente el ingreso de los trabajadores

pobres en edad productiva.

Para finalizar, el Dr. Scott hizo una serie de propuestas de política entre las que

destacan la necesidad de imprimir mayor integralidad y coordinación a las políticas

agrícolas y de desarrollo rural, incluso a nivel regional, pensando en oportunidades

de crecimiento con equidad, con una visión que trascienda la concepción de que

cualquier programa enfocado a la productividad no tiene qué preocuparse por la

parte distributiva y viceversa; que los apoyos sean diferenciados por tipo de

productor, reconociendo que hoy en día no existen programas productivos dirigidos

hacia estratos de productores pequeños, muchos de ellos con un alto potencial

productivo que no pueden desarrollar porque enfrentan restricciones crediticias,

tecnológicas, etc.; que los apoyos se condicionen al desarrollo productivo, no

necesariamente agropecuario, pero sin olvidar que no todos los programas

productivos tienen efectos positivos sobre la productividad, sino al contrario, como

es el caso de los apoyos a la comercialización y aún de Procampo, que no logró sus

propósitos de reconversión productiva; que se fomente el acceso a mercados y a


JUNIO DE 2008 30

los bienes públicos, en lugar de que el gasto se concentre en los bienes privados o

en transferencias; que se amplíe la oferta institucional y que se incentive la

organización y auto-selección, esto es, la capacidad de demanda de los

beneficiarios para decidir qué tipo de apoyos necesitan; y que se fortalezcan los

sistemas de información de los programas, particularmente sobre sus beneficiarios y

contextos locales, lo que coadyuvará a la focalización de los programas y a su

monitoreo y evaluación.

El futuro de la fiscalización y la rendición de cuentas en México. Dr. John Ackerman,

Instituto de Investigaciones Jurídicas de la UNAM

Para empezar, el Dr. Ackerman situó su exposición en tres apartados: el primero,

para hacer un diagnóstico actual en materia de fiscalización; el segundo, para

hablar de las nuevas corrientes y retos; y el tercero para dilucidar quién debe hacer

esta fiscalización: el Poder Legislativo, un nuevo organismo autónomo o los que ya

existen, bajo un esquema reestructurado.

En cuanto al diagnóstico señaló que el federalismo había llevado a que se tuviese

una gran diversidad de cuentas públicas que hace difícil la fiscalización del gasto.

Este problema podría ser superado con la homologación contable prevista en la

reciente reforma constitucional, aún pendiente de publicar. Sin embargo, lo que

está pendiente es un Sistema Nacional de Fiscalización, Rendición de Cuentas y

Transparencia.

Mencionó como otro problema, la falta de autonomía, ya que a pesar de la

diversidad de instituciones que a nivel federal se hacen cargo del tema, como la

Auditoría Superior de la Federación, la Secretaría de la Función Pública, el Instituto

Federal de Acceso a la Información, la Procuraduría General de la República, todos

ellos están subordinados políticamente; incluso, si bien la Auditoría Superior de la

Federación cuenta con una autonomía técnica importante, depende de la Cámara

de Diputados. De esta forma, en México no hay espacios independientes y

autónomos para la fiscalización y vigilancia del gasto público. Comentó que

mientras tanto, a nivel internacional ha habido una “ola” importante de creación de

organismos autónomos en los últimos 10 ó 15 años que ha permitido avanzar más en


JUNIO DE 2008 31

el combate a la corrupción. Ejemplificó con Chile, donde el contralor es un cuarto

poder, con carácter vitalicio y con amplias facultades de castigo y sanción. Sin

embargo, afirmó no estar totalmente convencido de que en México se deba crear

un órgano autónomo, ya que ninguna de las instituciones es autónoma del juego

político.

Un tercer problema, de acuerdo con el Dr. Ackerman, es el de la capacidad y las

facultades de las instituciones fiscalizadoras y observadoras del gasto público.

Destacó los casos de controversia constitucional en los que la Suprema Corte de

Justicia de la Nación ha atado de manos a la Auditoría Superior de la Federación,

sobre todo en lo que respecta a la intención de fiscalizar al Poder Judicial,

particularmente en materia de servicio profesional de los magistrados de la Corte,

limitando al auditor a las revisiones contables e impidiéndole realizar auditorías de

desempeño. Consideró una vergüenza internacional las limitaciones que el propio

Congreso tiene para realizar la fiscalización directa, aún para obtener la información

que está en manos del poder Ejecutivo Federal.

Como cuarto problema mencionó la descoordinación, duplicidad y poca

información entre las instituciones que fiscalizan y evalúan, señalando que se pierde

mucho por la falta de sinergias. Por ejemplo las auditorias de la Secretaría de la

Función Pública y las de la Auditoría Superior de la Federación no cuentan con una

misma estrategia de revisión del gasto público.

En su opinión es necesario pasar del modelo burocrático, a un modelo más abierto y

dinámico, de rendición de cuentas con base en resultados, aunque estableció que

debería tenerse cuidado, dado que la tarea de fiscalización no sólo requiere

grandes capacidades técnicas y de análisis, sino también capacidades políticas,

entendidas como pluralidad y debate público. También es necesario rebasar las

declaraciones para lograr la vinculación íntima entre las auditorias, la fiscalización y

la sociedad civil, como en Argentina ó Colombia, donde el auditor trabaja con

grupos sociales y comunitarios para la elaboración de las auditorías, en donde la

participación de estos últimos es muy importante en el seguimiento que hay que dar

a las mismas. Sentenció que México es el país de la simulación y la impunidad, en


JUNIO DE 2008 32

donde la solventación se cubre de mil maneras y muy pocas veces se llega a la

sanción y la denuncia penal.

Finalmente, hizo las siguientes propuestas: Repensar todo el proceso de fiscalización

como una actividad pública en donde la sanción y la sociedad civil estén presentes;

hacer de la evaluación del desempeño, la base y la columna vertebral de la

fiscalización, para poder llegar a la realidad del impacto y del diseño de los

programas y las políticas públicas; fortalecer a la Auditoría Superior de la

Federación, pero sin extraerla del Poder Legislativo; por último, aclaró que, no

obstante las experiencias de otros países, no consideraba que la creación de un

organismo autónomo fuera lo más adecuado para México, sino que el Poder

Legislativo debería ser el centro articulador de un nuevo Sistema de Fiscalización

Nacional.

Expositores:

MVZ Renato Olvera Nevárez. Director General Adjunto de Planeación y Evaluación,

SAGARPA

La exposición del doctor Renato Olvera estuvo dividida en tres fases. En la primera

hizo un relato de su propia experiencia y aprendizaje en el proceso de evaluación

iniciado por la SAGARPA en 1998 con el Programa Alianza para el Campo, tres años

antes de que fuera un requerimiento del Legislativo; en una segunda comentó las

ventajas y desventajas del modelo de evaluación que se siguió hasta el año 2006; y

finalmente, habló sobre la viabilidad del Sistema de Evaluación del Desempeño

como instrumento de la gestión para mejorar el gasto público en la Secretaría.

Sobre el proceso de aprendizaje, mencionó que iniciaron evaluaciones internas para

verificar el cumplimiento de la normatividad y de las metas físicas y financieras del

Programa Alianza para el Campo; también se tomaban en cuenta las opiniones de

los productores, lo cual era muy fácil, pues en general, los beneficiarios siempre

están de acuerdo con el programa. En 2001, cuando las evaluaciones se hicieron

obligatorias, el proceso se formalizó y se empezó la evaluación de impacto, pero

eran demasiados programas, de manera que se entregaban a la Cámara de

Diputados 30 evaluaciones nacionales y 400 de programas estatales; para 2002,


JUNIO DE 2008 33

privilegiaron la calidad y redujeron la cantidad: sólo se entregaron 9 informes

nacionales y 87 estatales.

Consideró un error evaluar impactos “año con año”, por lo que, puesto que ya se

tenía información valiosa sobre el programa, desde ese año se empezaron a medir

los llamados impactos “maduros”, evaluando a un 20% de los beneficiarios de dos

años previos y 80% de nuevos beneficiarios. Otra innovación de ese año fue la

incorporación de actividades de capacitación, a distancia y presencial en los

Comités Técnicos de Evaluación Estatal, a fin de crear una cultura de la evaluación

que no existía y en la que se fue aprendiendo entre pruebas y errores; así mismo, se

organizó el Acompañamiento a la Gestión, esto es, que a partir de los resultados de

la evaluación se acudía a los estados con problemas para ofrecerles un menú de

apoyos, incluyendo estudios, a fin de que pudieran mejorar su gestión; ese año

también se adicionó el Análisis de Políticas Públicas.

De 2003 a 2006, la evaluaciones que ya se venían haciendo partieron de los temas

críticos y relevantes encontrados en las evaluaciones anteriores, involucrando a los

responsables de los programas, tanto en los estados como en las oficinas centrales,

pero ahora con un enfoque distinto, esto es, dejando que ellos y no la instancia

evaluadora propusiera lo que debería hacerse, de manera que se fortaleció la

retroalimentación. En las evaluaciones de impactos maduros se cambió la relación

50% - 50% y se mantuvo el acompañamiento a la gestión, destacando la

incorporación del Sistema de Calificación de Solicitudes que ya ha sido aceptado

por el estado de Sonora. Mencionó también que se había diseñado un sistema de

seguimiento de las recomendaciones de las evaluaciones que,

desafortunadamente, no había prosperado como quisieran, lo que atribuye a la

falta de incentivos.

Luego de este recuento, el doctor Olvera procedió a enunciar las principales

ventajas y desventajas del esquema de evaluación que siguieron durante ocho

años. Respecto a las ventajas, mencionó el interés de los responsables en la

definición de los términos de referencia y en la discusión de los informes de

evaluación; destacó la integralidad con la que se hacía la evaluación, focalizando

la atención en los temas principales, pero siempre con dos ejes de análisis


JUNIO DE 2008 34

claramente definidos, la gestión y los impactos; otra virtud era que la evaluación se

concebía en un horizonte de mediano plazo, lo que contribuía a desarrollar

estrategias de evaluación e instrumentos metodológicos y, sobre todo, capital

humano especializado; las evaluaciones estatales, a su vez, permitían identificar

áreas de oportunidad específicas, sin menoscabo de contar con términos de

referencia y los criterios de evaluación homogéneos que han permitido hacer

comparaciones nacionales.

En cuanto a las desventajas y en algunos casos más bien obstáculos del modelo

anterior, mencionó la disposición de evaluar impactos cada año, lo cual no es

recomendable y añadió las dificultades que enfrentaron y que aún se tienen, para

identificar metas e indicadores para medir el desempeño; mencionó que, en

general, los responsables a nivel estatal y aún a nivel central, no se apropiaron de la

evaluación para hacer de ella una herramienta para la toma de decisiones, cuando

el 90% de los problemas detectados en las evaluaciones radicaban en los procesos;

ese problema se agravaba porque los evaluados, que además estaban sujetos a

fuertes controles administrativos, se sentían auditados, porque no tenían incentivos

más allá de los personales y porque los coordinadores estatales de evaluación eran

cambiados con frecuencia, perdiéndose la curva de aprendizaje. Agregó que el

clientelismo de las empresas evaluadoras y la “rutina” en la que cayeron habían

impedido profundizar más en los temas de interés de los estados.

El doctor Olvera hizo un ejercicio similar para el Sistema de Evaluación del

Desempeño. Entre las ventajas mencionadas figura la homogeneidad de las

evaluaciones entre dependencias; su vinculación al proceso administrativo basado

en resultados; la coordinación del proceso por un solo organismo y un área externa

a las operativas pero a la vez el mayor involucramiento de estas últimas, al tener que

elaborar y dar seguimiento a sus matrices de indicadores; su horizonte de mediano

plazo; su orientación a la transparencia y rendición de cuentas.

Sin embargo, encuentró también una serie de desventajas que resumió como sigue:

la evaluación de consistencia y resultados se encuadra en un sistema binario; se

hace bajo un enfoque social y no productivo; se diseñó desde una visión centralista,

sin considerar los programas de operación descentralizada; se implementa de


JUNIO DE 2008 35

manera abrupta y con tiempos muy cortos cuando la curva de aprendizaje tomará

más tiempo; hay indefinición en los roles de cada una de las instancias involucradas

en el proceso.

Dos de sus comentarios sobre las desventajas del SED fueron similares a los realizados

por los legisladores y otros ponentes que lo precedieron: por una parte el relativo al

enfoque poco participativo con el que se hace esta evaluación, dando la impresión

de que la evaluación se hace a pesar del evaluado y no con él, corre en paralelo a

la crítica de unilateralidad con la que la Secretaría de Hacienda determinó el SED; el

otro comentario fue sobre la falta de autonomía del organismo que coordina la

evaluación, lo que coincide con los señalamientos vertidos en cuanto a la falta de

competencia del CONEVAL.

Para finalizar, señaló que el reordenamiento de subsidios que la SAGARPA realizó

este año, tomó en cuenta los resultados de las evaluaciones externas de los

programas, mencionando entre ellos la dispersión de recursos, la duplicidad intra e

interinstitucional, la falta de sinergias y complementariedad entre los programas, la

escasa priorización de las inversiones y la desconexión entre la planeación nacional

y la estatal. De hecho, mencionó el doctor Olvera que a lo largo de los 11 años de

vida de Alianza, se habían gastado 131 mil millones de pesos, sin que se tuviera claro

en dónde estaban, si se habían gastado bien o no, ni qué impactos habían tenido.

En este sentido, espera que la reordenación realizada, como parte de la Gestión

basada en Resultados, ayude a mejorar la toma de decisiones y la efectividad de la

acción pública, así como a hacer más eficiente la asignación de los recursos. Sin

embargo, destacó que el principal reto es el de la coordinación, para lo cual se

requiere construir alianzas estratégicas entre los actores clave.

Dra. Gloria Rubio Soto. Directora General de Evaluación y Monitoreo de Programas Sociales,

SEDESOL

La doctora Gloria Rubio intituló su presentación como “La rendición de cuentas en el

marco del SED y las responsabilidades de control y evaluación del poder Legislativo”,

que abordó en tres apartados: el primero, para recordar por qué la evaluación y

monitoreo son consideradas como algo positivo y de qué manera contribuyen a un


JUNIO DE 2008 36

buen gobierno; el segundo, para exponer las alternativas de diseño institucional que

ofrece la experiencia internacional para realizar la evaluación y monitoreo y el

tercero, para hacer algunas reflexiones sobre los alcances del SED.

Para empezar, puntualizó que la evaluación y monitoreo no son un fin en sí mismo,

sino que su valor radica en el uso de la información que generan para ayudar a

mejorar el desempeño del gobierno, entre los cuales destacó su apoyo para la

formulación de políticas, para la presupuestación y la planeación nacional; para el

diseño y análisis de políticas y programas; para mejorar la gestión y la administración

de actividades y para incentivar la transparencia y rendición de cuentas a distintos

niveles del gobierno hacia la ciudadanía, del Ejecutivo hacia el Legislativo, o hacia

las entidades globalizadoras y otras Secretarías del Ejecutivo. En este sentido,

comentó que resultaba válido que los actores la utilizaran para fines distintos, como

es el caso del Legislativo y del Ejecutivo.

Presentó una tabla para mostrar que ocho países (Argentina, Chile, Costa Rica,

Colombia, Uruguay, Australia, Estados Unidos y Canadá) cuentan con sistemas de

evaluación que usaban para los mismos fines que había expuesto; en el caso de

Argentina, a través de tres sistemas y en el de Chile, de dos. Señaló que en todos

estos casos, los sistemas se basan en un diseño institucional que busca asegurar la

relevancia y la credibilidad de la información que producen, a fin de que ésta sea

usada para la toma de decisiones. Mencionó que para ello era necesario que los

usuarios se involucraran en la definición de lo que debería ser evaluado pero a la

vez, mantener un nivel sustantivo de independencia entre quienes evalúan y

quienes operan los programas, aspecto éste último que reconoció, estaba presente

en la relación que mantenía la Secretaría de la Función Pública en su calidad de

globalizadora, con el resto de las Secretarías y en la pretensión del Congreso con

respecto al Ejecutivo.

Hizo notar que en los ocho países de referencia, la unidad coordinadora es una

institución del Ejecutivo Federal que le reporta a otra que es la responsable del

presupuesto y sólo en Costa Rica la Contraloría General participa en la preparación

de la agenda de evaluación y monitoreo y en Estados Unidos, Canadá y Australia, la

oficina de presupuesto que tiene su sistema de evaluación y desempeño, convive


JUNIO DE 2008 37

con un sistema de auditoría y rendición de cuentas del Legislativo. En Argentina no

hay coordinación entre las tres dependencias que llevan los sistemas de información

de avances físico – financieros, de programas sociales ni de la gestión pública; lo

contrario de Chile, que es uno de los casos exitosos del SED y donde sus dos sistemas

de evaluación y monitoreo tienen muy buena coordinación. Colombia, Costa Rica y

Uruguay, cuentan con un solo sistema a cargo de oficinas de planeación.

Señaló que la constante es que a mayor control de esta unidad para asegurar la

estandarización e imparcialidad del proceso (Chile, Estados Unidos, Canadá y

Australia primera generación), más documentado se encuentra el uso de la

información; por el contrario, en los países donde el control de la unidad

controladora es débil (Argentina y Australia, segunda generación), la prioridad se

centra en el sentido de receptividad y pertenencia del sistema, por parte de los

evaluados, esto es, más que quien coordine, lo que importa es el uso de la

información.

En la última parte de su exposición, la doctora Rubio reflexionó en que el marco

lógico en el marco del SED, ha permitido reducir el número de indicadores, a

aquéllos que son relevantes dados los objetivos del programa, mismos que ha

ayudado a clarificar, además de ayudar en la coordinación institucional y en la

alineación de los criterios para la medición del desempeño que se mandata en

distintos preceptos legales. Incluyó en los beneficios del SED, su aportación para

propiciar un círculo virtuoso de planeación y evaluación y promover una cultura de

orientación a resultados y no al uso de los recursos por sí mismos; además, al

generarse un lenguaje común en la administración pública, los resultados podían ser

presentados sobre una misma base, lo que contribuiría a la transparencia.

Coincidió con el Dr. Arellano en que el SED es un proceso largo: en Australia llevan

20 años, en EEUU 14; además, advirtió que no es mágico, sino gradual, por lo que se

debiera ser constantes e impulsar lo bueno del SED, corrigiendo las deficiencias de

los indicadores que se mencionaron esta mañana; recomendó tener paciencia en

este proceso, e impulsar una agenda de información que garantice la calidad de

los indicadores; y poner en el centro que las evaluaciones buscan dar evidencias


JUNIO DE 2008 38

sobre cuáles son las mejores políticas públicas, para conformarse como una base

objetiva de la planeación y presupuestación.

Dr. Gonzalo Hernández Licona. Secretario Ejecutivo,

CONEVAL

La ponencia del Dr. Gonzalo Hernández Licona, llevó por nombre “Evaluar para

mejorar el desempeño de la política social,” aunque finalmente desembocó en la

forma en la que los sistemas de evaluación y monitoreo, concretamente el SED,

ofrecen información sistemática, veraz y transparente, plasmada en indicadores

concretos que permitan tomar las mejores decisiones presupuestales.

Para empezar, el doctor Hernández Licona mencionó que no había una fórmula

única para conformar cualquier tipo de presupuesto, desde el personal, pero menos

el público. Estableció que en un escenario de recursos escasos y donde el avance

democrático promueve una participación social creciente de ciudadanos que

actúan como accionistas mayoritarios del presupuesto, lo único cierto era la

complejidad para conformarlo, lo que a su vez implicaba la necesidad de constituir

o fortalecer un sistema de evaluación y monitoreo que promoviera la transparencia,

la rendición de cuentas y los resultados y que asegurara su incorporación a los

procesos de planeación y presupuestarios.

Señaló que un sistema de evaluación como el Sistema de Evaluación del

Desempeño (SED), tiene dos herramientas para su implementación, los indicadores y

las evaluaciones y que la suma de ellos puede dar una visión del desempeño de las

políticas y programas públicos. En cuanto a los primeros, reconoció que tenemos

demasiados, pero no de buena calidad, para lo cual deberían no sólo mostrar los

resultados sino también facilitar la toma de decisiones, porque no permiten saber si

se está o no resolviendo el problema. Ejemplificó con un programa de capacitación

que tiene como fin que la gente consiga trabajo, más allá de la gente que obtenga

becas o se inscriba en cursos. En este sentido, le dio la razón a los diputados que lo

precedieron y mencionó que el CONEVAL ha hecho ya una alianza con la Auditoría

Superior de la Federación, a través del Auditor del Desempeño, con lo que esperan

lograr más presión sobre las áreas del Ejecutivo Federal que se encuentren en esa

circunstancia, destacando la utilidad de la matriz de indicadores del marco lógico


JUNIO DE 2008 39

para determinar si las acciones emprendidas se orientan al cumplimiento de los

fines.

En cuanto a las evaluaciones, estableció que el SED ofrecerá un reporte anual

resumido en unas 8 cuartillas, en las que, de manera similar a las auditorías de

desempeño que hace la Auditoría Superior de la Federación, se establecerán los

resultados que tuvo el programa que se evalúa en función de sus objetivos,

cobertura, metas físicas y presupuestarias, además de una o dos recomendaciones.

De esta forma, se pretende que el SED contribuya a mejorar el desempeño global

de la política pública, aclarando que el paso hacia la asignación del presupuesto

no es automático, toda vez que antes habría que pasar por el proceso de mejora

del desempeño del programa, lo que incluso, en algunos casos, podría implicar que

se requiere elevar el presupuesto de alguno que no haya dado resultados

satisfactorios.

Para finalizar, destacó que el CONEVAL fue aprobado por los propios diputados y

que, no obstante contar con sólo dos años, había cumplido con el objetivo de

evaluación que la Cámara consideró, con facultades para evaluar la política

pública y no sólo los resultados de cada programa instrumentado por distintas

secretarías, lo que daba una idea de lo que se puede hacer en materia de

evaluación; además, destacó la independencia con la que hacía su trabajo, al

estar conformado por investigadores electos por la Comisión Nacional de

Evaluación de la Política de Desarrollo Social, aspecto que debería de tomarse en

cuenta cuando se discute el rol del Ejecutivo o del Legislativo en la evaluación.

Dip. Carlos Ernesto Navarro López. Presidente de la Comisión de Desarrollo Rural

El Diputado Carlos Navarro López, Presidente de la Comisión de Desarrollo Rural hizo

del conocimiento de los asistentes que la aplicación despolitizada, ejercicio

oportuno, transparencia y evaluación, del gasto público en el medio rural, era

justamente uno de los reclamos que las organizaciones campesinas, ciudadanas y

sindicales habían manifestado en una Mesa de Dialogo con la Cámara de

Diputados que paralelamente estaba teniendo lugar.


JUNIO DE 2008 40

Agregó que ésta es una demanda reiterada año tras año, por organizaciones de

productores sociales y privadas, independientemente de sus condiciones

económicas y preferencias políticas y que cada año se reclama a las siete

comisiones ordinarias del campo un presupuesto multianual y creciente para el

Programa Especial Concurrente, a fin de mitigar la pobreza, la desigualdad y la

migración. Sin embargo, en esta ocasión, las organizaciones campesinas que

participaban en la Mesa de Diálogo, opinaron que no tenía sentido aumentar el

presupuesto si al final éste no se ejercía como lo autorizaba la Cámara de

Diputados, por lo que plantearon que era mejor revisar cuáles programas benefician

o no a los productores y evitar la duplicidad de programas y dependencias.

Mencionó que cada año era lo mismo: el Ejecutivo propone un presupuesto a la

baja, los diputados lo elevan y después viene un problema para el ejercicio de los

recursos, sin que quienes tenían a su cargo los programas se dieran cuenta de que

mientras más recursos se presupuestaban para el campo, más grande era la

frustración de quienes debían recibirlos, de tal suerte que en lugares como Oaxaca

no sólo daba pena adornarse con presupuestos grandes como el del último año,

que aumentó de 176 a 204 mil millones de pesos, pero increíbles por inoperantes en

la realidad.

Por ello, el primer problema a resolver es qué se hace con los recursos y por qué hay

esa gran dificultad y complejidad de las reglas de operación de los programas para

acceder a ellos. Respecto al uso de los recursos, señaló los continuos subejercicios

del presupuesto rural y la falta de respuesta a las explicaciones requeridas al

Ejecutivo. En 2006, con la llamada “reserva precautoria” de 4 mil millones de pesos;

en 2007, por 11 mil 440 millones de pesos, pese al compromiso del titular de la

SAGARPA de operar al menos el 99% del presupuesto aprobado. Ejemplificó que en

ese año no se habían aplicado los recursos aprobados para los productores de

agave y con respecto al subejercicio por 2,400 millones de pesos en el caso de

Procampo, destacó la falta de claridad en la responsabilidad de las instancias que

intervienen en el programa: la Secretaría de Hacienda, la SAGARPA y los gobiernos

de los estados.


JUNIO DE 2008 41

Manifestó su insatisfacción y la de quienes tienen que aprobar el presupuesto, por el

hecho de que por más que se discuta, como ahora, sobre temas de evaluación,

programas e indicadores, no se avance mayormente en la resolución de los

problemas y que los resultados que nos mostró el Dr. John Scott del CIDE, en los que

se aprecia que el 10% de los productores del país se quedan con la mayor parte de

los recursos, sean sólo materia para los distintos foros que organiza la Cámara, siendo

en gran medida responsabilidad de ésta por no asumir una posición más enérgica

sobre la orientación del presupuesto.

Por lo anterior, propuso que la Cámara no se circunscriba a fiscalizar o controlar el

gasto público, sino que participe en el diseño institucional de planes y programas, así

como en la evaluación del impacto real de los programas en el medio rural y que el

Centro de Estudios para el Desarrollo Rural y la Soberanía Alimentaria tenga más

facultades para evaluar cómo se aplica el presupuesto rural.

Preguntas:

El Lic. Bladimiro Hernández, moderador de la mesa turnó a los ponentes las

preguntas que fueron recibidas, mismas que fueron respondidas en el mismo orden

de su intervención, por lo que cedió la palabra al Dr. John Scott, quien dio respuesta

a tres de ellas. La primera, de manera afirmativa sobre la correlación que existe

entre grupos de interés y la concentración de los subsidios, ya que en un escenario

en el que éstos representan alrededor del 30% del PIB sectorial los intereses

económicos son muy importantes; añadió a estos problemas de captura de

recursos, problemas de diseño y de implementación de los programas. En la

segunda, sobre cómo mejorar la calidad del gasto, coincidió con el Dr. Hernádez

Licona en que era necesario como primer paso, un monitoreo y evaluación, pero

sobre todo, la transparencia del uso de los recursos, ya que difícilmente se podría

insistir en aplicar recursos en programas que todos saben que no tienen impacto. La

tercera pregunta, sobre cómo coordinar los programas y dependencias, implica

contar con un sistema de información unificado, que incluya un padrón único de

productores.


JUNIO DE 2008 42

Las siguientes preguntas fueron respondidas por el Dr. John Ackerman, quien

coincidió con el seguimiento que la Auditoría Superior de la Federación da a las

auditorías de desempeño, si bien insistió en que esta área de la Auditoría debería ser

reforzada, en su estructura interna y en sus facultades para exigir el cumplimiento de

sus recomendaciones. También fue cuestionado sobre las implicaciones jurídicas o

normativas de crear un organismo autónomo de fiscalización, a lo que respondió

que consideraba más conveniente dotar al Poder Legislativo de amplias y plenas

facultades en este terreno, en tanto que éste es la institución por excelencia para

coordinar los esfuerzos de evaluación externa, de la misma manera que la

evaluación interna es coordinada por la Secretaría de la Función Pública; al

respecto, hizo notar que en todos los casos presentados por la Dra. Rubio, el SED

estaba a cargo del Ejecutivo Federal.

El tercer bloque de preguntas estuvo a cargo de la Dra. Gloria Rubio, quien aceptó

que en América Latina no había habido mucha participación del Poder Legislativo

en materia de evaluación, razón por la cual en su exposición había ejemplificado

con los casos de Canadá, Australia y el Reino Unido; a la pregunta de si consideraba

viable que en México hubiese una ley de evaluación y monitoreo de la gestión

pública, respondió también de manera afirmativa, si bien estableció que ésta

debería estar vinculada a la planeación y a la presupuestación y, en general, a la

mejora continua que no se limita a la fiscalización, entendida ésta como

penalización y que, pese a sus altos costos de operación, tiene lugar por la escasa

credibilidad de un poder sobre el otro.


JUNIO DE 2008 43

Mesa 3. Situación actual de la evaluación de los programas públicos rurales y reformas legales e institucionales requeridas

Moderación a cargo del Dr. Germán Vargas Larios.

Investigador de la UAM - Iztapalapa

Objetivo

Analizar el proceso de evaluación de programas del Programa Especial Concurrente para el Desarrollo Rural Sustentable implementado por el Ejecutivo Federal y obtener propuestas por parte de los evaluadores que permitan reformar los marcos legales y crear los mecanismos institucionales que hagan posible el control parlamentario y redunden en un mejor desempeño e impacto de la acción pública en áreas rurales.


Reflexiones y propuestas a partir de las auditorías del desempeño Mtro. Miguel Ángel Phinder Villalón

Director de Auditoría de Desempeño al Desarrollo Económico, Auditoría Superior de la Federación

El Lic. Miguel Ángel Phinder dividió su exposición en cuatro secciones: el marco legal

de las auditorías de desempeño, sus conceptos y criterios de aplicación, la

experiencia que la Auditoría Superior de la Federación (ASF) ha tenido en este tipo

de auditorías y algunas reflexiones en torno a las políticas públicas del sector rural.

Respecto al marco legal, señaló que la ASF sólo podía actuar en términos de lo que

le está estrictamente permitido en la Constitución y la Ley de Fiscalización Superior

de la Cuenta Pública, para determinar el desempeño, eficiencia, eficacia y

economía en el cumplimiento de los programas con base en los indicadores

aprobados en el presupuesto, por lo cual había desarrollado un marco

metodológico propio teniendo en cuenta que según la Ley Orgánica de la

Administración Pública Federal, ésta debe conducir sus actividades a manera que

se logren los objetivos y prioridades del Plan Nacional de Desarrollo y los Programas

Sectoriales, sobre los cuales debe rendir cuentas y evaluar sus resultados, conforme

al artículo 26 constitucional y la Ley de Planeación y, en el caso de las paraestatales,

con base en la Ley Federal de Entidades Paraestatales y su reglamento; además,


JUNIO DE 2008 44

que los artículos 79 y 134 constitucional disponen que los recursos públicos deben

administrarse con eficiencia, eficacia, economía, impacto socioeconómico y

honradez para lograr los objetivos a los que fueron destinados.

Mencionó de manera particular, que la Ley Federal de Presupuesto y

Responsabilidad Hacendaria y su Reglamento precisan que los programas y

presupuestos de las dependencias y entidades deben ser evaluados con base en el

Sistema de Evaluación del Desempeño, el SED, cuyos indicadores estratégicos y de

gestión permiten determinar el impacto económico y social de los programas de

gobierno, soportar la toma de decisiones en materia de presupuesto y mejorar la

gestión de los programas con base en la información de su desempeño.

Manifestó que es bajo este marco normativo que la ASF realiza las evaluaciones de

desempeño, entendidas como la evaluación del grado y forma de cumplimiento de

los objetivos y metas de un ente, con el propósito de promover gestiones públicas

eficaces, responsables, honradas y productivas; fomentar la rendición de cuentas

transparente y oportuna; impulsar la adopción de las mejores prácticas

gubernamentales; reforzar la actitud responsable de los servidores públicos; y medir

la percepción de los ciudadanos sobre los bienes y servicios que reciben del

gobierno. En este sentido, los aspectos que se valoran son la eficacia, eficiencia,

economía, calidad del bien o servicio, competencia de los actores, satisfacción del

ciudadano, para lo cual se revisan los procesos de la acción pública, sus costos, la

competencia de los actores para llevarla a cabo en función de la normatividad,

facultades y capacidad institucional.

El Lic. Phinder continuó su exposición señalando que se habían practicado 18

auditorías de desempeño a programas de la SAGARPA y de la Reforma Agraria en

las revisiones de las Cuentas Públicas de los años 2000 a 2006, en temas relativos a la

producción agrícola, pecuaria y pesquera, de comercialización, de infraestructura

hidroagrícola, programas de soporte, regularización de la propiedad rural y

proyectos productivos.

En primera instancia hizo un esbozo del contexto económico en el que se diseñó la

política sectorial desde principios de los ochenta, fundamentado en una menor

intervención del estado y en una mayor apertura externa, hizo referencia a los


JUNIO DE 2008 45

objetivos del Plan Nacional de Desarrollo 2000 – 2006, así como a los considerados

en el programa sectorial de la SAGARPA.

Entre otros, ejemplificó con una evaluación de desempeño practicada a FIRCO en

el año 2000, que había llevado a modificar su decreto de creación, ya que la

Auditoría determinó que lejos de cumplir con su objeto social de aportar garantías

para compartir el riesgo crediticio, había operado tres programas, el de Empleo

Temporal, Contingencias Climatológicas y Obras con Maquinaria Propia. De manera

similar, las auditorías practicadas a la Secretaría de la Reforma Agraria habían

determinado que ésta debía fortalecer su esquema de evaluación y definir

indicadores estratégicos. En términos generales, señaló que los principales hallazgos

de las revisiones practicadas eran los siguientes:

• Deficiencias importantes en la planeación;

• Objetivos demasiado genéricos y ambiciosos, imposibles de medir;

• Problemas de focalización;

• Discrecionalidad en la aplicación de los programas;

• Retraso en la entrega de los apoyos e incluso, falta de definición de la temporalidad de los programas;

• Retraso en la entrega de finiquitos por parte de los gobiernos estatales que operan programas federalizados como el de Alianza para el Campo;

• Falta de indicadores para evaluar;

Para finalizar, presentó algunas reflexiones en materia de políticas públicas del sector

rural:

• De diseño: no hay congruencia entre los objetivos estratégicos de los

programas y los del Plan Nacional de Desarrollo y el Programa Sectorial; los

cambios frecuentes en las estructuras programáticas limitan los análisis en una

perspectiva de mediano plazo; se confunden los indicadores de gestión con

los estratégicos; los objetivos deben ser consistentes con el presupuesto

asignado; se requiere precisar la población objetivo para poder evaluar la

cobertura de los programas.

• De operación: se requiere mayor vigilancia sobre el cumplimiento de los

plazos de entrega de los apoyos y reforzar la coordinación con los estados

para cumplir con la anualidad en la rendición de cuentas.


JUNIO DE 2008 46

• De evaluación: falta de información, particularmente por la carencia del

Censo Agropecuario y diferencias metodológicas en las evaluaciones

externas practicadas de un año a otro, lo que dificulta las comparaciones.

Por lo anterior, concluyó diciendo que la implementación del Sistema de Evaluación

del Desempeño representa un paso trascendental para la evaluación de las

políticas públicas del Sector Rural.

Reflexiones y propuestas a partir de las evaluaciones externas. Dr. Jorge Andres Raygoza Echegaray, Profesor Universidad Iberoamericana

A partir de su experiencia sobre la evaluación externa de programas sociales, el Dr.

Jorge Andrés Raygoza hizo diversas reflexiones que agrupó en tres ejes: para definir

qué se busca con las evaluaciones; para conocer qué tipo de evaluaciones se

realizan actualmente; y por último, para proponer cómo tener un mejor marco

evaluatorio.

En el primer apartado destacó que la evaluación era necesaria para conocer si los

programas están bien diseñados o si tienen algún impacto sobre el nivel de vida de

la población y si es preciso modificar su diseño o su operación o bien, eliminarlos.

Señaló que muchas veces, con el cambio de las administraciones se eliminan

programas sin mayores elementos, sólo por consideraciones políticas; a veces se

anuncian nuevos programas cuando sólo se les cambia de nombre a los vigentes;

otra veces se generan programas sin saber si realmente tendrán los impactos que se

buscan. De hecho, mencionó que éste último era el caso, ya que pese a que los

lineamientos de evaluación vigentes establecían que los programas tenían que

contar con una evaluación de diseño, ésta se había hecho ya que los programas

estaban en marcha.

Reconoció que no siempre se trata de consideraciones políticas, sino de la carencia

de una política social de Estado porque no se sabe qué es lo que se busca o cómo

se puede lograr; porque se tiene una política social dispersa, con objetivos múltiples

o bien, donde muchos programas no necesariamente coordinados entre sí, se


JUNIO DE 2008 47

orientan a un objetivo similar o complementario, como es el caso de Oportunidades,

IMSS – Oportunidades, Diconsa o los programas de construcción de escuelas.

En referencia a los tipos de evaluación que se practican, se remitió a una de las

láminas de su presentación en la que mostró al menos cuatro: de consistencia y

resultados; de pertinencia y alcance de los indicadores; de procesos, para

determinar su eficiencia y eficacia; y de impacto. Asimismo, estableció una segunda

clasificación, en función de si utilizan estimaciones numéricas o sólo califican el

programa. Mencionó que existe una amplia gama de metodologías, sin embargo,

recalcó que toda evaluación debería responder a cuatro preguntas fundamentales:

¿el programa es la mejor forma de brindar los beneficios que se buscan a la

población?, ¿el programa está operando de manera eficiente o no? ¿Realmente

está teniendo el resultado que se busca? Y ¿realmente está llegando a la población

objetivo?

Una buena evaluación de impacto, por ejemplo, debería de permitir conocer cuál

era la situación antes del programa y cómo quedó después. Sin embargo, habría

que cuidarse de tres tipos de problemas que persisten en la actualidad, el primero,

la falta de recursos para atender a toda la población elegible; el segundo, cuando

por sesgos políticos o por falta de correspondencia entre el diagnóstico y la

población objetivo, se atiende a gente que no es elegible (error de tipo I); y el

tercero, cuando por un problema de selección o de focalización no acorde con la

problemática, o aún, porque las reglas de operación no definen claramente a quién

va dirigido el programa, no se atiende a población que sí lo requiere (error de tipo II).

En aras de conocer el impacto, muchos evaluadores se limitan a preguntar al

beneficiario cuál es su percepción del programa, pero no puede ser considerada

como una medida objetiva. En este caso es el propio gobierno federal el que

debería definir a quién quiere atender, en dónde, cuál es el impacto que busca y en

qué plazo. Porque muchas veces se pide al evaluador que él mismo determine

cuáles son los objetivos a evaluar y seleccione los indicadores.

Además, identificó cuatro problemas básicos de las evaluaciones actuales: la

multiplicidad de metodologías que se usan para evaluar un mismo programa que

impide que los resultados sean comparables; muchas veces los evaluadores no


JUNIO DE 2008 48

revisan críticamente las evaluaciones anteriores; la carencia de metas sobre las

localidades o población potencial a cubrir; y la ausencia de sanciones para los

funcionarios que violen las reglas de operación.

El Dr, Raygoza hizo varias propuestas para mejorar las evaluaciones, aunque advirtió

que ninguna herramienta de evaluación es ideal para todas las posibles

circunstancias; que una buena evaluación requiere que el evaluador conozca el

programa desde su inicio y en su operación, además habría que recordar que varias

herramientas son complementarias y no antagónicas, de manera que el aplicar la

Matriz de Marco Lógico no excluye el uso de otras técnicas:

• Evaluaciones de Diseño: considera que deben hacerse antes de que el

programa se ponga en marcha y que sólo haya una evaluación, pues en la

actualidad se hacen hasta seis para un mismo programa con el consecuente

desperdicio de recursos;

• Evaluaciones de Consistencia y Resultados: deben ser periódicas, pero con

una sola metodología aprobada previamente, que puede ser la de Marco

Lógico y con indicadores claramente identificados para darles seguimiento.

• Evaluaciones de Impacto; se debe tener claro qué impacto se busca; qué

metodología se aplicará; qué indicadores se verificarán cada cierto tiempo,

considerando períodos multianuales que permitan observar los cambios que

se buscan con cada programa: se debe contar con un grupo de control.

Asimismo, consideró conveniente que se estableciera un “calendario de

evaluación”, en un primer año, realizar la evaluación de diseño; luego la evaluación

de los cambios propuestos; en un tercero, la de impacto, cuidando que ésta se

haga antes de haber cubierto la población objetivo, para tener un grupo de control.

Al final, las evaluaciones deberían desaparecer, ya que pasado un tiempo se

tendría que saber si el programa funciona o no y qué cambios son o no viables. En su

lugar, y siempre y cuando no se hicieran modificaciones recurrentes a las reglas de

operación, habría que dar seguimiento a los indicadores.

Congruente con su planteamiento, el Dr. Raygoza consideró necesario que se

hicieran los siguientes cambios legislativos para favorecer el proceso de evaluación:


JUNIO DE 2008 49

• Que se diseñe un Reglamento que especifique indicadores de gestión que

permitan conocer si los servicios que se ofrecen son de calidad homogénea

para todas las localidades en las que opera el programa y a lo largo del

tiempo y que especifique responsabilidades específicas de los “actores”;

• Que se establezca un calendario de evaluación para cada programa, que

contemple los distintos tipos de evaluación mencionados pero que también

considere un reporte preliminar en marzo del año posterior al evaluado, para

cubrir todo el ejercicio de gasto, incluyendo las Adefas (actualmente se

entrega en septiembre, con corte a junio del año evaluado);

• Que en todo programa social se establezca una estimación sobre el período

de maduración, necesario para observar el impacto esperado;

• Requerir al Ejecutivo Federal que establezca con claridad las características y

ubicación de la población objetivo de los programas federales;

• Que se establezcan sanciones específicas (por daño patrimonial) para

quienes desvíen recursos a personas o localidades no elegibles;

• Promover la creación de un “Coneval” que evalúe el desempeño y de un

Sistema de Monitoreo e Información, autónomo e independiente del Ejecutivo

(como el IFE), que además permita confirmar si las evaluaciones cumplen o

no con los requerimientos establecidos. Abundó que en muchos países en los

que estos sistemas dependen del Ejecutivo, los funcionarios que operan los

programas evaluados que están en falta no corren peligro, sino el director del

órgano evaluador;

• Abrir la competencia a todo tipo de evaluadores, no sólo a las instituciones

académicas públicas;

• Establecer la obligación de que los operadores de los programas informen al

Congreso y al CONEVAL sobre los medios de recolección o verificación de

información, así como todos los pormenores de las encuestas pertinentes a la

evaluación, incluyendo los nombres de las encuestadoras; y

• Establecer un procedimiento claro para definir la pertinencia y en su caso

incorporación de los cambios que sugieran los evaluadores.


JUNIO DE 2008 50

Expositores:

Dr. Alfredo González Cambero. Director Técnico Nacional de la FAO y

Responsable de la evaluación del Programa Alianza para el Campo

E Dr. González manifestó su interés en compartir los aprendizajes adquiridos a lo largo

de los diez años en los que la FAO ha venido evaluando el Programa Alianza para el

Campo, aún antes de que fuesen obligatorias, a fin de que otros no tengan que

empezar a recorrer el mismo camino y repitan sus errores. Antes de ello hizo algunas

reflexiones: por una parte, que este programa concluyó como tal en 2007; que de

1996 a 2006 se habían “invertido” en él recursos por 131 mil millones de pesos (a

precios de 2006), que difícilmente se apreciaban, pues si se hubiese dado un millón

por productor, habría 131 mil millonarios en el sector rural.

El programa es de diseño nacional, pero de operación descentralizada; mencionó

que cada sector contribuiría con un tercio de la inversión; sin embargo, la

participación de los estados había ido descendiendo hasta llegar a un 17%, en tanto

que el 42% había sido inversión federal y 17% estatal. Aún con este porcentaje, la

federalización de los recursos hizo necesario que las evaluaciones no fuesen sólo

nacionales, sino también estatales, lo que involucró tanto a funcionarios de la

SAGARPA, como a los Comités Técnicos Estatales de Evaluación (CTEE), responsables

de éstas últimas, y la FAO de la nacional, aunque brindando el soporte necesario a

los CTEE.

Uno de los resultados de estas evaluaciones fue la compactación de los programas

agrícolas, los ganaderos y las actividades no agropecuarias (desarrollo rural),

aunque se manejó un total de 7 subprogramas, no todos de inversión en bienes

privados, sino también públicos, como el de sanidades. De hecho, una de las

pretensiones era detonar la inversión privada al fomentarla a la par que la pública,

pero no se dio este efecto multiplicador.

Entre las lecciones aprendidas destacó las siguientes:

- La evaluación externa no debe entenderse como una auditoría, para no

generar resistencias e impedir el enfoque de asesoría y retroalimentación de

los programas.


JUNIO DE 2008 51

- La evaluación debe caracterizarse por su externalidad, independencia,

credibilidad y utilidad para la gestión del Programa, por lo que sus

recomendaciones deben ser pertinentes y viables. En cuanto a la

independencia, señaló que la FAO sentía cierta inmunidad por su calidad de

organismo internacional, pero reconoció que no era una condición

generalizada para todos los evaluadores.

- La evaluación debe hacerse en diálogo con los responsables de los

programas evaluados para que los resultados sirvan para retroalimentar su

trabajo y construir una cultura de la evaluación, pero no a pesar ni tampoco

en contubernio con ellos.

- Es necesario focalizar la evaluación con indicadores pertinentes que midan el

logro de los objetivos estratégicos nacionales del programa, lo que aunque

obvio, resulta complejo en un escenario en el que cada entidad federativa

define sus propios objetivos y su población objetivo, en función de sus

problemáticas particulares.

- La evaluación requiere de un conjunto de capacidades institucionales cuyo

desarrollo es muy heterogéneo a lo largo del país. En este sentido, cuestionó

la utilidad de las 100 preguntas que elaboró el CONEVAL, puesto que al ser

inamovibles dificultan que los evaluadores se apropien del proceso. En su

opinión los tiempos para instrumentar el presupuesto basado en resultados son

muy cortos y puede quedarse sólo en las formas.

- La evaluación del programa debe incorporarse desde el diseño del mismo

para la definición de indicadores que después permitan evaluar el impacto.

Recogió la propuesta del Dr. Raygosa respecto a la necesidad de que la

evaluación del diseño de un programa se realice antes de que se ponga en

marcha, pero aún más, sentenció que antes de evaluarlo habría que cumplir

con la fase de su diseño.

- Es necesario revalorizar la importancia de la evaluación de la gestión a la par

que la evaluación de impactos, ya que la forma en la que se instrumente es

determinante para sus resultados.


JUNIO DE 2008 52

- La evaluación externa debe ser realizada por un área independiente de las

áreas operativas, cuya autoridad sea reconocida por estas últimas.

- Una última lección aprendida fue que la evaluación anual de impactos era

excesiva, ya que no daba tiempo para poder observar el impacto esperado

de la acción pública.

Concluyó señalando que en su opinión, la presupuestación basada en resultados

constituía un avance, entre otras cosas, porque establecía la evaluación como

parte del diseño de los programas; establecía indicadores de desempeño y aún de

gestión, además de las metas; focalizaba la evaluación; destacaba la evaluación

de procesos, permitía una modalidad participativa de la evaluación y establecía

una mejor periodicidad de la evaluación del programa. Sin embargo, comentó que

hacía falta definir cómo operaría en el caso de los programas de operación

descentralizada. Al respecto, mencionó que a partir de un convenio de

colaboración técnica con la SAGARPA, la FAO ya estaba trabajando en este

aspecto, por convicción, que era lo más importante, pero que ayudaría mucho si ya

estuviese normado.

Mtro. Ernesto Cervera Gómez. Grupo de Economistas y Asociados

El Maestro Ernesto Cervera comentó que durante los últimos seis años, GEA había

evaluado varios programas del sector rural, Procampo, AGROASEMEX y FIRA, de los

cuales también habían obtenido diversos aprendizajes que compartiría con los

asistentes, aunque tratando de no ser repetitivo.

- No hay coordinación entre las distintas instituciones que atienden al sector rural

en materia crediticia. Los criterios para ejercer su presupuesto son radicalmente

diferentes, aun cuando se dirijan a la misma población objetivo. El único espacio

en el que se pueden encontrar criterios unificados es el de los programas que

combaten a la pobreza.

- El sector agropecuario no cuenta con una tipología de productores que le

permita medir el impacto de las acciones de gobierno, como sí ocurre en el caso

de la población en situación de pobreza, en donde a pesar de que fue un


JUNIO DE 2008 53

proceso largo y complejo, se alcanzaron definiciones precisas sobre los niveles de

pobreza y se ha construido un padrón estratificado de beneficiarios. Esta

tipología deberá ser de carácter universal, para que sea útil no sólo al evaluador,

sino también a quien diseña y ejecuta los programas, en tanto que es necesario

saber en dónde tienen mayores impactos los recursos públicos. En este sentido

difirió un tanto con lo expuesto por el Dr. Alfredo González, pues aunque

entiende que es necesario reconocer las particularidades de cada entidad

federativa, también se requiere tener un rasero nacional de carácter

generalizado. Coincidió con el Mtro. Phinder en la urgencia de contar ya con el

nuevo Censo Agropecuario que actualice las cifras de 1991, ya que podrá

aportar elementos para construir la tipología que requiere el sector.

- Hay una carencia absoluta de información sobre los padrones de beneficiarios

de los programas agropecuarios. En este aspecto compartió la propuesta del Dr.

Raygoza sobre la necesidad de encontrar un grupo piloto de beneficiarios y un

grupo de control para contrastar los resultados, pero destacó que, en su

experiencia ello resulta muy complicado; es más, asegura que no existe un grupo

de control en el país, ya que quien no recibe un subsidio recibe otro y conocer

esta situación resulta más complejo por la ausencia de los padrones de

beneficiarios que permita identificarlos, más aún porque las dependencias no

comparten entre sí los padrones que van armando.

- Los propios funcionarios que solicitan que se realicen las evaluaciones de

impacto, confunden muchas veces sus resultados con señalamientos sobre su

capacidad de gestión, aspecto que GEA no evalúa, a diferencia de la labor de

la FAO referida por el Dr. González. Por ello, consideró que se requieren procesos

de capacitación en materia de evaluación para los funcionarios y aún para los

legisladores, aspecto por el cual este foro resultaba importante. En su opinión, las

metodologías de evaluación también deberían ser universales para permitir

comparar las evaluaciones, particularmente cuando se realizan periódicamente

a un mismo programa; con ello se darían mayores elementos para saber en

dónde es más productivo asignar los subsidios.


JUNIO DE 2008 54

- Los programas “temporales” de subsidios, acaban siendo permanentes. Se

requiere invertir en una metodología para determinar hasta cuándo ya es

suficiente continuar aplicando un programa.

- Los tiempos determinados para las evaluaciones no se ajustan a los ciclos

agrícolas y pecuarios. Se requiere que la Cámara de Diputados tenga cierta

flexibilidad para ajustar los períodos a evaluar en función de la realidad.

En suma, señaló que, al contar con una misma tipología de productores, tener la

misma información sobre los padrones de beneficiarios y contar con una base

conceptual homogénea sobre el proceso de evaluación, será más fácil que los

legisladores, ejecutores de los programas y los evaluadores, realicen su trabajo de

manera coordinada. Reconoció que, aunque falta mucho por hacer, se está

avanzando en el camino correcto.

M.C. Juan Manuel Peña Garza. Universidad Autónoma Agraria Antonio Narro

El Dr. Peña Garza, hizo una exposición sobre el contexto en el cual surgieron las

evaluaciones externas en México, explicando que forman parte de una serie de

reformas en la administración pública que no son privativas de nuestro país y que

están dirigidas a hacer más eficiente el uso de los recursos públicos y a favorecer la

rendición de cuentas. De esta forma, los gobiernos se ven obligados a mejorar la

focalización de sus intervenciones y a conocer sus procesos, resultados e impactos,

a fin de facilitar la toma de decisiones.

Como evaluador del Programa Alianza para el Campo desde 1997, él y otros

investigadores que participaron en este proceso, habían encontrado desde

entonces una serie de elementos que ya han vertido varios de los ponentes que lo

precedieron: se requería contar con una tipología de productores, con un padrón

de beneficiarios e identificar quiénes reciben apoyos, de qué tipo y de qué

programas; además estuvo de acuerdo en que actualmente era muy difícil

encontrar productores que no hubiesen recibido ningún apoyo.

En ese primer ejercicio, la SAGARPA, a través del INCA – Rural, había convocado a

las universidades de los estados y a organizaciones civiles, a aplicar una prueba


JUNIO DE 2008 55

piloto, pero sin definir una misma metodología. Luego de un período en el que la

coordinación de la evaluación fue compartida por el INCA, el COLPOS y la FAO, de

acuerdo con el destino de los recursos, la FAO asumió la coordinación general en

2000, definiéndose desde entonces una misma metodología, lo que se vio reforzado

con la obligatoriedad de la evaluación de los programas federales sujetos a Reglas

de Operación, establecida a partir del ejercicio 2001 en el Decreto de Presupuesto

de Egresos de la Federación.

Destacó que se habían realizado avances importantes, pero denunció que aún

subsistían varios problemas, como el hecho de que, como lo mencionaba el Dr.

González Cambero, el programa de Alianza que opera desde 1996 y que desde

entonces estaba siendo evaluado, no lo había sido propiamente; además, cuando

se decidió que se hicieran las evaluaciones, no se dijo cómo ni tampoco se

asignaron recursos; algo muy grave fue el hecho de que el Coordinador Técnico de

las Evaluaciones Externas dependiera del Delegado de la SAGARPA y del Secretario

de Fomento Agropecuario del gobierno del Estado, lo que muchas veces resulta en

imposiciones de la entidad evaluadora o en imposiciones de criterios de evaluación.

Señaló que el caso de las evaluaciones de los Programas de Desarrollo Regional

Sustentable (PRODERS), que también nacieron en 1996 con la creación de la

SEMARNAT, había sido distinto, pues aunque inicialmente también se había

convenido con una agencia internacional (Department for International

Development, DFID), con una metodología sólida, desde el año 2000 se había

contratado a un nuevo evaluador que utiliza otra metodología cuyos resultados no

son comparables.

Consideró que efectivamente hay múltiples metodologías bajo las cuales podemos

tratar de acercarnos para tener una comprensión de qué tanto estamos

efectivamente impactando en un problema, pero lo primordial es precisar el

objetivo que el programa va a atender. En el caso del PRODERS, por ejemplo, el

DFID seleccionó comunidades piloto y más todavía, se utilizaron los enfoques

cualitativos y cuantitativos, basados en talleres participativos y hasta en la matriz de

contabilidad social, se contemplaba el costo-beneficio social para incorporar


JUNIO DE 2008 56

además las externalidades ambientales y darles un costo, lo que era una innovación

en la política pública de México.

Insistió en la necesidad de garantizar la independencia del evaluador y consideró

que la periodicidad de las evaluaciones tiene que ser definida de acuerdo con las

características propias de cada programa y del tipo de evaluación. En las de

impacto, hacerlas anualmente, puede ser excesivo, pero también habría que revisar

la de gestión.

Dr. Jorge Mario Soto Romero. Evaluador externo de Programas Sociales

El Dr. Mario Soto Romero, quien ha sido evaluador de programas como

Oportunidades, de la estrategia integral y asistencia social alimentaria del DIF, la

estrategia de Microrregiones de Sedesol, los Programas de Abasto y Adquisición de

Leche y el Programa de Tortilla, aclaró que aunque actualmente funge como

Director General de Planeación y Evaluación de la Secretaría de Economía, asistía a

esta Mesa Redonda en calidad de evaluador externo y no como funcionario

público.

Para él, hemos transitado de una crisis de información sobre la eficacia, eficiencia,

resultados e impacto de los programas públicos, que hizo imperante recurrir a las

evaluaciones externas, a una crisis de utilización de las evaluaciones, en donde éstas

inciden escasamente sobre el diseño y la operación de los programas y donde han

surgido una serie de dinámicas entre los actores, que inhiben su aprovechamiento.

Señaló que con el fin de ayudar a impulsar reformas que ayuden a fortalecer el

papel del Congreso en la evaluación, se centraría en los problemas en los que se

manifiesta esta crisis de utilización de las evaluaciones, sin decir que son los únicos

aspectos que existen y tampoco que prevalecen en todos los casos, pero que

podría dar al menos cuatro ejemplos relevantes de cada uno.

Agrupó en cuatro categorías los problemas en los que se manifiesta la actual crisis

que atraviesan las evaluaciones: Utilidad, Actores, Usos y Forma en la que son

utilizadas. Enseguida explicó cada una de estas categorías:


JUNIO DE 2008 57

El primer caso se da cuando las evaluaciones no son útiles para los usos a los que

están destinadas, ya sea porque no cumplen con los estándares de viabilidad,

suficiencia, propiedad, exactitud y por lo tanto no son confiables para tomar

decisiones en función de ellas; y también porque el mercado de la evaluación es,

desafortunadamente, muy malo todavía, porque hay malos oferentes de los

servicios de evaluación, malos demandantes en las áreas técnicas de las

dependencias que definen los términos de referencia que muchas veces piden

cosas imposibles de hacer o irrelevantes de saber y malas reglas para la

contratación de las evaluaciones en donde el mercado se acota a las instituciones

públicas y si lo que se privilegia es precio, lo que se subestima es la calidad. Todo lo

anterior redunda en malos trabajos.

El problema de los actores se refiere a que quienes las usan no son los que deben

hacerlo y a que los que sí debieran hacerlo, no las usan. Señaló que las evaluaciones

están a disposición de un amplio espectro de agentes, gubernamentales y no

gubernamentales, pero son poco utilizadas por los actores gubernamentales en los

niveles de toma de decisiones y en cuanto al Congreso, se quedan sólo en un mero

cumplimiento. Fuera del gobierno, las utilizan fundamentalmente los académicos,

ocasionalmente los medios y muy poco el resto, entre los que se encuentran la

sociedad civil y los propios beneficiarios. Mencionó que a lo largo de los ocho años

que tiene como evaluador, en contadas ocasiones se ha reunido con quien

verdaderamente puede decidir, por lo que puede asegurar que las más de las

veces los que toman decisiones ignoran los problemas que se encuentran en las

evaluaciones.

Respecto al problema en los usos que se da a las evaluaciones, considera que

muchas veces no son los que deben dárseles. Mencionó que generalmente se

reconoce que las evaluaciones deben servir para juzgar los logros de los programas

en materia de política pública; aportar elementos para mejorar los programas en sus

procesos, selección de beneficiarios y reglas de operación; conocer mejor los

problemas y sus soluciones; apoyar la planeación y promover presupuestos más

racionales. Sin embargo, con frecuencia se usan para promover o para demeritar la

imagen de los programas y de los servidores públicos, con fines políticos o para


JUNIO DE 2008 58

favorecer intereses particulares o de grupo, lo cual sirve muy poco para mejorar la

gestión pública y generalmente ocurre lo contrario.

El cuarto problema ocurre cuando las evaluaciones no son utilizadas de forma

neutra u objetiva, sino de manera sesgada y hasta polarizada por intereses

personales, cuestiones de jerarquía o de negociación política, donde importa más

quién lo diga que lo que diga. No desconoce que esto sucede en todas partes,

incluso en el Congreso de los Estados Unidos, pero no por ello está de acuerdo.

Además, destacó que se requiere de capacidades técnicas y espacios de reflexión

política, que son escasos y no están institucionalizados, a fin de evitar errores en el

análisis e interpretación de los resultados y recomendaciones que podrían derivar en

implicaciones y acciones concretas sobre un determinado programa, por lo que

muchas veces se opta por desaprovechar los resultados o por no decidir.

Considera que los problemas anteriores han generado inercias perversas entre los

evaluadores y los evaluados, acaban por llevar al hartazgo a estos últimos e inhiben

su colaboración y la discusión de los resultados, con poca incidencia sobre la

operación y diseño de los programas.

A manera de conclusión, enumeró una serie de propuestas de reforma, algunas de

las cuales implicarían cambios legales pero que en su mayoría podrían

instrumentarse con simples cambios en los reglamentos, reglas de operación e

incluso con simples compromisos creíbles entre los actores relevantes, sobre todo al

seno del gobierno.

La primera propuesta para atacar los problemas de la utilidad y de las formas, es

apoyar la formación y el desarrollo de investigadores académicos y consultores, por

un lado, así como de equipos técnicos tanto en las dependencias, como en el

Congreso.

En segundo término, mejorar los procesos técnicos y administrativos para la

selección de los evaluadores externos.

Tercero, establecer mecanismos regulatorios e incentivos positivos para promover

que los actores gubernamentales usen las evaluaciones.


JUNIO DE 2008 59

Cuarto, difundir los resultados de manera propositiva, hacia diversos públicos que

puedan aportar ideas y propuestas valiosas.

Quinto, que los actores asuman una actitud mucho más abierta, crítica y positiva,

que permita tratar a las evaluaciones de manera distinta a las auditorias, a fin de

lograr la colaboración de los evaluados.

Por último, señaló que es fundamental establecer espacios de discusión técnica y

política de políticas públicas al seno de las dependencias, así como entre éstas y el

Congreso, a fin de avanzar en agendas para dar un uso apropiado a las

evaluaciones. Reconoció que desafortunadamente estos espacios son muy escasos,

pero creía que se podían crear, que los legisladores tenían las facultades para

hacerlo y por eso le daba mucho gusto haber venido aquí, pues quería pensar que

éste era el inicio para crear estos espacios.

Dr. José María Salas Universidad Autónoma de Chapingo

El Dr. Salas hizo una amplia exposición sobre los requerimientos de una buena

Gobernanza, entre los que señaló la necesidad de que el proceso de diseño y

formulación de las políticas fuese abierto y transparente y de que hubiese un

mecanismo efectivo de rendición de cuentas; asimismo, sin omitir que la principal

responsabilidad en la elaboración de las políticas públicas recaía en el Ejecutivo, dio

diversos elementos para sustentar que el Legislativo no debería limitarse a evaluar las

políticas sino que debería de tener un papel central en este proceso, a fin de evitar

enfoques estrictamente tecnocráticos. Mencionó que para ello era necesario que

los cuerpos legislativos se especializaran en los diversos temas, de acuerdo con sus

Comisiones y que cubrieran una serie de características que también mencionó.

Expuesto lo anterior, el Dr. Salas entró de lleno al tema de la evaluación, empezando

por la forma de institucionalizar este proceso, a la utilidad de la evaluación para la

elaboración de presupuestos, y a los obstáculos y condiciones que se han

presentado para construir un Sistema de Evaluación de Desempeño en México, así

como en las debilidades que seguramente habrá de presentar este Sistema, debido

a la forma en la que se está llevando a cabo.


JUNIO DE 2008 60

Señaló que en cuanto a la institucionalización, la experiencia internacional nos dice

que casi siempre son los responsables del presupuesto los que adquieren la

responsabilidad de evaluar los programas y que en la mayoría de los países se

privilegian las autoevaluaciones y sólo en pocos programas que realmente resultan

estratégicos o de magnitudes realmente relevantes se hacen evaluaciones externas.

El problema que teníamos que resolver era si las evaluaciones eran o no útiles para

ese proceso de presupuestación, respecto a lo cual él consideraba que lo serían

siempre y cuando hubiese una decisión política para ello, en el sentido de vincular

sus resultados a las asignaciones presupuestales, lo que hoy no hay en México;

también era necesario que los resultados de las evaluaciones estuviesen vinculados

a un mecanismo de incentivos para quienes administraran bien los programas, lo

que actualmente es indistinto; finalmente, como parte del mercado político, las

evaluaciones deberían permitir dar respuesta a una sociedad que cada vez exige

mayor eficacia y eficiencia en el uso de los recursos públicos.

Independientemente de lo anterior, la decisión de instalar un SED ya estaba

tomada, pero no sin una serie de obstáculos. Primero, indicadores de gestión que se

generaron en el diseño de los programas de las dependencias, son indicadores de

gestión tradicionales, esto es, se quedaron en el proceso de insumos (inputs); un

segundo problema es que hay ambigüedad de objetivos, como lo comentaron en

la mañana; falta de coordinación entre actores; hay resistencia y desconfianza

entre los que administran los programas; los objetivos y políticas que se definieron son

irrelevantes, de manera que la influencia de los resultados en los procesos de

decisión y de asignación de recursos será débil.

Se preguntó cuáles serían entonces las condiciones para la implementación del SED,

a lo que respondió que se necesitaba apoyo político y directivo, que al parecer

existe; un marco normativo que establezca responsabilidades y competencias, lo

que tiene grandes vacíos; el desarrollo de la capacidad y planeación y seguimiento

de gestores; capacidad de presupuestación y evaluación de resultados; y una masa

crítica de directivos y funcionarios con capacidad para gestionar por resultados,

apoyados por una red de especialistas externos que complementen sus

conocimientos en campos específicos de las políticas a evaluar, lo que tampoco

existe.


JUNIO DE 2008 61

Sintetizó varios aspectos que podrían debilitar al SED, entre los que mencionó los

siguientes: una debilidad conceptual y calidad del producto final que, sobre todo,

se refleja en indicadores deficientes y no relevantes; las razones institucionales para

llevarlo a cabo, así como las fallas en la implementación, carencia de recursos para

su desarrollo y para las tareas de seguimiento y evaluación, como se registra hoy en

las instituciones; así como un nivel de formulación de indicadores demasiado

detallado o agregado, lo que también es una realidad; por último, es la forma en la

que se presenten los resultados, lo que debiera expresarse en productos (outcomes)

y no en insumos (inputs), como seguramente se hará, ya que así están construidos

muchos de los indicadores.

Para finalizar, realizó una serie de propuestas, entre las que destacan las siguientes:

• Se requiere de la más absoluta transparencia en la información que se genere, lo

cual es parte del pleno ejercicio de la democracia.

• La misión y objetivos estratégicos, y muchos de los elementos operacionales,

deben ser objeto de debate público con los ciudadanos y sus organizaciones.

• Diseñar buenos programas, pasando por identificar el problema, estudiar las

causas y efectos, plantear los fines y medios, contar con un diagnóstico

actualizado de la situación actual en el área de influencia; determinación del

déficit; analizar las alternativas del proyecto, señalando cuál fue seleccionada y

por qué; identificar costos y beneficios estimados para el proyecto (identificados

y valorados); evaluar la iniciativa y contar con el presupuesto para su ejecución.

• Definir la metodología de evaluación desde la concepción del Programa. La

base de un buen SED son las evaluaciones realizadas a las políticas y los

programas.

• Considerar el periodo para la construcción de la línea de base antes de iniciar la

operación del programa.

• Garantizar la disponibilidad de información necesaria para identificar la

población potencial y objetivo; de tratamiento y testigo.

• Internalizar los montos presupuestales adecuados para llevar a cabo la

evaluación (entre 1 y 5 por ciento de los recursos del programa).


JUNIO DE 2008 62

• Definir un procedimiento transparente para la asignación de evaluaciones.

• Garantizar una actuación coherente y responsable de los beneficiarios a través

de una condicionalidad efectiva.

• Evaluar socialmente el Programa con indicadores adecuados de beneficio-costo

social.

• Medir los costos del programa con relación a usos alternativos de los mismos

fondos en otros programas (costo/beneficio –efectividad).

• Involucrar a los administradores del programa en la evaluación.

• Generar las recomendaciones más adecuadas.

• Disponer de bases de datos de los programas evaluados.

• Hacer obligatorio el seguimiento a las recomendaciones, con lo que se obliga a

los responsables del Programa a involucrarse en la evaluación.


JUNIO DE 2008 63

CLAUSURA

El Diputado Ramón Barajas López, Secretario del Comité del CEDRSSA clausuró el

evento agradeciendo a los conferencistas y a los asistentes por su participación en

este evento y manifestó su compromiso personal de atender las propuestas

presentadas por protagonistas importantes que contribuyen en la evaluación de las

políticas públicas que se aplican en las zonas rurales como los ahí presentes y a

hacerlas del conocimiento de los diputados que integran el Comité del Centro,

asegurándoles que habrían de darles resultados en lo que resta de la Legislatura.

Comentó que, por una parte, el fortalecimiento de la evaluación de la gestión

pública era una condición para el avance de la democracia; que la aprobación

del presupuesto no bastaba para asegurar que se ejerciera y aplicara de manera

apropiada, como había sucedido con el prespuesto para el campo en 2008 que, si

bien había alcanzado un nivel histórico de 204 mil millones de pesos, no se tenía la

certeza de que las dependencias fuesen a ejercerlo ni tampoco de que llegaran a

los programas para los que fueron etiquetados o a las zonas rurales que realmente

los necesitan.

En particular, se refirió al obstáculo que significa el tener que atender alrededor de

900 leyes, reglas y normas para acceder a los recursos; peor cuando se trata de

operar programas de diseño central que, muchas veces no respondían a las

necesidades y potencialidades locales, por lo que es necesario impulsar las

facultades de los estados y los municipios en la orientación del gasto público

federal.

Reiteró que él y los diputados que tienen que ver con el campo, reconocían la

deuda que se tiene con las poblaciones rurales que viven en extrema pobreza y que

a veces los gobiernos utilizan para fines políticos y mencionó entre los problemas más

urgentes que aquejan al campo, no siempre reconocidos por el Gobierno Federal,

son la falta de financiamiento; la incertidumbre en las políticas públicas; la

insuficiencia y mal diseño de los programas; la reducción en número de beneficiarios

de los programas públicos, como el de Alianza para el Campo; la concentración de

los apoyos entre algunos beneficiarios y las prácticas especulativas de varios


JUNIO DE 2008 64

comercializadores; los retrasos en la entrega de apoyos, su concentración en unos

cuantos beneficiarios y, mientras tanto, los altos subsidios que ofrecen a sus

agricultores países como Estados Unidos, que ponen en desventaja a los productores

nacionales que desde enero tienen que competir sin ninguna protección con este

país y con Canadá.

Por ello, evaluar las políticas públicas rurales era una condición para orientar cada

peso que los Diputados aprueben, con toda precisión para atender las demandas

de los productores. Declaró clausurados los trabajos de la Mesa Redonda sobre el

Papel del Congreso en la Evaluación de las Políticas Públicas Rurales, a las siete con

diez minutos de la noche del día 2 de abril de 2008. En este sentido, celebraba que

se tuviera este tipo de reuniones y agradeció nuevamente por la oportunidad de

estar en esta reunión.

Finalizó su intervención con una convocatoria abierta a los participantes para que

este esfuerzo no quedara nada más en una mesa de trabajo y los exhortó a que

continuaran evaluando las políticas públicas rurales, como profesionales, como

ciudadanos civiles, y como diputados federales, para que los recursos públicos

vayan realmente a las zonas rurales.

Documents

RELATORÍA - IPRODER · RELATORÍA Mesa Redonda: El Papel del Congreso en la Evaluación de las Políticas Públicas Rurales 2 de abril de 2008 JUNIO DE 2008 DEPPR/REP/08